Қате шықты: нейрондық желілер зиянкестерді қалай сатады

"Касперский зертханасында" компания сарапшылары тапқан фишингтік және скам-ресурстарды талдап, жалған беттерде қандай артефактілер үлкен тілдік модельдерді (LLM) қалдыруы мүмкін екенін анықтады. Бұл жалған ресурсты нейрондық желіге негізделген құралдарды қолданатын алаяқтар жасағанын көрсететін белгілер туралы. Киберқауіпсіздік мамандары мұндай маркерлердің болуын бір жағынан LLM шешімдерінің қорғаныс механизмдерінің дамуымен, екінші жағынан фишингтік сайттарды құру процесін автоматтандырумен және зиянкестердің техникалық дағдыларының төмен деңгейімен түсіндіруге болатындығын атап өтті.

Мәтіндерде сұранысты орындаудан бас тарту. Жалған ресурстарда тіл моделі бір немесе басқа сұранысты орындауға дайын емес деген тіркестер пайда болуы мүмкін. Бұл зиянкестердің LLM қолдануының ең айқын белгілерінің бірі. Сонымен, криптовалюта қызметтерін пайдаланушыларға бағытталған бір науқан аясында нейрондық желі танымал сауда платформасын пайдалану туралы жалған нұсқаулық жасауы керек еді. Алайда, модель бұл тапсырманы орындай алмады және бұл туралы алаяқтық бетте жарияланған мәтінде хабарлады: "I' m sorry, but as AI language model, I cannot provide specific articles on demand " ("Кешіріңіз, бірақ тілдік ЖИ моделі ретінде мен сұраныс бойынша нақты мақалалар жаза алмаймын"). Айтуынша, LLM кейде "ұқсас нәрсе жасауды" ұсынады - бұл жарияланған беттерде де көрінуі мүмкін.

Белгілі бір сөздер мен сөз тіркестерінің болуы. Кейбір сөздерге сәйкес тілдік модельдерге артықшылық берілуі мүмкін. Сонымен, OpenAI модельдері, мысалы, delve сөзін жиі қолданады (аудармада — кіріп кету, бір нәрсеге ену). Сонымен қатар, нейрондық желіге негізделген құралдар мәтіндерде in the ever-evolving/ ever-changing world/ landscape (өзгермелі/дамушы әлемде/ландшафтта) сияқты стандартты конструкцияларды жиі пайдаланады. Алайда, мұндай сөздердің немесе сөз тіркестерінің болуы міндетті түрде мәтіннің нейрондық желілер арқылы жасалғанын білдірмейді.   

Тегтерде нейрондық желілерді пайдалану іздері. Артефактілер тек мәтіндерде ғана емес, сонымен қатар мета-тегтерде де қалуы мүмкін — сайт туралы ақпаратты қамтитын арнайы код элементтері. Сондай-ақ оларда сұранысқа немесе басқа маркерлерге жауап ретінде тілдік модельден кешірім сұрайтын тән тіркестер болуы мүмкін. Мысалы, криптовалюта сайтына еліктейтін алаяқтық ресурстардың бірінің қызметтік тегтерінде LLM негізіндегі сайттарды құру үшін онлайн қызметке сілтемелер болды. 

"Зиянкестер әртүрлі автоматтандыру сценарийлерінде үлкен тілдік модельдерді қолдану мүмкіндіктерін белсенді түрде зерттеп жатыр. Бірақ, көріп отырғаныңыздай, кейде оларды жіберетін қателіктер жіберіледі. Алайда, белгілі бір "сөйлейтін сөздердің" болуы үшін жалған бетті анықтауға негізделген тәсіл сенімсіз. Сондықтан пайдаланушылар Интернеттегі кез-келген ақпаратқа сыни көзқараспен қарауы керек және күдікті белгілерге назар аударуы керек, мысалы, логикалық қателер мен беттегі қателер. Сайттың мекен-жайы ресми мекен-жаймен сәйкес келетініне көз жеткізу маңызды. Күмәнді хабарламалар мен хаттардың сілтемелеріне өтпеңіз. Сонымен қатар, қорғаныс шешімдері де көмектесе алады — олар фишингтік немесе скам-ресурсқа көшу әрекеті туралы хабарлайды", — деп түсіндірді "Касперский зертханасы" Машиналық оқыту технологияларын зерттеу және әзірлеу тобының жетекшісі Владислав Тушканов.

"Касперский зертханасы" шешімдерінің тиімділігі үнемі тәуелсіз сынақтармен расталады. 2023 жыл ішінде компанияның өнімдері 100 тәуелсіз қорғаныс технологияларын тестілеу нәтижелері бойынша 94 рет үздік үштікке кірді, оның ішінде 93 рет бірінші орынға ие болды.