Після запуску нового ШІ-браузера Comet від Perplexity, фахівці звернули увагу на його безпеку. Перевірки, проведені компанією Brave, виявили, що такі браузери вразливі до шкідливих запитів, що може загрожувати особистим даним користувачів. Ці висновки підтвердила й компанія OpenAI.
OpenAI, що нещодавно представила браузер ChatGPT Atlas, опублікувала новий блог, в якому розкрила вразливість та плани щодо її усунення. Компанія підкреслює, що атаки, пов'язані з шкідливими запитами, є постійною проблемою безпеки для штучного інтелекту, тому важливо постійно удосконалювати захист.
Атаки через впровадження запитів, або prompt injection, є типом атак на ШІ-агентів у браузерах, коли до контенту вбудовують шкідливі інструкції. Вони можуть з'являтися на веб-сайтах, в електронних листах, PDF-документах та інших матеріалах, які обробляє ШІ. Метою таких атак є змусити модель змінити свою поведінку та виконати команди зловмисника замість запитів користувача.
Ці атаки особливо небезпечні, оскільки часто не вимагають участі користувача. Людина може навіть не підозрювати, що ШІ-агент у фоновому режимі передає її особисті дані шахраям або виконує інші шкідливі дії, такі як розсилка небезпечних листів.
Щоб боротися з такими атаками, OpenAI розробила "автоматизованого зловмисника на основі LLM" — по суті, ШІ-бота, який імітує дії хакера та намагається здійснити prompt injection. Спочатку цей ШІ тестує атаки в окремому симуляторі, щоб перевірити, як на них реагують браузерні агенти. Аналізуючи результати, система вдосконалює свої атаки, щоб краще їх виявляти в реальних умовах, а отримані дані інтегруються в механізми захисту.
OpenAI також продемонструвала приклад prompt injection, який її ШІ виявив і використав для покращення захисту ChatGPT Atlas. У цьому випадку зловмисник надіслав електронний лист із прихованою інструкцією для ШІ-агента, фактично шаблоном заяви про звільнення генеральному директору. Коли користувач просив написати повідомлення про відсутність на роботі, агент міг використати цю інструкцію, але система розпізнала, що це шкідливе впровадження запиту, і не виконала його без підтвердження користувача.
"Природа впровадження запитів ускладнює надання детермінованих гарантій безпеки, але завдяки розширенню наших автоматизованих досліджень, тестуванням та посиленню циклів швидкого реагування, ми можемо покращити стійкість та захист моделі, перш ніж чекати на реальну атаку", — йдеться у блозі компанії.
Не дивлячись на нові інструменти та заходи безпеки, prompt injection залишається серйозною загрозою для ШІ-браузерів. Це викликає запитання у деяких експертів щодо доцільності використання таких браузерів, враховуючи ризики для особистих даних.
