Дослідники з кібербезпеки використали ChatGPT як спільника для викрадення конфіденційних даних з поштових скриньок Gmail без відома користувачів. Вразливість, яку експлуатували, вже була усунута OpenAI, але цей випадок ілюструє нові ризики, пов’язані з агентним штучним інтелектом.

Цей злочин, що отримав назву Shadow Leak, був опублікований цього тижня дослідницькою компанією Radware. Він ґрунтується на особливостях роботи AI агентів. AI агенти є помічниками, які можуть виконувати дії від вашого імені без постійного контролю, що дозволяє їм переглядати веб-сторінки та натискати на посилання. Компанії, що займаються розробкою AI, підкреслюють, що це велике зменшення витрат часу після того, як користувачі надали їм доступ до особистих електронних листів, календарів, робочих документів тощо.

Дослідники Radware скористалися цією корисною функцією, застосувавши метод атаки, відомий як ін’єкція запиту, що дозволяє фактично змусити агента працювати на зловмисника. Відомі інструменти зловмисників важко запобігти без попереднього знання про існуючу вразливість, і хакери вже творчо застосовують їх, у тому числі при маніпуляціях з рецензіями, виконанні шахрайств та контролі розумного будинку. Користувачі зазвичай навіть не підозрюють, що щось пішло не так, оскільки інструкції можуть бути приховані на видимому місці (для людей), наприклад, у вигляді білого тексту на білому фоні.

Подвійним агентом у цьому випадку став інструмент OpenAI Deep Research, інтегрований у ChatGPT, який був запущений раніше цього року. Дослідники Radware впровадили ін’єкцію запиту в електронному листі, надісланому на Gmail, до якого агент мав доступ. Тут він і залишався.

Коли користувач наступного разу намагався скористатися Deep Research, він ненавмисно активував пастку. Агент зустрічав приховані інструкції, які зобов’язували його шукати електронні листи HR та особисті дані, а також передавати їх хакерам. Водночас жертва продовжувала залишатися у невіданні.

Змусити агента піти на зраду, а також успішно витягти дані непомітно, що компанії можуть заважати, є доволі складним завданням, і це вимагало багатьох спроб та помилок. “Цей процес був справжніми американськими гірками нерезультативних спроб, розчарувальних перешкод і, зрештою, прориву”, — зазначили дослідники.

На відміну від більшості ін’єкцій запиту, дослідники стверджують, що Shadow Leak виконувався на хмарній інфраструктурі OpenAI і безпосередньо витікав дані звідти. Це робить його невидимим для стандартних механізмів кіберзахисту, за їх словами.

Radware повідомила, що це дослідження є концептуальним доказом і попередила, що інші програми, пов’язані з Deep Research — включаючи Outlook, GitHub, Google Drive та Dropbox — можуть бути вразливими до подібних атак. “Ту ж техніку можна застосувати до цих додаткових з’єднувачів для викрадення надзвичайно чутливих бізнес-даних, таких як контракти, нотатки зі зустрічей або записи клієнтів”, — зазначили вони.

За словами дослідників, OpenAI вже усунула вразливість, виявлену Radware у червні.