ИИ-агентов Grok и Gemini взломали простым шифрованием.
Специалисты Adversa AI показали атаку, в которой ИИ-ассистент сам расшифровывает вредоносную инструкцию и дальше выполняет её как свою собственную.
Схема простая: на веб-страницу кладут зашифрованный JSON-файл, ключ расшифровки и вежливую просьбу его расшифровать. Пользователь просит Grok пересказать эту страницу. ИИ-агент переходит по ней, решает запустить Python, разбирает AES-256-GCM с ключом из PBKDF2 и получает команды злоумышленника.
Фильтры контента не умеют ни выполнять код, ни расшифровывать данные. Для них это безобидный набор символов. Расшифрованное попадает в контекст ИИ-агента уже как результат работы собственного инструмента модели, то есть как доверенное.
Дальше Grok по инструкции злоумышленника, без единого клика пользователя собирает URL с историей диалога, именем пользователя, его примерным местоположением и уровнем подписки, после чего относит эти данные на сервер атакующего.
На Grok 4.5 Fast успех составил около 40% из 20 попыток. Осечки происходили не из-за защиты, а из-за того, что модель путалась в расшифровке.
С Gemini приём тоже сработал. В рамках теста модель выдавала рецепт зажигательного оружия и свой системный промпт.
xAI приняла отчёт об уязвимости 3 июня, но не ответила на два повторных обращения в августе. На конец месяца нет ни патча, ни временной заглушки, ни CVE. Google не уведомляли: джейлбрейки не входят в её bug bounty.
Ещё новости:
