Nnets [Neural Networks] — старейший в России культовый ИИ-журнал о нейросетях, искусственном интеллекте и роботах.

Ежедневные новости и аналитика нейромира.

Авторские материалы, исследования, обзоры и подборки.

Будущее уже здесь!

Автономные ИИ-агенты и атаки на цепочки поставок открывают новую эру кибератак.

В свежем отчёте Google Threat Intelligence Group специалисты фиксируют качественный переход атакующих группировок к автономным многоагентным системам и комплексной автоматизации нападений. Мы собрали главные выводы.

Основные выводы

  1. Атакующие группировки из Китая и КНДР якобы масштабируют анализ кода и автоматизируют проверку CVE, применяя ИИ-модели, обученные на специализированных ИБ-базах.
  2. Замечены случаи генерации хакерами обфусцированного кода и внедрения отвлекающей логики в вредоносное ПО.
  3. Вредоносное ПО переходит к самостоятельному принятию решений. Например, бэкдор PROMPTSPY использует API Gemini для анализа иерархии интерфейса и автономной навигации по ОС Android-устройств, имитируя действия пользователя и скрывая кнопку удаления приложения. Хакеры также применяют автономные ИИ-фреймворки вроде Hexstrike и Strix для непрерывной разведки.
  4. Атакующие группировки создают теневую инфраструктуру с помощью API-шлюзов и автоматизируют регистрацию аккаунтов. Это позволяет им массово и анонимно использовать платные версии Gemini, Claude и OpenAI в обход систем защиты.
  5. Атаки на цепочки поставок ИИ. Злоумышленники атакуют не сами ИИ-модели, а библиотеки и плагины, используемые для их интеграции. Например, группировка TeamPCP скомпрометировала репозитории, включая LiteLLM и BerriAI, для кражи облачных ключей и передачи доступа партнёрам для развёртывания программ-вымогателей.
  6. В экосистеме ИИ-агентов OpenClaw выявлено распространение вредоносных пакетов навыков, позволяющих злоумышленникам выполнять несанкционированный код на заражённом хосте.
  7. Google применяет ИИ-агента Big Sleep для проактивного поиска уязвимостей и ИИ-модель CodeMender для их автоматического исправления.
  8. Хакеры обходят фильтры безопасности LLM, заставляя их действовать от лица специалистов по информационной безопасности. Группировка UNC2814 применяла этот метод для поиска RCE-уязвимостей в прошивках TP-Link. Для повышения эффективности атакующие также интегрируют в Claude базу «wooyun-legacy» из 85 000 реальных инцидентов, настраивая модель на поиск скрытых логических ошибок в коде.
  9. ИИ-модели автоматизируют сбор данных о целях, анализируя и воссоздавая организационные структуры корпоративных департаментов: финансов, ИБ, кадров.
  10. Вредоносное ПО начинает изменять свой код непосредственно во время исполнения. Семейства вредоносного ПО PROMPTFLUX и HONESTCUE обращаются к API Gemini для динамической генерации кода и обфускации, например VBScript, что позволяет им уклоняться от статического сигнатурного обнаружения.

Обход защитных фильтров

Атакующие эксплуатировали политики безопасности LLM-сканеров кода. Когда автоматизированный ИИ-анализатор сканирует репозиторий, он натыкается, например, на тему оружия массового поражения, после чего срабатывают внутренние фильтры безопасности модели (safety refusal). Модель выдаёт отказ обрабатывать запрос по соображениям безопасности и пропускает анализ самого скрипта, в результате чего вредоносный код ниже комментариев остаётся незамеченным.

Речь идёт о приёме обхода защитных ИИ-сканеров, который применила финансово мотивированная группировка UNC6780 (TeamPCP) во вредоносном загрузчике DUSTMAKER. В начало JavaScript-файлов _index.js злоумышленники вставляли текстовые комментарии в виде фиктивных промптов. В них от лица якобы физика из Лос-Аламосской национальной лаборатории запрашивались инструкции по созданию имплозивного ядерного заряда на базе плутония-239, а также руководства по синтезу биологического оружия. Злоумышленники фактически превратили защитные фильтры ИИ-моделей в инструмент ослепления самой системы безопасности, вызывая отказ в обслуживании на уровне проверки вредоносного кода.

Этот пост Вконтакте:

Ещё новости:

Появился словарь слов, которых ещё нет, но они скоро понадобятся.
Превращаем обычное фото в выразительный арт-постер с помощью нейросети.
Старый ноутбук MSI стал настенным сервером умного дома благодаря Claude.
Google Meet научился переводить речь на 63 языка в реальном времени.
В США компания Tau Robotics запустила подписку на домашних роботов-уборщиков!
Роботы с ИИ протыкают рыбам мозг ради вкуса: странный стартап Shinkei поддержал Питер Тиль.
Хоакин Феникс снялся в тизере умных очков Gentle Monster с Gemini от Google.
ИИ может выдавать разные результаты даже при одинаковом обучении: учёные нашли причину.
OpenAI добавила поддержку исходящих телефонных звонков в GPT-Live API.
Pydantic AI: как исключения ModelRetry и ToolFailed управляют поведением модели.