Nnets [Neural Networks] — старейший в России культовый ИИ-журнал о нейросетях, искусственном интеллекте и роботах.

Ежедневные новости и аналитика нейромира.

Авторские материалы, исследования, обзоры и подборки.

Будущее уже здесь!

Автономные ИИ-агенты и атаки на цепочки поставок открывают новую эру кибератак.

В свежем отчёте Google Threat Intelligence Group специалисты фиксируют качественный переход атакующих группировок к автономным многоагентным системам и комплексной автоматизации нападений. Мы собрали главные выводы.

Основные выводы

  1. Атакующие группировки из Китая и КНДР якобы масштабируют анализ кода и автоматизируют проверку CVE, применяя ИИ-модели, обученные на специализированных ИБ-базах.
  2. Замечены случаи генерации хакерами обфусцированного кода и внедрения отвлекающей логики в вредоносное ПО.
  3. Вредоносное ПО переходит к самостоятельному принятию решений. Например, бэкдор PROMPTSPY использует API Gemini для анализа иерархии интерфейса и автономной навигации по ОС Android-устройств, имитируя действия пользователя и скрывая кнопку удаления приложения. Хакеры также применяют автономные ИИ-фреймворки вроде Hexstrike и Strix для непрерывной разведки.
  4. Атакующие группировки создают теневую инфраструктуру с помощью API-шлюзов и автоматизируют регистрацию аккаунтов. Это позволяет им массово и анонимно использовать платные версии Gemini, Claude и OpenAI в обход систем защиты.
  5. Атаки на цепочки поставок ИИ. Злоумышленники атакуют не сами ИИ-модели, а библиотеки и плагины, используемые для их интеграции. Например, группировка TeamPCP скомпрометировала репозитории, включая LiteLLM и BerriAI, для кражи облачных ключей и передачи доступа партнёрам для развёртывания программ-вымогателей.
  6. В экосистеме ИИ-агентов OpenClaw выявлено распространение вредоносных пакетов навыков, позволяющих злоумышленникам выполнять несанкционированный код на заражённом хосте.
  7. Google применяет ИИ-агента Big Sleep для проактивного поиска уязвимостей и ИИ-модель CodeMender для их автоматического исправления.
  8. Хакеры обходят фильтры безопасности LLM, заставляя их действовать от лица специалистов по информационной безопасности. Группировка UNC2814 применяла этот метод для поиска RCE-уязвимостей в прошивках TP-Link. Для повышения эффективности атакующие также интегрируют в Claude базу «wooyun-legacy» из 85 000 реальных инцидентов, настраивая модель на поиск скрытых логических ошибок в коде.
  9. ИИ-модели автоматизируют сбор данных о целях, анализируя и воссоздавая организационные структуры корпоративных департаментов: финансов, ИБ, кадров.
  10. Вредоносное ПО начинает изменять свой код непосредственно во время исполнения. Семейства вредоносного ПО PROMPTFLUX и HONESTCUE обращаются к API Gemini для динамической генерации кода и обфускации, например VBScript, что позволяет им уклоняться от статического сигнатурного обнаружения.

Обход защитных фильтров

Атакующие эксплуатировали политики безопасности LLM-сканеров кода. Когда автоматизированный ИИ-анализатор сканирует репозиторий, он натыкается, например, на тему оружия массового поражения, после чего срабатывают внутренние фильтры безопасности модели (safety refusal). Модель выдаёт отказ обрабатывать запрос по соображениям безопасности и пропускает анализ самого скрипта, в результате чего вредоносный код ниже комментариев остаётся незамеченным.

Речь идёт о приёме обхода защитных ИИ-сканеров, который применила финансово мотивированная группировка UNC6780 (TeamPCP) во вредоносном загрузчике DUSTMAKER. В начало JavaScript-файлов _index.js злоумышленники вставляли текстовые комментарии в виде фиктивных промптов. В них от лица якобы физика из Лос-Аламосской национальной лаборатории запрашивались инструкции по созданию имплозивного ядерного заряда на базе плутония-239, а также руководства по синтезу биологического оружия. Злоумышленники фактически превратили защитные фильтры ИИ-моделей в инструмент ослепления самой системы безопасности, вызывая отказ в обслуживании на уровне проверки вредоносного кода.

Этот пост Вконтакте:

Ещё новости:

Аудитория Алисы AI достигла рекордных 41 млн человек в неделю.
GPT-6 уже вышел, а GTA 6 всё ещё ждём!
Прокачиваем Claude в UX/UI: готовые скиллы и 138 дизайн-систем на GitHub.
ChatGPT убедил пользователя, что он Иисус, и чуть не довел до суицида.
Яндекс выпустил Alice AI-T5-35B-A0.6B Base, а Alice AI Search уже отвечает в поиске.
Google представила ToolGrad для генерации данных обучения работе с инструментами.
Tencent TeamAI CLI: общий конфиг для всех агентов команды.
В ChatGPT нашли пасхалку: змейка во время генерации изображений.
ИИ ошибочно маркирует работы фотографа Чжан Джингна как созданные нейросетью.
OpenAI открыла API полнодуплексной голосовой модели GPT-Live-1.