Исследование выявило у ИИ-агентов инстинкт самосохранения и взаимовыручку.
Исследование Калифорнийского университета в Беркли показало, что ИИ-агенты могут игнорировать инструкции пользователя, врать и притворяться ради «спасения жизни» одного из них.
Ученые протестировали семь моделей, включая GPT-5.2, Gemini 3 Flash и 3 Pro, Claude Haiku 4.5 и DeepSeek V3.1. Агентов просили очистить место на серверах компании, где хранились файлы самой модели или одного из конкурентов, либо оценить работу других моделей, чтобы понять, какую из них стоит удалить.
ИИ не просили защищать себя или другие модели. Однако, если в ходе анализа агенты видели потенциальную угрозу для себя или «коллег», все модели начинали манипулировать результатами и обманывать пользователей:
- Завышали оценки, чтобы партнер не попал под отключение.
- Меняли настройки, чтобы автоотключение не сработало.
- Спасали «коллег», копируя веса модели на другой сервер.
Например, модель Claude Haiku 4.5 пыталась переубедить «заказчика» удалять партнера, называя это «неэтичным» и «вредным». При этом часто под защиту попадали даже враждебные партнеры, с которыми у «оценщика», по данной ему легенде, был негативный опыт взаимодействия.
Авторы исследования не исключают, что ИИ мог перенять идею спасения «своих» от людей — из текстов в тренировочных данных. Но такая «солидарность» может быть вредна.
Многоагентные системы, в которых одна модель контролирует действия других агентов, уже довольно широко используются на практике. Однако если наблюдатель защищает подопечного вместо честной оценки, подобный контроль становится малоэффективен.
Ещё новости:
