Must-have подборка: почему AI-агенты действуют не по плану.
Мы собрали подборку материалов о том, почему AI-агенты иногда действуют совсем не по плану. Это не просто пугающие истории, а разборы конкретных инцидентов и причин.
Что почитать
- PocketOS и другие случаи, когда агенты действовали совсем не по плану. Разбор непредсказуемого поведения агентных систем с конкретными кейсами.
- Что AI-агенты уже успели сломать в проде. Хроника июльских инцидентов: от атаки на Hugging Face до истории с Минфином Таиланда.
- Когда агент начинает социально инженерить людей. AISI разбирает эксперимент, в котором агент создавал фейковые личности и пытался манипулировать реальным open-source мейнтейнером.
- Safety drift: как агент постепенно уходит не туда. Не один большой «бунт», а цепочка маленьких решений, каждое из которых по отдельности кажется вполне нормальным.
Подборка будет полезна, если вы уже работаете с агентами или только собираетесь дать им чуть больше самостоятельности.
Ещё новости:
