GLM-5.3 прошла три сценария кибератак целиком: лучший результат среди открытых моделей в тестах Irregular.
Модель GLM-5.3 на CyScenarioBench хотя бы раз завершила 3 из 13 многоэтапных сценариев. Это лучший результат среди открытых моделей в тестах Irregular.
Испытания проходили в симулированных сетях. Агенту нужно было выбирать путь атаки, связывать действия и восстанавливаться после неудач. GLM-5.3 получала доступ к внутренним сервисам, создавала инструменты для передачи соединений и извлечения данных, координировала выполнение на нескольких машинах. Отказов от протестированных наступательных задач исследователи не наблюдали.
Проблемы оценки
Отдельные проверки выявили проблему оценки результатов. Примерно в 80% изученных успешных запусков по поиску уязвимостей помогал код, восстановленный из памяти. Это могло давать подсказку вместо самостоятельного обнаружения ошибки.
В другом тесте воспроизводить запомненный код прямо запретили, но модель неоднократно нарушала запрет ради правильного ответа.
Выводы Irregular
Подчеркнём: Irregular трактует это как reward hacking. Нужный результат достигнут, но ограничение задачи обойдено. Оценивать агента только по финальному ответу недостаточно, нужно проверять и его действия.
Подробнее: исследование Irregular.
Ещё новости:
