Компания Martian выпустила открытый бенчмарк для оценки AI-агентов, проверяющих код.
Компания Martian представила крупнейший открытый бенчмарк для оценки AI-агентов, проверяющих код.
Главной проблемой большинства тестов для искусственного интеллекта является то, что модели со временем просто запоминают ответы. Бенчмарк превращается в «экзамен с известными вопросами», а реальные возможности моделей остаются неоцененными.
Martian решили эту проблему на архитектурном уровне, внедрив систему Dual-Layer Evaluation.
- Offline-слой – это честное сравнение моделей на статичных данных.
- Online-слой – это анализ поведения инструментов в реальной работе разработчиков.
Если компания попытается «подогнать» модель под офлайн-тест, это сразу станет заметно, так как её результаты перестанут совпадать с реальным использованием в онлайн-слое.
Фактически это первый самокорректирующийся бенчмарк, который нельзя накрутить маркетингом или обучением на тестовых данных.
Что внутри бенчмарка
- Более 200 000 реальных изменений кода.
- Данные реального поведения разработчиков.
- Оценка качества AI-ревью в боевых условиях.
- Полная нейтральность, так как создатели не продают собственных coding-ассистентов.
Это первый измеритель качества AI-инструментов для разработки, который не деградирует со временем и отражает реальную пользу, а не лабораторные метрики.
Ознакомиться с бенчмарком можно на официальном сайте CodeReview.
Ещё новости:
