Artificial Analysis обновила рейтинг моделей V5: Claude Opus 5.5 впереди, GPT-6 Astra рядом.
Платформа Artificial Analysis выпустила пятое поколение рейтинга моделей V5. Главное изменение: 60% задач и тестов теперь взяты из закрытого датасета, поэтому моделям приходится справляться с заданиями, которых не было в открытых данных для обучения.
Раньше модели в основном проверяли на задачах по математике, логике и общим знаниям. Теперь всё чаще оценивают практическую пользу и реальный результат.
- Добавлен тест, где модель должна написать код для настоящего проекта. Оценивается не просто работоспособность кода, а готовность разработчика принять такие изменения. Лучший результат пока 46%.
- Добавлено 70 научных задач, которые модели должны самостоятельно решать с помощью инструментов. Лучший результат 63%.
Лидеры рейтинга V5
- Claude Opus 5.5 занимает первое место с 58 баллами.
- GPT-6 Astra находится рядом с 57 баллами.
- GPT-6.1 Sol набрал 55 баллов.
Разрыв между закрытыми моделями и моделями с открытыми весами вырос с 3 до 12 баллов. Однако методика изменилась, поэтому напрямую сравнивать эти цифры не совсем корректно.
GPT-6.1 Sol отстаёт от лидера всего на 3 балла, но выполнение задач обходится почти в 8 раз дешевле.
60% рейтинга основано на закрытых тестах или скрытых ответах. Это снижает риск натаскивания моделей под известные задания.
Ещё один заметный момент: чтобы получить максимальный результат, моделям приходится тратить всё больше токенов. В среднем на одну задачу уходит 59 тыс. выходных токенов против 35 тыс. в предыдущей версии.
Судя по новым результатам, даже топовым моделям ещё есть куда расти.
Подробнее: Artificial Analysis Intelligence Index V5
Ещё новости:
