Bughunt обновился: почему не стоит доверять таблицам LLM-вендоров без проверки.
Обновление bughunt снова напоминает важный урок: в то время как практически все вендоры LLM накручивают бенчмарки, не стоит спешить публиковать их маркетинговые таблицы без проверки.
Основная накрутка бенчмарков выполняется прямым обучением LLM на dataset и/или экстремальным перерасходом токенов на рассуждения или «мутационные тесты». У последних КПД 3%: расход токенов огромный, а прирост качества очень медленный.
По данным bughunt мы видим аномальный перерасход токенов на рассуждения и мутационные тесты у Sonnet 5.5.
Новый Muse Wonder в реальном тестировании показывает фейковый DeepSWE с прямым обучением на нём. Достаточно изменить перечень задач для тестирования, как в bughunt, и видна скорее деградация, а также заметен некоторый перерасход в деньгах.
Общий метод выявления накруток бенчмарков: следить за нишевыми тестами вроде bughunt, на которые обучение точно не ведётся и которые всё ещё показывают «цену вопроса».
Ещё новости:
