Студенты Школы анализа данных и исследователи Яндекса создали MTGBench: бенчмарк рассуждений для популярных моделей!
Студенты Школы анализа данных вместе с исследователями Яндекса создали бенчмарк MTGBench. Он проверяет, как рассуждают популярные модели, поэтому пригодится разработчикам, которые внедряют ИИ и не хотят переплачивать за дорогие режимы.
В основе MTGBench семь игр, включая «Данетки», «Элиас» и Wordle. Модель должна учитывать новые подсказки и не противоречить себе. Оценивают и сам ответ, и число шагов до него.
Через бенчмарк уже прогнали 16 нейросетей, от Qwen до Gemini и GPT. Выяснилось, что высокий балл в одной игре не гарантирует успеха в другой, а режим рассуждений сильнее всего помогает в играх с буквами.
Статью о MTGBench приняли на EMNLP 2026, одну из главных конференций по ИИ. Сейчас она проходит в Будапеште.
Ещё новости:
