Как правильно читать бенчмарки LLM: MMLU-Pro, GPQA, ARC-AGI-2, HumanEval и SWE-bench Pro.
Мы разобрались, как правильно читать бенчмарки LLM. В статье разбираются MMLU-Pro, GPQA, ARC-AGI-2, HumanEval, SWE-bench Pro и другие популярные тесты, а также объясняется, где появляются контаминация данных, насыщение и погрешности.
Также есть практический разбор того, как собрать собственный eval-набор.
Ещё новости:
