Вышел SWE-rebench V2.1 RL: 13 337 бесплатных RL-сред для обучения кодинг-агентов.
Появился открытый датасет SWE-rebench V2.1 RL. В нем собраны 13 337 бесплатных сред для обучения кодинг-агентов с подкреплением. Это задачи из реальных GitHub-репозиториев на 20 языках, упакованные в формат Harbor.
Почему это важно
При RL-обучении модель много раз решает одну и ту же задачу и учится на разнице между успешными и неудачными попытками. Если задача неисправна: тесты не совпадают с описанием, окружение не запускается или ответ утекает в Docker-образ, модель ничему не научится, а вычислительные ресурсы будут потрачены впустую. В открытых датасетах таких проблемных задач много.
Каждую задачу в SWE-rebench V2.1 RL перепроверили и исправили с помощью кодинг-агентов. В среднем это обошлось в $0.24 за задачу. На одном наборе из 100 задач количество задач, на которых Qwen3.5-9B действительно учится, выросло с 55 до 70.
Если вы занимаетесь RL-посттренингом, рекомендуем присмотреться к этому датасету. Авторы обещают еще больше релизов для open source.
Ссылка на датасет: SWE-rebench V2.1 RL на Harbor Hub.
Ещё новости:
