Дообучение языковых моделей без градиентов: эволюционный метод ESSA.
Языковую модель можно дообучать без вычисления градиентов. Обычно для этого пересчитывают параметры модели на основе ошибки, а видеокарты постоянно обмениваются градиентами. На эти вычисления и синхронизацию уходит много ресурсов.
Исследователи Т-Банка предложили другой подход: взять модель, создать множество слегка отличающихся версий, а затем оценивать, как они решают задачи. Самые удачные версии становятся основой для следующего поколения, и так шаг за шагом. Получается эволюционный алгоритм. Метод назвали ESSA, он меняет только небольшой набор параметров LoRA-адаптеров.
На математических задачах ESSA сравнялась по качеству с GRPO, который дообучает модель целиком, хотя настраивает примерно в миллион раз меньше параметров. Поскольку видеокартам почти не нужно обмениваться данными, преимущество в скорости растёт вместе с кластером: примерно в 2 раза на 16 GPU и до 7,8 раза на 128.
Исследователи также разработали F-GRPO. Метод борется с проблемой, когда модель часто выбирает одни правильные способы решения и реже выбирает другие. F-GRPO слабее меняет параметры на простых задачах, которые модель уже уверенно решает, и помогает сохранять разные способы ответа.
На модели Qwen2.5-7B F-GRPO повысил pass@256 на математических задачах с 64,1% до 70,3% без дополнительных затрат на обучение. Это метрика вероятности, с которой модель найдёт хотя бы один правильный ответ среди 256 сгенерированных.
Обе работы представили на EMNLP, международной конференции уровня A* по обработке естественного языка.
На наш взгляд, улучшать дообучение можно и через сохранение разных решений, и через другой способ обновлять модель. И не всё упирается в то, сколько ещё видеокарт удастся получить.
Ещё новости:
