Институт Аллена представил гибридную модель OLMo Hybrid 7B, сочетающую RNN и трансформеры.
OLMo Hybrid: RNN плюс трансформер в одной модели
Институт Аллена опубликовал информацию о модели OLMo Hybrid 7B. Ее архитектура построена на чередовании слоев Gated DeltaNet и стандартного внимания в соотношении 3:1. Такое решение позволяет решать больше подзадач из обучающих данных за меньшее число токенов, что напрямую снижает потребность в данных при обучении.
Gated DeltaNet это RNN с расширением в виде отрицательных значений матрицы переходов. Это изменение в правиле обновления внутреннего состояния позволяет слоям Gated DeltaNet реализовывать динамику попарной перестановки элементов и решать задачи отслеживания состояния, недоступные чистым трансформерам.
В OLMo Hybrid показано, что гибридные модели выразительнее суммы своих частей. Существует класс задач отслеживания состояния с обращением к памяти, которые не решают ни чистые трансформеры, ни чистые RNN, но гибрид справляется с ними уже при одинарном чередовании типов слоев.
Абляционные эксперименты от 60M до 1B параметров показали, что Gated DeltaNet стабильно лучше Mamba2 как в чистом, так и в гибридном варианте. Равномерное чередование слоев лучше концентрации внимания в середине сети, а соотношение 3:1 является оптимальным балансом между качеством и вычислительной стоимостью на средних и крупных масштабах.
Тесты и результаты
- На тесте MMLU модель OLMo Hybrid достигает той же точности, что и OLMo 3 7B, но использует на 49% меньше токенов. На срезе данных Common Crawl экономия составляет 35%.
- Коэффициент эффективности использования данных у гибрида равен 83,7 против 94,9 у трансформера.
- Экономия данных растет с размером модели: примерно в 1,3 раза на 1B параметров и в 1,9 раза на 70B.
- После дообучения и адаптации к длинному контексту OLMo Hybrid превосходит OLMo 3 во всех категориях оценки. На бенчмарке RULER при 64k токенах гибрид показывает 85,0 баллов против 70,9 у базовой модели.
Модель распространяется под лицензией Apache 2.0 License.
Ещё новости:
