Ученые придумали LIMe: обучение LLM дешевле на 15% без потери качества.
На конференции EMNLP 2026 уровня A*, проходящей в Венгрии, исследователи из T-Tech представили метод LIMe. Он позволяет обучать языковые модели примерно на 15% дешевле по вычислениям без просадки в качестве.
В трансформерах каждый слой опирается только на скрытое состояние предыдущего, и через него должен пройти весь контекст. Авторы показывают, что из-за этого возникает давление в сторону коллапса представлений. Токены становятся слишком похожими друг на друга, различия между ними теряются, а вместе с ними теряется и качество.
Как работает LIMe
LIMe (Layer-Integrated Memory) представляет собой легкое расширение механизма внимания. Оно использует key-value буферы, которые и так хранятся для каждого слоя, и добавляет к ним обучаемые веса маршрутизации, отдельные для каждой головы и каждого слоя. С их помощью голова внимания может забирать представления не только с предыдущего слоя, но и с более ранних, и смешивать их. Размер скрытого состояния при этом не растет, а уже выполненные вычисления используются повторно.
В экспериментах на моделях примерно с миллиардом параметров LIMe достиг той же ошибки обучения, что и базовая LLaMA, при затратах на 15% ниже. На бенчмарках языкового моделирования и многошаговых рассуждений метод обошел другие подходы. Самый заметный выигрыш получили на синтетических арифметических задачах и в архитектурах с большим числом слоев.
Также отмечается, что у LIMe выше энтропия value-векторов и лучше разделимость токенов, то есть главная проблема действительно смягчается. По выученным весам маршрутизации видно, что модель системно переиспользует и локальные, и дальние признаки.
Статья: https://arxiv.org/abs/2502.09245
Полная имплементация авторов: https://github.com/corl-team/lime
Ещё новости:
