Исследование Ai2: гибридные модели лучше понимают смысл, а трансформеры точнее цитируют.
Институт Аллена опубликовал работу, в которой выяснили, как архитектура моделей влияет на понимание текста.
Спойлер: гибридные модели лучше улавливают смысл, а классические трансформеры точнее копируют данные.
Для эксперимента взяли 2 собственные языковые модели — Olmo 3 и Olmo Hybrid. Обе обучались абсолютно одинаково, отличалось лишь их внутреннее устройство.
- Olmo 3: классический decoder-only трансформер
- Olmo Hybrid: гибрид c чередованием слоев RNN и трансформеров в пропорции 3:1
Трансформеры используют механизм внимания на каждом слое. Модель может напрямую обращаться к любому из предыдущих токенов. Это требует вычислительных мощностей, зато позволяет идеально цитировать прочитанное.
Гибрид сохраняет несколько слоёв внимания, а остальные заменяет рекуррентными. Они читают текст строго слева направо и сохраняют его в виде сжатой памяти. Такая память не даёт точно обратиться к конкретному предыдущему токену, зато затраты на обработку остаются постоянными независимо от длины текста.
Чтобы измерить разницу, обеим моделям подавали статьи, страницы Wikipedia, книги, научные работы, а также код на Python, HTML и LaTeX. На выходе фиксировали, насколько точно каждая модель предсказывает следующий токен.
Результат
Гибрид лучше предсказывает смысловые слова (существительные, глаголы и прилагательные). Он также превосходит чистый трансформер там, где нужно глубокое понимание контекста.
Но его преимущество почти исчезало в случаях, когда дело доходит до точного цитирования. Чем длиннее был повтор, тем меньше становился разрыв. Здесь точнее оказывался трансформер.
В дополнительном прогоне с 3 моделями на 1В параметров (трансформером, гибридом и чистой рекуррентной моделью без внимания), выяснилось, что гибрид пасует перед точным повторением текста и закрывающими скобками в коде.
Выводы
Первый: единый усреднённый показатель ошибки слишком груб для сравнения архитектур — различия видны только при разборе отдельных типов токенов.
Второй: преимущество гибрида на смысловых словах связано со способностью RNN-слоёв отслеживать меняющееся состояние текста.
Ещё новости:
