Память LLM: что общего у MLP, самовнимания и правил Dune: Imperium?
Современные языковые модели хранят массу узкоспециальных знаний из самых разных областей. Например, один из пользователей, опаздывая на игровой вечер, попросил у ассистента Astra напомнить правила настольной игры Dune: Imperium. Astra без труда продиктовала их прямо во время поездки, и этого хватило, чтобы быстро вспомнить правила и снова сыграть. Мы настолько привыкли спрашивать модели обо всем, что их обширный багаж знаний воспринимаем как должное.
В материале на Habr доступно объясняются линейные отображения, MLP и самовнимание как типы хранения памяти. Отсюда можно вывести эвристики: какой объем памяти способен удерживать каждый слой.
Ещё новости:
