Андрей Карпаты: модель на 1 млрд параметров может быть эффективнее большинства LLM.
По мнению Андрея Карпаты, до 90% ресурсов больших языковых моделей тратится на запоминание информации, которая не нужна для рассуждений. Его идея: отделить способность мыслить от накопленных знаний и оставить компактное вычислительное ядро.
Пять тезисов Карпаты
- Интеллект не равен знаниям. Модель не обязана хранить весь интернет в своих весах, если умеет находить информацию и рассуждать.
- Для рассуждений может хватить 1 млрд параметров. По гипотезе Карпаты, само ядро интеллекта гораздо компактнее современных LLM.
- Размер перестаёт быть главным ограничением. Для ИИ-агентов всё большую роль играют инструменты, доступ к среде и скорость обратной связи.
- Интеллект зависит от системы вокруг модели. Хороший harness с памятью, инструментами и проверкой результатов может сделать небольшую модель эффективнее крупной.
- Локальные модели дают независимость. Их можно запускать на собственном оборудовании без лимитов облачного API и риска изменения тарифов.
По мнению Андрея Карпаты, уже через год локальные агенты смогут приблизиться к облачным системам по практической полезности. При этом оценки про 90% и 1 млрд параметров остаются гипотезами, а не доказанными пределами масштабирования.
Если эта идея подтвердится, конкуренция сместится от размера моделей к качеству агентной инфраструктуры.
Ещё новости:
