Опенсорсный движок Edge0 позволил запускать модели на 35 млрд параметров на iPhone.
На iPhone теперь можно запускать модели на 35 млрд параметров: вышел опенсорсный движок Edge0. Он поддерживает архитектуру MoE и в пике потребляет всего от 1 до 2,5 ГБ.
Главный секрет в том, что вместо оперативной памяти используется флеш-память смартфона. Это снижает нагрузку на RAM и позволяет работать с моделями на 35 млрд параметров.
В открытом доступе опубликованы две модели:
Код проекта размещён на GitHub.
Ещё новости:
