Liquid AI представила локального ИИ-агента LFM2.5-2.6B для смартфонов.
Liquid AI выпустила агентную модель LFM2.5-2.6B на 2,6 млрд параметров, которая работает полностью на устройстве пользователя. Она умеет планировать действия, вызывать инструменты и выполнять многошаговые задачи без необходимости подключения к облачным сервисам.
Модель обучалась примерно на 34 трлн токенов. Разработчики расширили словарь до 128 тысяч токенов и добавили поддержку контекстного окна на 128K.
Дообучение проходило в несколько этапов:
- отдельные модели-эксперты усиливали математические способности, написание кода, использование инструментов и работу с длинным контекстом;
- затем навыки экспертов перенесли в одну модель через on-policy distillation;
- финальный этап прошёл внутри реальных агентных сред, включая Hermes Agent и OpenClaw.
По внутренним тестам Liquid AI, производительность модели на разных устройствах выглядит так:
- до 220 токенов/с на Apple M5 Max;
- до 113 токенов/с на Ryzen AI Max+ 395;
- около 30 токенов/с на смартфоне;
- почти 15 000 выходных токенов/с на одной H100 при высокой параллельной нагрузке.
При этом потребление памяти на CPU не превышает 2,5 ГБ.
В бенчмарках LFM2.5-2.6B обходит более крупные Gemma и Qwen в ряде задач на следование инструкциям и использование инструментов. Однако в сложном программировании большие модели пока сохраняют преимущество.
Модель получила поддержку llama.cpp, MLX, vLLM, SGLang и ONNX. Доступны для загрузки базовая и дообученная open-weight версии.
Подробнее о новинке можно узнать в блоге компании: liquid.ai/blog/lfm2-5-2-6b
Ещё новости:
