Liquid AI выпустила LFM3: шесть компактных моделей для текста, изображений, видео и звука с открытыми весами.
Liquid AI представила семейство LFM3: шесть компактных моделей с открытыми весами для текста, изображений, видео и звука. Первый выпуск включает модели примерно на 2 млрд параметров, рассчитанные на локальный запуск и дообучение под конкретные задачи.
Что внутри
- LFM3-1.7B: текстовая модель для агентов с контекстом 256K. Веса в 4-битном формате занимают около 1 ГБ.
- LFM3-VL-2B: работа с изображениями и видео, документами, графиками и интерфейсами.
- LFM3-Audio-2B: распознавание, генерация и перевод речи на 18 языках, понимание звуков и вызов инструментов.
- LFM3-Omni-2B: объединяет зрение, слух и голосовые ответы.
- d1-2B и d1-Omni-2B: модели для структурированных решений: классификации, извлечения данных, поиска объектов и оценки вероятностей.
Архитектура и результаты
Архитектура сочетает короткие свёртки, скользящее и глобальное внимание. Базовая модель обучена на 22 трлн токенов.
По оценке команды Liquid AI, LFM3-1.7B превосходит LFM2.5-2.6B при числе параметров на 35% меньше. На SWE-bench Verified результат вырос с 18% до 43,4%, на BFCL V4 с 55,89 до 71,39.
Доступность
Все модели можно дообучать на одной GPU. Доступны базовые и дообученные веса, Playground и API.
Полезные ссылки:
- Blog: liquid.ai/blog/lfm3
- Docs: docs.liquid.ai
- Open weights: huggingface.co/collections/LiquidAI/lfm3
- Playground: playground.liquid.ai
- API: console.liquid.ai
- Pipette: pipette.liquid.ai
- Get in touch for custom fine-tuning: liquid.ai/connect
Ещё новости:
