Mercury 2: новая диффузионная модель для генерации текста.
Компания Inception Labs представила новую языковую модель Mercury 2 с нестандартной архитектурой.
В отличие от большинства современных моделей, которые генерируют текст последовательно, токен за токеном, Mercury 2 работает по принципу диффузии. Модель создает текст целыми блоками параллельно, постепенно уточняя черновик за несколько шагов. Благодаря этому скорость генерации превышает 1000 токенов в секунду.
Ключевые характеристики модели:
- Поддерживается контекстное окно на 128 тысяч токенов.
- Доступен вызов функций и строгий вывод в формате JSON.
- API полностью совместимо со стандартом OpenAI.
- Стоимость использования составляет $0.25 за миллион входных токенов.
Такая высокая скорость обработки открывает возможности для создания сложных автономных агентов. Разработчики могут запускать множество фоновых логических проверок, при этом приложение будет выдавать результат пользователю практически мгновенно.
Подробнее о модели можно узнать в официальном анонсе.
Ещё новости:
