TypeSafe AI выпустила Jev: модель, которая не пишет текст, а отвечает только на типизированные вопросы.
TypeSafe AI, лаборатория соавтора InstructGPT из OpenAI, выпустила Jev. Это модель, которая не пишет развёрнутые ответы, а отвечает только на типизированные вопросы: выбрать вариант из списка, поставить оценку по шкале или сказать «да» либо «нет». К каждому ответу Jev прикладывает вероятности.
Как работает Jev
В запрос передаётся произвольный текст: письмо клиента, JSON с состоянием приложения. К нему добавляется словарь вопросов на обычном английском. Например, «какая команда должна этим заняться» с вариантами billing, technical, sales; «насколько клиент раздражён» по трём уровням; «есть ли срочность». Все вопросы модель считает параллельно за один вызов и возвращает technical с вероятностью 0,84 и уверенностью 0,6. Дальше решает код: при высокой уверенности можно маршрутизировать обращение автоматически, при низкой передать человеку. Промпт «ответь одним словом» и парсер поверх ответа не нужны. Ответ вне списка невозможен по устройству модели.
Скорость и стоимость
Ответ приходит за 70–500 мс. Миллион входных токенов стоит $0,042, выход бесплатный. По замерам TypeSafe AI, это в 40–200 раз быстрее и на два порядка дешевле GPT-6 Astra и Fable 5.1 на таких задачах.
Руководитель evals в Every прогнал через Jev 37 статей с 21 вопросом про признаки ИИ-текста. Получилось 777 вердиктов за 0,7 секунды и четверть цента. В его же тесте на дефекты в тексте Jev нашёл 6 из 7, а Fable 5.1 нашла все 7, но оказалась в 25 раз медленнее и в 580 раз дороже.
Ограничения и доступ
Объяснить выбор или написать ответ клиенту Jev не умеет. Для этого рядом нужна обычная LLM. Количество вариантов в одном выборе до 255. Доступ к модели открыт по листу ожидания, SDK для Python и JS уже лежат на GitHub.
Ещё новости:
