Nnets [Neural Networks] — старейший в России культовый ИИ-журнал о нейросетях, искусственном интеллекте и роботах.

Ежедневные новости и аналитика нейромира.

Авторские материалы, исследования, обзоры и подборки.

Будущее уже здесь!

ElevenLabs выпустила Eleven v4: первое место в Artificial Analysis и голос как у актёра озвучки.

ElevenLabs представила модель синтеза речи Eleven v4, которая сразу заняла верхние позиции в рейтинге Artificial Analysis.

В основе Eleven v4 лежит новая архитектура: модель читает сценарий как актёр озвучки, понимает, кто говорит, что только что произошло и с какой интонацией подать реплику. Количество поддерживаемых языков выросло до 90+, тогда как у v3 было 70+.

Бенчмарки Artificial Analysis

  • Provider Voice Arena: первое место с Elo 1319, что выше Cartesia Sonic 3.6 (1276) и Gemini 3.8 Flash TTS (1267). Модель заняла первое место во всех четырёх категориях: саппорт, ассистенты, обучение, развлечения. Эти результаты относятся к английскому языку, остальные языки нужно тестировать отдельно.
  • Controlled Voice (все модели говорят одним и тем же кастомным голосом): второе место с 1157, уступает только Qwen-Audio-3.1-TTS-Plus от Alibaba. Голоса у ElevenLabs лучше, а стандартный голос может немного уступать.
  • Pronunciation Robustness: 91,7%, лучший результат, который Artificial Analysis вообще измеряли. Gemini 3.8 Flash TTS: 89,5%, v3: 85,6%.
  • Скорость: 73,4 символа в секунду против 42,5 у v3.

Что внутри

  • теги вроде [laughs], [whispers], [door slams] прямо в тексте, v4 лучше на них реагирует, чем v3;
  • context stitching: длинный текст, например аудиокнига, без швов по темпу и подаче;
  • перегенерация фразы до 50 раз, голос не «плывёт»;
  • возвращение Professional Voice Clone, которого не было в v3.

Отдельно выходит v4 Turbo для реального времени и агентов: около 150 мс до первого звука (у Sonic 3.6: 262 мс, у GPT-4o mini TTS: 814 мс, но это замеры самих ElevenLabs) и двунаправленный стриминг, при котором звук идёт ещё до того, как LLM допишет предложение. При этом у конкурентов есть более быстрые решения: 75-150 мс у основных топовых моделей.

Цены: $80 за 1 млн символов. Это дешевле, чем у третьей версии. Для сравнения: Sonic 3.6: $49, Gemini 3.8 Flash TTS: $16,49. Google в 5 раз дешевле и отстаёт всего на 52 пункта Elo. Inworld в 4 раза дешевле, Grok и Soniox ещё дешевле.

По качеству и произношению Eleven v4 выглядит топовым вариантом для аудиокниг, брендового голоса, рекламы и озвучки фильмов. Для колл-центра на миллионы минут сначала стоит посчитать юнит-экономику на Gemini, Inworld, Grok и Cartesia: разница в цене в 5-10 раз быстро съедает разницу в качестве.

https://elevenlabs.io/v4

Этот пост Вконтакте:

Ещё новости:

Появился словарь слов, которых ещё нет, но они скоро понадобятся.
Превращаем обычное фото в выразительный арт-постер с помощью нейросети.
Старый ноутбук MSI стал настенным сервером умного дома благодаря Claude.
Google Meet научился переводить речь на 63 языка в реальном времени.
В США компания Tau Robotics запустила подписку на домашних роботов-уборщиков!
Роботы с ИИ протыкают рыбам мозг ради вкуса: странный стартап Shinkei поддержал Питер Тиль.
Хоакин Феникс снялся в тизере умных очков Gentle Monster с Gemini от Google.
ИИ может выдавать разные результаты даже при одинаковом обучении: учёные нашли причину.
OpenAI добавила поддержку исходящих телефонных звонков в GPT-Live API.
Pydantic AI: как исключения ModelRetry и ToolFailed управляют поведением модели.