Нова модель мовлення ElevenLabs v4 підтримує більше контролю над виразністю та 90 мов

Розробник технологій штучного інтелекту ElevenLabs випустив оновлені моделі синтезу мовлення, що включають версії v4 та v4 Turbo. Ці рішення базуються на новій архітектурі, яка дозволяє досягти кращого контролю над генерацією голосу, прискорює клонування голосу до 10 секунд аудіозапису та значно зменшує затримку, що є критично важливим для інтерактивних голосових агентів.

Однією з ключових переваг нових моделей є розширені можливості контролю над виразністю. ElevenLabs v4 краще зберігає ідентичність голосу при роботі з довшими текстовими фрагментами та адаптує інтонації з урахуванням контексту. Система також розширила функціонал вбудованих тегів, що дозволяють користувачам детальніше визначати та послідовно комбінувати вирази для досягнення бажаного ефекту.

Кількість підтримуваних мов зросла з 70 до понад 90. За даними компанії, найбільші покращення якості синтезу спостерігаються для японської, бразильської португальської, мандаринської та кантонської мов. Це відкриває нові перспективи для глобалізації застосунків та сервісів, що використовують голосові інтерфейси.

ElevenLabs демонструє швидке зростання, особливо в корпоративному сегменті, який генерує понад 55% її доходів. Нові моделі орієнтовані на використання в голосових агентах завдяки низькій затримці, що дозволяє більш плавну розмову. Технологія може починати генерувати аудіо одразу після того, як велика мовна модель формує відповідь, а також по-різному обробляти конфліктні ситуації, ескалації та утримання, що сприяє кращому вирішенню проблем користувачів.

На ринку технологій синтезу мовлення посилюється конкуренція. Поруч зі стартапами, такими як Cartesia, Deepgram та WellSaid Labs, великі гравці, включаючи Google та OpenAI, також активно розвивають власні голосові моделі. Проте ElevenLabs залучила $500 млн інвестицій цього року, оцінка компанії сягнула $11 млрд, а річний дохід перевищив $600 млн. Компанія активно розширює штат, наймаючи понад 800 співробітників у різних країнах.

Що це означає: Запуск ElevenLabs v4 знаменує значний крок у розвитку технологій синтезу мовлення, роблячи їх більш реалістичними, гнучкими та доступними для широкого спектра застосувань. Покращений контроль над виразністю та розширена мовна підтримка відкривають нові можливості для бізнесу у сферах клієнтського обслуговування, медіа, освіти та розваг, підвищуючи ефективність та інтерактивність комунікацій через голосові інтерфейси.