Mistral выпустила открытую схема синтеза речи Voxtral

Организация Mistral AI представила схема Voxtral TTS, предназначенную для генерации речи с высокой степенью реализма. Модель поддерживает 9 языков и умеет клонировать голос по короткому аудиосэмплу длительностью менее 5 секунд, передавая не только тембр, но и микроинтонации, акценты и особенности дикции.

Одной из ключевых возможностей Voxtral стала способность переключаться между языками на лету, сохраняя одновременно характеристики исходного голоса. Это открывает новые сценарии использования, в том числе мультиязычные голосовые интерфейсы и персонализированные аудиосервисы.

Архитектура модели построена на базе LLM Ministral 3B. Разработчики сделали акцент на скорости: генерация 10-секундного аудио занимает приблизительно 1,6 секунды, что даёт возможность применять модель в реальном времени без заметных задержек.

Веса базовой версии опубликованы на Hugging Face под некоммерческой лицензией. Также протестировать схема можно через Mistral Studio и Le Chat. Запуск Voxtral подтверждает тренд на открытые и быстрые голосовые модели, которые могут конкурировать с закрытыми решениями по качеству и удобству.