«ГигаЧат» научился распознавать эмоции, различать спикеров и находить нужные моменты в длинных аудио

Пользователям ИИ‑помощника «ГигаЧат» стала доступна обновлённая нейросеть GigaChat Audio — большая языковая модель, которая способна обрабатывать аудиофайлы и голосовые сообщения без предварительного преобразования речи в текст. Искусственный интеллект научился понимать интонацию пользователя и получил расширенные возможности по обработке звуковой информации, рассказали у в пресс‑службе компании.

Теперь «ГигаЧат» распознаёт, с позитивной или негативной эмоцией обращается к нему пользователь — по интонации, характеристикам голоса и нюансам произношения. Это даёт возможность ему реагировать уместнее: в частности, мягче отвечать раздражённому пользователю или поддержать настроение, если человек делится хорошей новостью.

Модель может обрабатывать записи длиной до трёх часов и ориентироваться внутри них: можно спросить, в какой момент разговора обсуждали конкретный вопрос, попросить пересказать отдельный отрезок или получить суммаризацию всей записи со ссылками на таймкоды. Нейросеть равным образом способна различать в записи спикеров.

ИИ‑помощник теперь сможет запомнить важные для пользователя факты из голосового диалога и опираться на них в следующих сессиях. При повторном обращении «ГигаЧат» будет учитывать ранее озвученные пожелания, например, составит маршрут путешествия с учётом интересов пользователя. Тот полностью контролирует функцию: зафиксированные факты можно посмотреть, отредактировать или отключить память в настройках профиля в любой момент.

В дополнение к интеграции в ИИ‑помощник, команда выложила в открытый доступ облегчённую версию GigaChat3.1-Audio-10B. Нейросеть распознаёт русский, английский и другие языки. На основе модели можно создавать сервисы транскрибации, тренажёры произношения, инструменты для оценки качества озвучки, голосовые переводчики с пониманием контекста и сервисы пересказа длинных записей. 

«Сбер» равным образом выложил в открытый доступ GigaAM Multilingual — семейство моделей автоматического распознавания речи. Это первая российская открытая модель, работающая с несколькими языками. По замерам, GigaAM допускает в 1,5–2 раза меньше ошибок, чем ближайшие конкуренты. Модель поддерживает русский, английский, киргизский, казахский и узбекский языки и доступна в двух версиях — компактной, которая работает на обычных процессорах, и флагманской, обеспечивающей более высокое качество распознавания. GigaAM подойдёт для кол‑центров и голосовых ассистентов, расшифровки встреч, интервью и подкастов, голосового ввода в приложениях и автосубтитров.

Обе модели прошли предварительное обучение на большом числе языков, следовательно их можно быстро дообучить под дополнительные, в том числе языки стран СНГ. Для этого в достаточной степени нескольких десятков часов размеченных аудиозаписей.