В DeepPavlov добавят модули для борьбы с галлюцинациями и избыточным поиском

Российская open-source набор модулей DeepPavlov получит обновление с новыми инструментами для работы с искусственным интеллектом. Разработку представили исследователи из МФТИ, MWS AI (входит в «МТС Web Services»), института AIRI, университета ИТМО и AI Talent Hub.

DeepPavlov — это библиотека для создания диалоговых систем и решений в области обработки естественного языка. Она включает готовые модели и инструменты для задач понимания текста, поиска ответов, классификации и анализа тональности, а также может использоваться для построения более сложных сценариев взаимодействия с пользователем.

В новой версии библиотеки появятся три компонента: классификатор токсичности, детектор контекстных галлюцинаций и классификатор evergreen-вопросов — вопросов, ответы на которые не устаревают со временем.

Другие новости и материалы по AI — в Telegram-канале NH | Новости технологий, AI и будущее.

Детектор галлюцинаций даёт возможность выявлять фрагменты ответа модели, не подтвержденные переданным контекстом, что особенно важно для сценариев с использованием RAG. Классификатор evergreen-вопросов помогает определить, требуется ли для ответа внешний поиск, или модель может обойтись без него. Классификатор токсичности используется для дополнительного контроля безопасности.

Компоненты можно применять как отдельные сервисы, подключать по программный интерфейс и встраивать в production-пайплайны. Разработчики равным образом отмечают поддержку нескольких языков.

Одновременно авторы указывают на ограничения решений. Детектор галлюцинаций работает только с фактологическими ошибками, связанными с контекстом, и не охватывает логические или смысловые неточности. Классификатор токсичности равным образом может работать нестабильно из-за особенностей обучающих данных.