В России представили первую открытую методологию тестирования RAG‑систем

2 мин

Исследователи из Сбера (команда SberAI), МТС Web Services (MWS AI) и ведущих российских и международных вузов разработали первую открытую динамическую методологию тестирования русскоязычных систем генеративного ИИ с поиском (RAG). Работу приняли на EACL 2026 — одну из крупнейших конференций по компьютерной лингвистике, которая проходит с 24 по 29 марта 2026 года в Рабате (Марокко), рассказали у в МТС.

RAG‑системы (Retrieval‑Augmented Generation) объединяют большие языковые модели с базами знаний и корпоративными данными. Это позволяет ИИ‑ассистентам отвечать на запросы с опорой на актуальную информацию и снижать риск ошибок. Такие решения лежат в основе современных ИИ‑агентов, способных выполнять сложные задачи без участия человека.

Новая методология получила название DRAGOn (Designing RAG on Periodically Updated Corpus). Она решает ключевую проблему существующих тестов: большинство из них либо используют устаревающие статичные данные, либо не учитывают специфику корпоративных баз знаний. DRAGOn, напротив, работает с постоянно обновляемыми источниками — в частности, новостными лентами — и автоматически формирует из них «карту знаний».

Платформа генерирует не простые вопросы, а многоуровневые логические задачи, требующие сопоставления фактов из разных источников. Проверку ответов выполняет отдельная нейросеть, которая оценивает не только совпадение формулировок, но и точность и полноту ответа.

По словам соавтора исследования, руководителя центра разработки больших языковых моделей MWS AI Валентина Малых, индустрия ИИ смещается от гонки размеров моделей к качеству прикладных решений. Он отметил, что методология универсальна и может применяться в разных сферах — от анализа научных публикаций до юридических документов.

В рамках проекта также запустили начальный публичный рейтинг (лидерборд) русскоязычных RAG‑систем. Предварительные результаты показывают, что наилучшие показатели достигаются при комбинации нескольких моделей и продвинутых методов поиска, однако даже такие решения пока испытывают сложности при работе со сложными логическими связями.

Практическая ценность разработки заключается в том, что компании смогут разворачивать собственные тестовые среды на внутренних данных. Это позволит заранее оценивать точность ИИ‑систем, сравнивать разные подходы и снижать риски ошибок при внедрении.

В исследовании приняли участие специалисты Сбера, MBZUAI, ИТМО, МИСИС, НИУ ВШЭ, МТС Web Services, IITU и Школы анализа данных «Яндекса».

Читают сейчас

В Neowin напомнили о некогда культовой функции WordArt в Microsoft Office

6 минут назад

В Neowin напомнили о некогда культовой функции WordArt в Microsoft Office

Редактор Neowin опубликовал ностальгическую колонку, посвящённую старой функции WordArt в Microsoft Office. Она присутствует в офисном пакете и сегодня, но уже не применяется большинством юзеров. Чита

SteamOS 3.8 теперь можно инсталлировать на любой компьютер с Intel и AMD

26 минут назад

SteamOS 3.8 теперь можно инсталлировать на любой компьютер с Intel и AMD

В Valve заявили, что с выпуском SteamOS 3.8 пользователь может собрать свою собственную Steam Machine, используя любой ПК с Intel и AMD. Вскоре такая функция появится и на оборудовании с графикой Nvid

Выпуск Cjam 2.5.0.0 — легковесного Freeware редактора MP3 для ПК на ОС Windows

34 минуты назад

Выпуск Cjam 2.5.0.0 — легковесного Freeware редактора MP3 для ПК на ОС Windows

Состоялся выпуск проекта Cjam 2.5.0.0 — легковесного Freeware редактора MP3 для ПК на ОС Windows. Выпуск Cjam 1.0.0.0 произошёл в декабре 2019 года. Сборка Cjam 2.0.0.0 представлена в июне 2025 года.

Ведущий инженер Anthropic: использование ИИ-агентов приводит к одиночеству

46 минут назад

Ведущий инженер Anthropic: использование ИИ-агентов приводит к одиночеству

Фиона Фунг, руководитель инженерного отдела в Anthropic, рассказала, что чем больше инженеры полагались на ИИ-агентов, тем больше они изолировались друг от друга в работе. Читать далее

Chevron заключила 20-летнее соглашение с Microsoft о поставке электроэнергии для ЦОД

1 час назад

Chevron заключила 20-летнее соглашение с Microsoft о поставке электроэнергии для ЦОД

Энергетическая компания Chevron объявила о том, что её дочка Energy Forge One будет поставлять Microsoft энергию для центра обработки данных в Западном Техасе. Соглашение заключили на 20 лет в контекс