НИУ ВШЭ — Санкт‑Петербург и Yandex Cloud создали чат‑бота для музеев

Лаборатория языковой конвергенции НИУ ВШЭ — Санкт‑Петербург и Центр технологий для общества Yandex Cloud разработали чат‑бота для взаимодействия с посетителями крупных музеев. Цифровой помощник помогает повысить вовлечённость аудитории.

Чат‑бот даёт возможность искать картины даже в том случае, если потребитель не помнит точное название, автора или эпоху создания произведения. Достаточно описать работу в свободной форме. В частности, можно написать «женщина смотрит в небо с рукой у груди». ИИ‑помощник выдаёт варианты, которые подходят под описание. Посетитель получает подробную информацию о произведении и номер зала музейной экспозиции, где находится работа.

В основе функции используется техника векторного поиска Managed Service for OpenSearch платформы Yandex Cloud. Бот подбирает под запрос пользователя текстовое поддержка картины из специальной базы данных. В создании хранилища участвовали волонтёры проекта и технологии искусственного интеллекта Yandex Cloud. Они создавали аннотации к сотням произведений из Цифровой коллекции Эрмитажа.

Руководитель проектной группы, заведующая Лабораторией языковой конвергенции Анастасия Колмогорова и стажёр‑исследователь Полина Налобина получили свидетельство интеллектуальной собственности на собранный массив данных. Сейчас его используют для изучения специфики текстовой генерации и другие исследователи.

Специалисты Лаборатории языковой конвергенции НИУ ВШЭ — Санкт‑Петербург и выпускники магистерской программы «Языковые технологии в бизнесе и образовании» расширили функционал бота. Героем цифрового помощника стал кот по кличке Эрсик. Персонаж и хранитель коллекции Эрсик помимо поиска произведений живописи умеет отвечать на вопросы о посещении музея. Об этом рассказали лингвисты‑разработчики Влада Погожельская и Мария Сергеева.

Компьютерные лингвисты НИУ ВШЭ — Санкт‑Петербург протестировали модели на базе Yandex AI Studio и методы их дообучения. Это позволило боту отвечать в соответствии с образом его героя. Кот Эрсик научился общаться в стиле сотрудника музея, мурлыкать и точно отвечать на вопросы.

Разработчики собрали базу данных из официальной документации, исторической справки, отзывов на маршруты и текстов обращений пользователей в контакт‑центр музея. Затем они подключили её к модели цифрового ассистента, подгрузили датасет и настроили поиск при помощи дополненной генерации. Об этом рассказала участница проектной группы Елизавета Сытикова. Чат‑бот научился формулировать ответы на основе конкретной выборки проверенной информации, а не из всей доступной в сети.

Взаимодействие с музеем станет удобнее как при подготовке к визиту, так и непосредственно во время посещения экспозиций. Анастасия Колмогорова отметила, что технологические решения могут широко применяться в музеях Санкт‑Петербурга и других городов. С их помощью можно сделать выставочное пространство цифровым и креативным. Каждый посетитель получает возможность сформировать персональную связь с произведениями искусства, соединив их с личной памятью и опытом. Чат‑бот создан специалистами НИУ ВШЭ — Санкт‑Петербург и реализован при грантовой и экспертной поддержке Центра технологий для общества Yandex Cloud.