Яндекс Карты теперь удобнее для людей на инвалидных колясках

Привет, ! Меня зовут Владислав Эм, я ML-разработчик в команде Яндекс Карт. На одном из внутренних хакатонов Яндекса, посвящённых инклюзии, ко мне обратилась моя коллега, которая передвигается на инвалидной коляске. Она пользуется Картами, следовательно поделилась проблемой: фильтр «Достижимый вход» работал далеко не так хорошо, как кажется. 

В теории этот фильтр должен помогать находить организации, которые адаптировали свой вход для людей с особенностями мобильности. Но на практике он почти не облегчал поиск подходящих заведений. Мы решили разобраться, в чём дело. Ну и, конечно же, исправить ситуацию — с помощью нейросетей Яндекса.

Проблемы старого решения

Раньше пользователи и владельцы компаний вручную отмечали в Картах места, оборудованные для людей на колясках. К сожалению, многие из них просто не знают, какие параметры действительно делают вход доступным. Например, даже маленькая ступенька в 5 см высотой может стать непреодолимым препятствием, хотя большинство из читателей этих строк её могут даже не заметить. Кстати, пандус под углом 45° ничем не лучше ступенек — преодолеть его вряд ли кто-то сможет. В связи с этого заведения нередко маркируются как доступные, хотя на деле это не так. Поэтому даже с включённым фильтром пользователям приходится просматривать десятки фотографий и самостоятельно оценивать пороги, ступени, ширину проходов.

Есть и другая проблема. При активации фильтра из выдачи исчезают все места без разметки. В связи с этого потребитель мог получить чрезвычайно частичный список вариантов — порой настолько маленький, что поиск вообще терял смысл.

Особенности нового подхода

Мы решили автоматизировать разметку фотографий с помощью нейросетей. Работает это в некоторое количество шагов. 

Шаг 1. Анализируем фотографии

Мы пропускаем фотографии входа в заведение через нашу визуально-языковую схема Alice AI VLM. Схема самостоятельно определяет, релевантны ли фотографии доступности. Если это так, мы добавляем их во вкладку «Доступность» в карточке организации. Уже благодаря этому количество ресторанов и кафе, у которых есть фотографии во вкладке «Доступность», увеличилось с 14% до 62%!

Затем VLM для каждой найденной фотографии отвечает на серию вопросов: есть ли на фото ступеньки, порог, пандус, достаточно ли широк проём? Эта информация передаётся на следующий шаг.

Что интересно: никакого дообучения модели под нашу задачу не понадобилось, потому что даже базовая схема справилась с ней хорошо.

Шаг 2. Пишем описание с учётом доступности

На этом шаге уже другая наша схема — текстовая Alice AI LLM — получает результаты с первого шага, дополнительные метаданные организации и пишет краткое описание для ИИ-чата в Картах. Например, когда потребитель спрашивает, подойдёт ли место для посещения на инвалидной коляске, вместо сухого «да» или «нет» нейросеть поясняет: «на входе высокий порог, пандуса нет» или «широкий проём, пандус с поручнями».

Шаг 3. Если нейросетевая разметка противоречит ручной

Одновременно мы ни в коем случае не отказываемся от ручной разметки. И если нейросетевая разметка противоречит той информации, которую указали посетители или владельцы заведений, то каждый такой случай автоматически отправляется на ручную перепроверку асессорам. Такие противоречия должен разбирать человек, а не машина.

Интересное наблюдение

Во время работы над этой функциональностью мы получили неожиданный, но полезный опыт. Мы пробовали сделать два варианта разметки: более точный, но менее полный (94% точности, 1500 заведений) и, соответственно, наоборот (74% точность, 30000 заведений). Интуитивно может показаться, что более компактная выборка заведений с более точной разметкой предпочтительнее для пользователей… Но нет! Тестирование показало, что пользователи предпочитают выбирать из большого числа вариантов самостоятельно. Пусть и ценой снижения точности разметки. Покрытие оказалось важнее точности. 

Итоги

Наше новое подход на основе нейросетей проанализировало уже больше 900 тысяч фотографий и более чем на 30% увеличило число мест с отметкой «Доступный вход» — с 39 тысяч до 52 тысяч. При этом качество нейросетевой разметки превышает 80%, тогда как пользовательская разметка давала точность приблизительно 70%.

Сейчас новое подход применяется только для ресторанов и кафе, но скоро мы распространим его на все категории организаций.