MIT: игроки в Pokémon Go обучили роботов-доставщиков

Разработчик игры Pokémon Go, компания Niantic Spatial, объединилась со стартапом Coco Robotics, который внедряет роботов для доставки «последней мили» в ряде городов США и Европы. Ему предоставили информация игроков для обучения своего парка роботов.

Приложение Pokémon Go с дополненной реальностью в своё время позволило

собрать геоинформационные информация со смартфонов огромного числа игроков по всему миру. Так, в 2024 году, спустя восемь лет после запуска, игра по-прежнему привлекала более 100 млн игроков. Теперь Niantic Spatial использует этот массив данных — изображения городских достопримечательностей с высокоточными метками местоположения, снятые на телефоны, — для создания модели мира.

Последний продукт компании — схема, которая может определять местоположение на карте с точностью до нескольких сантиметров, основываясь на нескольких снимках зданий или других достопримечательностей в поле ввода зрения. Компания хочет применять её, чтобы помочь роботам более точно ориентироваться в местах, где GPS ненадёжен.

В контексте первого масштабного испытания своей технологии Niantic Spatial объединилась с Coco Robotics. «Все думали, что будущее за дополненной реальностью, что появятся очки дополненной реальности. А потом роботы стали целевой аудиторией», — говорит Брайан МакКлендон, технический директор Niantic Spatial. 

Coco Robotics использует приблизительно 1000 роботов размером с транспортировочный кейс — способных перевозить до восьми больших пицц или четырёх пакетов с продуктами — в Лос-Анджелесе, Чикаго, Джерси-Сити, Майами и Хельсинки. По словам генерального директора Зака ​​Раша, роботы уже совершили более полумиллиона доставок, преодолев несколько млн км в разных погодных условиях.

Чтобы конкурировать с курьерами-людьми, роботы Coco, которые передвигаются по тротуарам со скоростью около 8 км/ч, должны быть максимально надёжными. «Лучший метод выполнить свою работу — это прибыть точно в назначенное время», — сообщает Раш. Задача, с которой сталкивается Coco, заключается в том, что она не может полагаться на GPS, который подводит в городах, потому что радиосигналы отражаются от зданий. «Мы осуществляем доставку во многих густонаселенных районах с высотками, подземными переходами и автомагистралями, и именно в этих районах GPS фактически никогда не работает», — отмечают в стартапе.

«Визуальное позиционирование — не очень новая технология. Но очевидно, что чем больше камер у нас есть, тем лучше становится итог», — сообщает Конрад Венцель из ESRI, компании, разрабатывающей программное обеспечение для цифрового картографирования и геопространственного анализа. 

Niantic Spatial обучила свою модель на 30 млрд изображений, снятых в городских условиях. Например, они сгруппированы вокруг «горячих точек» — мест, которые служили важными локациями в играх Niantic. «У нас было более миллиона мест по всему миру, где мы могли точно определить ваше местоположение. Мы знаем, где вы стоите, с точностью до нескольких сантиметров, и, что наиболее важно, куда вы смотрите», — сообщает МакКлендон. 

В итоге для каждого из этих миллионов местоположений у Niantic Spatial есть тысячи изображений, сделанных около в одном и том же месте, но с разных ракурсов, в разное время суток и при разных погодных условиях. Каждое из этих изображений сопровождается подробными метаданными, которые точно указывают, где в пространстве находился телефон в момент съёмки, включая направление взгляда, положение, движение, скорость, направление движения и многое другое.

Компания использовала этот набор данных для обучения модели, которая точно 

предсказывает местоположение телефона. Роботы Coco, оснащённые четырьмя камерами, теперь будут применять модель, чтобы попытаться определить, где они находятся и куда направляются. Камеры роботов расположены на уровне бедра и направлены во все стороны одновременно, следовательно их точка обзора немного отличается от точки обзора игрока в Pokémon Go, но адаптация данных была несложной, говорит Раш.

В Niantic Spatial утверждают, что это позволит роботам занимать правильные позиции для посадки пассажиров возле ресторанов, не мешая никому, и останавливаться прямо у двери клиента, а не в нескольких шагах, как это могло происходить раньше.

По словам Ханке, Niantic Spatial создаёт первые элементы того, что он называет «живой картой»: сверхдетальную виртуальную симуляцию мира, которая меняется по мере обновления локаций. Когда роботы от Coco и других компаний перемещаются по миру, они будут предоставлять новые источники картографических данных, которые будут поступать во все более подробные цифровые копии мира.

По мнению Ханке и МакКлендона, карты не только становятся более детализированными, но и должны быть машиночитаемыми. Итак, они должны стать больше похожими на путеводители, полные информации, которую люди принимают как должное. Такие компании, как Niantic Spatial и ESRI, хотят добавить описания, которые сообщают машинам, на что они на самом деле смотрят, при этом каждый объект должен быть помечен списком своих свойств. 

В 2024 году инженеры Niantic представили нейросеть MicKey,которая может сравнивать объекты, искать в них закономерности и понимать, что ей показывают один и тот же объект, но под разными углами. Тогда компания отмечала, что в некоторых задачах нейросеть справляется даже быстрее человека.