Delta Intelligence представила Δ₀ — схема для человекоподобных роботов, которая управляет всем телом

Китайская компания Delta Intelligence представила Δ₀ (Delta-0) — базовую схема для человекоподобных роботов, которая одновременно управляет движением, балансом и манипуляциями с предметами. В демонстрации робот на базе Δ₀ самостоятельно застилает кровать, поднимает предметы с пола, нажимает ногой педаль мусорного ведра, ставит пластинку на проигрыватель и садится на диван.

Главная особенность Δ₀ — управление всем телом робота как единой системой. Схема работает одновременно с 69 степенями свободы и координирует кисти, руки, ноги и корпус. В частности, при взаимодействии с мебелью робот одной рукой держится за мебель, следующий тянет дверцу и одновременно меняет положение, чтобы не упасть.

Система состоит из двух частей. Схема скрытого представления мира и действий получает изображения с камер, текстовые команды и информация о состоянии робота, прогнозирует дальнейшие состояния и формирует команды движения. Отдельный обучаемый контроллер преобразует команды в движения суставов всего тела.

Модель скрытого представления мира и действий обучали на более чем 10 тыс. часов связанных данных, в том числе видео от первого лица и записанные движения людей. Это нужно для того, чтобы робот не просто копировал движения, а понимал, какие действия при этом надо ещё делать. Например, подходить ближе, менять стойку или переносить вес с одной ноги на другую.

Компания обучает модель и на реальных роботах. Во время неудачного действия оператор может вмешаться и скорректировать движений. После такие эпизоды используют для дополнительного обучения с подкреплением. Например, в одном из тестов исследователи поменяли местами раковину и посудомоечную машину. Исходная схема справилась с поставленной задачей в 4 из 20 попыток, а после корректировок и дообучения — уже в 13 из 20.