Google DeepMind представила Gemini Robotics 2 — семейство моделей для управления человекоподобными роботами

Команда исследователей Google DeepMind представила семейство моделей Gemini Robotics 2 для управления человекоподобными роботами. Обновление должно помочь устройствам лучше ориентироваться в пространстве, планировать последовательность действий и выполнять сложные задачи.

Семейство Gemini Robotics 2 включает в себя три специализированные модели:

• Gemini Robotics 2 — управляет движениями робота.

• Gemini Robotics ER 2 — отвечает за восприятие, рассуждение и планирование.

• Gemini Robotics On‑Device 2 — работает локально на железе робота без постоянного подключения к облаку.

Gemini Robotics 2 относится к классу моделей Vision Language Action (зрение — язык — действие). Система получает изображение с камер и инструкции на естественном языке, после чего преобразует их в команды для приводов. Предыдущие версии для управления использовали в основном для верхней части роботов и манипуляторов. Обновлённая модель одновременно контролирует ходьбу, движения конечностями, наклоны и удержание равновесия.

В одном из примеров робот Apollo 2 от Apptronik получил команду положить линейку в контейнер на нижней полке. После этого он самостоятельно подошёл к столу, взял предмет, перенёс к стеллажу, присел и поместил в нужный контейнер. При этом исследователи DeepMind признают, что скорость выполнения действий пока довольно низкая.

Кроме того, Gemini Robotics 2 поддерживает роботизированные кисти с пятью пальцами и до 22 степеней свободы. С ними робот может завязывать пакеты, вкручивать лампочки, вставлять детали в небольшие отверстия и выполнять другие действия. С мелкой моторикой пока проблемы: во внутренних тестах робот успешно выкручивал лампочку в 92% случаев, а вкручивал — в 36% попыток.

За анализ окружающей среды и планирование отвечает схема Gemini Robotics ER 2. Она анализирует команду пользователя, изучает помещение, разбивает задачу на отдельные этапы и передаёт действия системе управления движениями. Модель построена на базе Gemini 3.5 Flash и поддерживает текст, изображения, видео и аудио. Размер контекстного окна составляет до 128 тыс. токенов.

ER 2, в отличие от прошлого поколения, работает с непрерывным видеопотоком. Благодаря этому система может отслеживать выполнение задачи, искать ошибки и решать, нужно ли повторить действие. Кроме того, обновлённую модель научили координировать нескольких роботов. Например, машины с разной конструкцией могут обмениваться информацией, учитывать физические возможности друг друга и распределять между собой этапы выполнения задачи.

Модель Gemini Robotics ER 2 уже доступна в виде публичной предварительной версии через Gemini api и Google AI Studio. Gemini Robotics 2 и Gemini Robotics On‑Device 2 пока доступны только участникам программы раннего доступа: Agile Robots, Apptronik и Boston Dynamics.