Nvidia представила апдейт Isaac Lab 3.0 — набора инструментов для обучения роботов в симуляциях. В новой версии расширили возможности физического моделирования, добавили варианты рендеринга и упростили перенос готовых моделей на реальное оборудование.

Одним из главных обновлений стала модульная архитектура. Физический движок, рендеринг изображений для виртуальных камер и средства визуализации теперь можно выбирать независимо. В дополнение к этого, многие сценарии работают без установки и запуска полноценного Isaac Sim. В достаточной степени движка Newton или отдельных библиотек OVPhysX и OVRTX.

Сам движок Newton объединяет некоторое количество методов расчёта физики. MJWarp моделирует роботов с жёсткими звеньями и суставами, VBD — ткани, мягкие тела и кабели, MPM — жидкости и сыпучие материалы. В дополнение к этого, есть экспериментальный Kamino для работы с механизмами с замкнутыми кинематическими цепями.

Для виртуальных камер теперь доступны системы быстрого рендеринга Newton Warp и RTX‑рендеринга OVRTX. Также предусмотрена платформа Cosmos 3-Nano Transfer, которая превращает карты глубины в фотореалистичные видео по текстовым подсказкам. С поддержкой 3D Gaussian rendering равным образом появилась возможность использовать в симуляторе реконструкции реальных сцен.

За перенос обученных моделей на реальное оборудование отвечает компонент LEAPP. Он экспортирует модель вместе с обработкой входных данных. На выходе получается пакет с файлами модели в формате ONNX и метаданные.

Стабильная версия Isaac Lab 3.0 доступна на GitHub, а на сайте Nvidia опубликовали интерактивные демонстрации. В официальной документации есть руководство по миграции на новую версию.