«Агент не может ждать секунды»: NVIDIA представила открытую omni-модель Nemotron 3 Nano

NVIDIA выпустила Nemotron 3 Nano Omni — открытую мультимодальную модель, которая объединяет работу с видео, аудио, изображениями и текстом в одной архитектуре. По заявлению компании, ее пропускная способность в 9 раз выше, чем у других открытых omni-моделей при той же интерактивности, а предназначена она прежде всего для агентных систем. Модель доступна на Hugging Face, OpenRouter и build.nvidia.com (в виде NIM-микросервиса), а равным образом на fal.ai.

В основе — гибридная схема Mamba-Transformer с MoE-архитектурой ("смесь экспертов"): из 30 млрд параметров активны только приблизительно 3 млрд, модель подключает нужного эксперта под конкретную задачу и модальность. Контекст — до 256 тысяч токенов, чего хватает для длинных агентных циклов и работы с видео или несколькими документами без дробления на фрагменты. Поддерживаются квантование FP8 и NVFP4, движки vLLM и TensorRT-LLM; есть оптимизация под архитектуры Ampere, Hopper и Blackwell.

Основной аргумент NVIDIA — агентные системы сегодня собирают стек восприятия из отдельных компонентов: одна модель для зрения, другая для звука, третья для текста. Это дает лишние вычислительные шаги, усложняет оркестрацию и повышает стоимость. Omni сводит весь этот конвейер в одну схема. "Чтобы строить полезных агентов, нельзя ждать секунды, пока модель интерпретирует экран", — комментирует глава H Company Готье Клуа, чьи агенты на Omni научились разбирать запись экрана в Full HD в реальном времени. На графиках NVIDIA видно, что относительно предыдущей Nemotron Nano VL V2 у Omni равным образом выросла точность на ряде отраслевых мультимодальных бенчмарков.

Omni позиционируется не как самостоятельная флагманская модель, а как субагент восприятия в составе более крупных агентных архитектур — рядом с Nemotron 3 Super (быстрое исполнение) и Nemotron 3 Ultra (сложное планирование). Это укладывается в общую идею NVIDIA: модульные системы, где специализированные модели делят между собой задачи, а не одна универсальная. Если заявленный 9-кратный выигрыш по пропускной способности подтвердится в реальных нагрузках, у разработчиков открытых агентов появится сильный аргумент против стека из отдельных моделей восприятия.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.