Экс-директор OpenAI отдала в паблик схема на 975B

Бум вокруг думающих ИИ-моделей продолжается. Команда Thinking Machines Lab представила свою первую и сразу флагманскую мультимодальную схема с открытыми весами — Inkling.

Авторы сразу заявили: Inkling не пытается стать абсолютным лидером во всех бенчмарках среди открытых или закрытых систем. Ставка сделана на другое — дать разработчикам и бизнесу мощный, гибкий мультимодальный фундамент, который можно и нужно дообучать (кастомизировать) под свои специализированные задачи.

Архитектура и характеристики

Inkling представляет собой Mixture-of-Experts (MoE) трансформер, во многом вдохновленный архитектурой DeepSeek-V3. В каждом MoE-слое используется 256 маршрутизируемых экспертов и 2 общих, при этом для каждого токена активируются 6 экспертов. Общий масштаб модели составляет 975 миллиардов параметров, из которых 41 миллиард являются активными. Для обучения использовался колоссальный датасет из 45 триллионов токенов, включающий в себя текст, изображения, аудио и видео. 

Схема поддерживает окно контекста объемом до 1 миллиона токенов.

Особенностью архитектуры стал отказ от сторонних энкодеров для аудио- и визуальных данных. Звуковые сигналы поступают в систему в виде dMel-спектрограмм, а изображения кодируются как патчи 40x40 пикселей с помощью четырехслойного hMLP, после чего они обрабатываются совместно с текстовыми токенами через облегченный слой эмбеддингов. 

За позиционное кодирование отвечают относительные позиционные эмбеддинги, которые в контексте длинных последовательностей показали себя лучше популярного решения RoPE.

В Inkling реализована функция контроля «мышления» (Controllable thinking effort), позволяющая разработчикам гибко настраивать глубину рассуждений модели непосредственно во время инференса. Это помогает существенно экономить вычислительные ресурсы: к примеру, на тестах кодинга Terminal Bench 2.1 модель тратит примерно в три раза меньше токенов для достижения тех же результатов, что и Nemotron 3 Ultra. 

Одновременно с флагманом разработчики представили превью Inkling-Small — более легкой MoE-версии с 12 миллиардами активных параметров (276 миллиардов параметров всего), которая при значительно меньшей стоимости и задержках демонстрирует результаты, близкие к старшей модели.

Результаты в бенчмарках

Разработчики не скрывают, что Inkling уступает по абсолютной мощности закрытым гигантам вроде GPT 5.6 Sol или Claude Fable 5. 

Тем не менее, схема показывает отличные результаты для открытого веса:

• в тесте SimpleQA Verified (тест фактологии) Inkling набирает 43,9%, обходя GLM 5.2 (38,1 процентов) и Nemotron 3 Ultra (32,4%);

• в AIME 2026 (математика) модель выдает 97,1%;

• в агентском кодинге на Terminal Bench 2.1 Inkling демонстрирует высокую производительность, выдавая сравнимый с Nemotron 3 Ultra результат, но генерируя при этом в три раза меньше токенов благодаря адаптивному мышлению.

При этом разработчики отметили, что на этапе раннего обучения (SFT) для бутстрапа они частично использовали синтетические данные, сгенерированные открытой моделью Kimi K2.5 от Moonshot AI.

Эволюция рассуждений на этапе RL

Нейросети тоже умеют лениться, но с пользой. Интересная деталь из технического отчета: модель обучали с помощью масштабного асинхронного обучения с подкреплением, проведя более 30 миллионов итераций. И в процессе обучения появился побочный эффект: цепочка рассуждений модели со временем сама стала более лаконичной и сжатой. Модель автоматически выкинула лишние слова, союзы и грамматику. Она перешла на четкий, почти математический «телеграфный» стиль, чтобы банально экономить ресурсы и думать быстрее — но на качестве ответов это вообще никак не сказалось.

Автономный fine-tune на платформе Tinker

Самое главное в этом релизе — полная синергия модели с родной платформой Tinker от Thinking Machines, где Inkling уже доступна для кастомизации.

Чтобы показать, как устроен этот контур, авторы продемонстрировали демо, где Inkling обучила сама себя. Модель получила задачу от пользователя, самостоятельно написала сценарий для fine-tuning на платформе Tinker, запустила его, провела оценку качества (eval) и автоматически переключилась на работу с новыми, только что созданными весами.

Практически Thinking Machines показала готовый замкнутый контур кастомизации в одном окне:

Схема → Проблема → Информация → Fine-tune → Eval → Новые веса

Что это значит для индустрии

Этот релиз — сильный маркер того, куда движется сегмент. Основатели Thinking Machines Lab ( а я напоминаю, команду возглавляет бывший технический директор OpenAI) считают: ИИ-системы, адаптированные организациями под собственные нужды, в реальных продуктах будут работать лучше и эффективнее, чем «монолитные».

Компании получают мощную мультимодальную базу, которую можно безопасно развернуть в своем контуре, настроить под себя и не платить за оверхед в токенах.

Где взять

Веса флагманской Inkling уже лежат на Hugging Face в стандартном виде и в оптимизированном формате NVFP4 для работы на системах NVIDIA Blackwell. 

Системные требования:

• стандартная BF16 релиз весит множество и требует около 2 ТБ VRAM. Ее запуск предполагает наличие целого кластера enterprise-видеокарт;

• оптимизированная NVFP4 релиз за счёт квантованию сжата, но все равно требует приблизительно 600 ГБ VRAM под новые чипы NVIDIA.

Каталог готовых ИИ-моделей

Служба для запуска и управления LLM в облаке Selectel. Выберите схема, конфигурацию и получите готовый эндпоинт для работы с ней.

Подробнее →