OpenAI и Cerebras разогнали GPT-5.6 Sol до 750 токенов в секунду

OpenAI и Cerebras представили Ultrafast, свежий режим обработки запросов GPT-5.6 Sol в OpenAI api. Он генерирует до 750 выходных токенов в секунду и работает до 14 раз быстрее Standard processing.

Это не отдельная облегчённая схема. Cerebras запускает полную GPT-5.6 Sol на своей инфраструктуре, поэтому, по заявлениям компаний, ускорение не требует снижать качество ответов. Пока Ultrafast доступен только ограниченной группе клиентов, а стоимость режима не раскрыта.

Ultrafast работает на архитектуре Cerebras Wafer-Scale Engine. В каждом чипе размером с кремниевую пластину находится 44 ГБ памяти SRAM. Веса модели остаются на чипе, а информация последовательно проходят через слои, распределённые между несколькими пластинами.

Так Cerebras сокращает передачу данных между вычислительными блоками и внешней памятью. Именно пропускную способность памяти организация называет одним из главных ограничений скорости инференса больших моделей на GPU.

Для сравнения, достижимый всем клиентам api режим Fast ускоряет GPT-5.6 Sol до 2,5 раза и стоит вдвое дороже Standard. Ultrafast обещает ускорение уже до 14 раз, но OpenAI пока не опубликовала ни отдельный прайс, ни гарантированную минимальную скорость.

Цены Standard указаны для запросов с контекстом до 272 тысяч токенов. Для длинного контекста действуют повышенные коэффициенты. Fast сейчас не поддерживает длинный контекст.

Cerebras проверила новый режим на всех 2500 вопросах Humanity’s Last Exam. GPT-5.6 Sol Ultrafast завершила прогон за 11 часов 11 минут. Claude Fable 5 понадобилось 78 часов 27 минут. При сопоставимой точности проверка с Sol закончился почти в семь раз быстрее.

GPT-5.6 Sol запускали через Codex с уровнем рассуждений xhigh 10 июля. Claude Fable 5 тестировали через Claude Code равным образом на xhigh с 13 по 15 июля.

Ultrafast сначала запускают в OpenAI api для нескольких выбранных компаний. OpenAI обещает расширять доступ по мере появления свободных мощностей и предлагает оставить заявку. О публичном запуске режима в ChatGPT или Codex организация пока не сообщала.

Русскоязычное сообщество про AI в разработке

Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI‑агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!