Новинка от Cerebras: платформа CS-4 с тремя чипами WSE-3 Turbo

Архитектура классических ускорителей для обучения и инференса LLM упирается в ограничение по шинам передачи данных между GPU — это создает задержки и является узким местом по пропускной способности. Cerebras предлагают альтернативу  — изготовление процессора размером во всю кремниевую пластину полностью. Их новая платформа CS-4 выводит концепцию wafer-scale engine на второй технологический уровень.

Архитектура WSE-3 Turbo

В основе системы CS-4 лежит обновленный процессор WSE-3 Turbo. В противовес «обычных» чипов, где кремниевая пластина разрезается на сотни отдельных кристаллов, Cerebras использует цельную 300-миллиметровую пластину.

Из основного по WSE-3 Turbo:

• 4 триллиона транзисторов на одном кристалле;

• 900 000 ядер, оптимизированных под тензорные операции и работы с разреженными матрицами;

• площадь процессора — 46 225 мм²;

• 5-нм техпроцесс TSMC.

Для решения проблемы брака при производстве кристаллов столь большой площади Cerebras применяет избыточное резервирование. При обнаружении дефектных участков на этапе заводского тестирования программно-аппаратный слой изолирует поврежденные элементы и перенаправляет топологию связей на резервные ядра без потери целостности структуры.

Причина задержек при инференсе LLM  — необходимость постоянно перекачивать веса моделей из внешней HBM в вычислительные блоки через относительно узкие межчиповые шины.

В WSE-3 Turbo вся рабочая хранилище размещена непосредственно на кремниевой пластине. Объем SRAM составляет 44 ГБ. За счет интеграции локальных блоков памяти прямо к каждому из 900 000 ядер суммарная агрегированная пропускная способность массива SRAM на чипе достигает 43,2 ПБ/с. В отличие от сборок на базе GPU с HBM3e, архитектура Cerebras исключает задержки на внешнюю передачу промежуточных тензоров через шины PCIe или NVLink, обеспечивая постоянную загрузку вычислительных конвейеров на уровне кристалла.

Производительность CS-4

Cerebras CS-4 выполнен в формате стойки на базе платформы Nexus Platform Architecture. Внутри одного шкафа размещены три процессора WSE-3 Turbo. 

В задачах генерации текста и последовательного вывода токенов важны показатели задержки на один токен. Архитектура CS-4 спроектирована как ускоритель фазы декодирования. Она ориентирована на обеспечение низкого времени отклика — вплоть до 4400 токенов в секунду на пользователя на тяжелых моделях (например, GPT-OSS-120B). Это даёт возможность удерживать интерактивную скорость вывода даже при резком росте числа одновременных сессий — а это важно для работы автономных ИИ-агентов. 

По заявлениям разработчиков, в сценариях высокой нагрузки CS-4 способна за одну секунду сформировать такой объем токенов, на который эквивалентному кластеру (полной серверной стойке на базе традиционных GPU) для аналогичного объема вычислений потребуется приблизительно 30 секунд.

Сеть и масштабирование

Для объединения трех крупных пластин в контексте единой стойки CS-4 использует технологию Direct Wafer Links. Это снижает задержку передачи данных между процессорами WSE-3 Turbo внутри системы всего до 2 мкс.

Для внешнего горизонтального масштабирования стойка оснащена сетевой обвязкой с суммарной пропускной способностью 7,2 Тбит/с на базе протоколов Ethernet и RoCE v2. Это позволяет объединять несколько шкафов CS-4 в единый вычислительный кластер под управлением фирменного программного стека Cerebras Software Platform.

Собственный хост Selectel

В основе — самые современные процессоры Intel^® Xeon^® 6, до 8 ТБ DDR5 и специально разработанная материнская плата. Арендуйте сервер у нас или закажите в свой дата‑центр.

Узнать подробности →

Итоги

Cerebras CS-4 показывает, что решение Wafer-Scale переходит из категории экспериментальных инженерных решений в сегмент промышленной эксплуатации. Главный эффект от внедрения подобных систем заключается не только в чистой пиковой производительности, но и в снижении задержек на передачу данных внутри процессора.

Cerebras поставляет проприетарное подход — от самого кремния до инженерной обвязки. С учётом плотность вычислительных ядер, компании приходится самостоятельно проектировать кастомные контуры жидкостного охлаждения и блоки питания под свою архитектуру. Сегодня, когда энергопотребление ИИ-кластеров растет огромными темпами, именно грамотный теплоотвод и подвод питания становятся для производителей чипов такими же важными задачами, как и наращивание количества транзисторов.