9 июня 2026, 18:15
Xiaomi разогнали 1T-модель до 1200 tok/s на стандартных GPU
Китайские команды MiMo и TileRT опубликовали режим UltraSpeed для модели MiMo V2.5 Pro (1,02T параметров).
На одном 8-карточном сервере со стандартными GPU, до ~1200 токенов в секунду. Cerebras выдаёт похожие скорости на кастомном железе. Здесь обошлись без него.
В кратце работает так:
MoE-слои сжали с 16 до 4 бит: они занимают большую часть весов и хорошо переносят потерю точности, остальное оставили нетронутым
Рядом с основной моделью запускается маленькая, которая угадывает сразу 8 токенов вперёд
Основная проверяет их разом и принимает правильные
В coding-сценариях угадывается ~6,3 токенов из 8
Похожий механизм Google применяет в Gemma 4.
На видео можно заценить скорость: 12 секунд против 6 минут на стандартных скоростях, к которым мы сейчас привыкли.
Русскоязычное сообщество про AI в разработке
Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!
Читают сейчас
1 час назад
Reddit вслед за Old Reddit стартовал показывать всплывающие окна с просьбой авторизоваться
Пользователи, которые пытаются посмотреть контент на Reddit по адресу www.reddit.com без авторизации, сообщают о появлении всплывающих окон с просьбой войти в аккаунт. Окно предлагает «присоединиться
1 час назад
«Базальт СПО» представила технические образы ОС «Альт Рабочая станция» и «Альт Хост» для архитектуры LoongArch
«Базальт СПО» продолжает развивать поддержку альтернативных аппаратных архитектур. Компания выпустила предварительные технические образы операционных систем «Альт Рабочая станция» и «Альт Хост» для ар
1 час назад
Организация «Газинформсервис» первой локализовала MITRE ATT&CK v18 для русскоязычной аудитории
Компания «Газинформсервис» перевела и адаптировала матрицу MITRE ATT&CK версии 18 для моделирования угроз и практических сценариев защиты с помощью собственных продуктов и решений. Ознакомиться далее
1 час назад
Публичный микро для техно‑практиков: приглашаем докладчиков на Импульс Т1 2026 в ноябре
Мы стартовали принимать заявки на участие в деловой программе ежегодной технологической конференции Импульс Т1. В этом году мероприятие пройдёт в пятый раз 19 ноября. Подать заявку на выступление в де
1 час назад
Исследование: ИИ по‑прежнему не способен справиться со сложными задачами в большинстве профессий
Передовые инструменты ИИ всех типов и моделей по‑прежнему не могут выполнять подавляющее большинство рабочих задач на приемлемом уровне. К такому выводу пришли исследователи Калифорнийского университе