9 июня 2026, 18:15
Xiaomi разогнали 1T-модель до 1200 tok/s на стандартных GPU
Китайские команды MiMo и TileRT опубликовали режим UltraSpeed для модели MiMo V2.5 Pro (1,02T параметров).
На одном 8-карточном сервере со стандартными GPU, до ~1200 токенов в секунду. Cerebras выдаёт похожие скорости на кастомном железе. Здесь обошлись без него.
В кратце работает так:
MoE-слои сжали с 16 до 4 бит: они занимают большую часть весов и хорошо переносят потерю точности, остальное оставили нетронутым
Рядом с основной моделью запускается маленькая, которая угадывает сразу 8 токенов вперёд
Основная проверяет их разом и принимает правильные
В coding-сценариях угадывается ~6,3 токенов из 8
Похожий механизм Google применяет в Gemma 4.
На видео можно заценить скорость: 12 секунд против 6 минут на стандартных скоростях, к которым мы сейчас привыкли.
Русскоязычное сообщество про AI в разработке
Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!
Читают сейчас
48 минут назад
GlobalSign стартовал отзывать сертификаты безопасности российских сайтов
Японская GlobalSign — один из крупнейших центров сертификации в мире — утром 13 июня начала процедуру принудительного отзыва ранее выпущенных SSL-сертификатов у компаний из России. Об этом говорится в
51 минуту назад
Which: на Amazon и eBay по-прежнему продаются опасные поддельные зарядные устройства для смартфонов
Amazon, eBay и другие онлайн-площадки продолжают продавать опасные поддельные зарядные устройства для смартфонов, указала британская компания по защите прав потребителей Which. Ознакомиться далее
1 час назад
Японская энергетическая организация потеряла жёсткий диск с данными более 10 млн клиентов
Японская энергетическая организация Kyushu Electric Power подтвердила утерю жёсткого диска с данными 10,9 млн клиентов. Сообщается об именах, адресах оказания услуг, сведениях об энергопотреблении, но
3 часа назад
Луис Россманн пригрозил Samsung судом из-за «мошенничества с гарантией на SSD 990 Pro»
Активист и блогер Луис Россманн пригрозил судом Samsung, отказавшейся заменить вышедший из строя твердотельный накопитель Samsung 999 Pro, на который ещё распространялась гарантия. Ознакомиться далее
4 часа назад
Правительство США закрыло доступ к Claude Fable 5 неамериканцам — схема в результате отключили для всех
Компания Anthropic экстренно отключила доступ к своим самым мощным моделям — Claude Fable 5 и Mythos 5 — после того, как 12 июня получила от правительства США директиву экспортного контроля. Власти по