9 июня 2026, 18:15
Xiaomi разогнали 1T-модель до 1200 tok/s на стандартных GPU
Китайские команды MiMo и TileRT опубликовали режим UltraSpeed для модели MiMo V2.5 Pro (1,02T параметров).
На одном 8-карточном сервере со стандартными GPU, до ~1200 токенов в секунду. Cerebras выдаёт похожие скорости на кастомном железе. Здесь обошлись без него.
В кратце работает так:
MoE-слои сжали с 16 до 4 бит: они занимают большую часть весов и хорошо переносят потерю точности, остальное оставили нетронутым
Рядом с основной моделью запускается маленькая, которая угадывает сразу 8 токенов вперёд
Основная проверяет их разом и принимает правильные
В coding-сценариях угадывается ~6,3 токенов из 8
Похожий механизм Google применяет в Gemma 4.
На видео можно заценить скорость: 12 секунд против 6 минут на стандартных скоростях, к которым мы сейчас привыкли.
Русскоязычное сообщество про AI в разработке
Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!
Читают сейчас
2 часа назад
Выпуск языка программирования Julia 1.13
10 сентября 2026 года состоялся выпуск языка программирования Julia 1.13. Проект сочетает в себе такие качества как высокая производительность, поддержка динамической типизации и встроенные средства д
3 часа назад
Версия GIMP 3.2.6
10 сентября 2026 года состоялся версия открытого графического редактора GIMP 3.2.6 (release GIMP 3.2.6). Открытый редактор GIMP создаётся уже более 29 лет в качестве альтернативы программному обеспече
10 часов назад
Международная съезд «Искусственный интеллект в нейронауках» в Плехановском университете
исходная гиперссылка на официальную новость. Идет трехдневный форум на стыке промышленности, медицины и искусственного интеллекта. Съезд объединила исследователей динамики сложных систем, математиков,
14 часов назад
Anthropic раскрыла сеть из дейтинговых приложений с ИИ‑персонажами, работающими на Claude
Anthropic раскрыла детали масштабной мошеннической сети (инициатива получил кодовое имя GTG-15001) из дейтинг‑приложений, построенной на базе нескольких ИИ-систем. Студия из Китая развернула более 20
15 часов назад
В Москве появился памятник кнопке «Пауза», пропавшей с ноутбуков
Ко Дню программиста наша ИТ-команда 2ГИС в коллаборации с уличным художником Иваном Серым и Музеем криптографии установили в Москве интерактивный арт-объект в виде клавиши Pause/Break. Найти объект мо