Встречайте Maple-Preview — новую открытую языковую схема от DeepGrove

Это схема Mixture-of-Experts (MoE) с тернарным квантованием весов, которая работает очень быстро: 218 токенов в секунду на Mac Mini M4.

Главные особенности Maple-Preview:

• Архитектура: 24 слоя, 256 экспертов, из которых для каждого токена используются только 8.

• Параметры: Всего 20 миллиардов, из которых активны 1 миллиард (20B-A1B).

• Веса: Тернарные, что означает примерно 2 бита на параметр.

• Контекст: Обрабатывает до 131 072 токенов.

• Размер: Всего 5.31 ГБ.

• Внимание: Использует скользящее окно (SWA-512) и глобальное внимание в соотношении 3:1, а равным образом нормализацию Q/K RMS и FFN MoE с SiLU-гейтом (как в DeepSeek v4).

Эффективность и железо:

Самое впечатляющее - это скорость генерации. Разработчики заявляют, что на обычном Mac mini с чипом M4 модель выдает до 218 токенов в секунду при работе на CPU. Это намного быстрее, чем у многих других моделей такого же размера. За счёт тому, что схема занимает всего около 5 ГБ, она помещается в оперативную память большинства современных компьютеров. Это открывает возможности для создания локальных помощников, которые могут работать с длинным контекстом и помогать с кодом, не отправляя ваши информация в облако.

Ссылки: Github HF