3 бита хватит: Google ускорила работу LLM за счет сжатия кэша

Google Research представила TurboQuant — алгоритм, который сжимает внутренний кэш больших языковых моделей до 3 бит. Одновременно качество ответов модели не падает, а дообучение не требуется. Работу покажут на конференции ICLR 2026.

Когда языковая схема обрабатывает длинный текст, она сохраняет промежуточные информация в так называемом кэше "ключ-значение" (key-value cache). Чем длиннее контекст, тем больше памяти съедает этот кэш — и тем медленнее работает схема. TurboQuant решает проблему в два шага: сначала алгоритм PolarQuant переводит информация в полярные координаты и сжимает их основную часть, а затем однобитовый алгоритм QJL устраняет остаточные ошибки. Вместе они позволяют обойтись без дополнительных затрат памяти, которые обычно сопровождают квантизацию.

Авторы протестировали TurboQuant на открытых моделях Gemma и Mistral на стандартных бенчмарках для работы с длинным контекстом — LongBench, Needle In A Haystack, RULER и других. Результаты: объем кэша сокращается минимум в 6 раз, а вычисление механизма внимания ускоряется до 8 раз на GPU H100 (в 4-битном режиме по сравнению с 32-битным). На задачах поиска "иголки в стоге сена" — когда нужно найти один факт в огромном тексте — схема с TurboQuant отработала без ошибок.

Помимо языковых моделей, механизм применим и для векторного поиска — технологии, которая лежит в основе семантического поиска Google. TurboQuant показал лучшую точность по сравнению с существующими методами квантизации, при этом не требуя настройки под определённый набор данных.

Google подчёркивает, что TurboQuant — не просто инженерное решение, а фундаментальный алгоритмический результат с доказанной оптимальностью. По мере роста контекстных окон и масштабов поиска такие методы сжатия становятся критически важными для всей индустрии.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.