
11 минут назад
Представлена языковая схема с линейной сложностью вычислений и контекстом до 12 млн токенов
Стартап-компания Subquadratic представил SubQ 1M-Preview — первую языковую модель с линейной сложностью вычислений по сравнению с длины контекста. Заявлены контекст до 12 млн токенов, скорость в 52 ра

1 час назад
SubQ: первая LLM с контекстом в 12 млн токенов
Организация Subquadratic выпустила схема SubQ 1M-Preview — первую, по их словам, LLM на целиком субквадратичной архитектуре. Речь про SSA (Subquadratic Sparse Attention): вместо того чтобы сравнивать