
1 час назад
SubQ: первая LLM с контекстом в 12 млн токенов
Организация Subquadratic выпустила схема SubQ 1M-Preview — первую, по их словам, LLM на целиком субквадратичной архитектуре. Речь про SSA (Subquadratic Sparse Attention): вместо того чтобы сравнивать