Нейросеть, которая молчит

15 сентября стартап-компания TypeSafe AI вышел из стелса с раундом $40 млн и необычной новой моделью Jev. Она не умеет разговаривать и не пишет текста.

Зачем она нужна? В компаниях AI чаще всего не болтает с человеком, а принимает тысячи мелких решений внутри программ: куда отправить письмо, насколько срочна заявка, похож ли платеж на мошенничество. Сейчас их все чаще отдают LLM, и она каждый раз генерирует текст, хотя программе нужно одно подход.

Jev работает иначе. Например: ей дают письмо клиента и вопросы с заранее заданными вариантами. Какая тема, насколько срочно по шкале от 1 до 5, грозит ли заказчик уйти. Обратно приходят ответы с вероятностями, в частности "жалоба, 92%", и программа сразу отправляет письмо старшему менеджеру.

Основатель TypeSafe Диого Алмейда в OpenAI помогал учить модели следовать инструкциям и разговаривать с людьми, и из этой работы вырос ChatGPT. Теперь он делает схема, которая молчит.

Думай быстро

Jev – первая модель нового класса System One Models. Название класса взято из книги Даниэля Канемана "Думай медленно... решай быстро": Платформа 1 выносит быстрые суждения на автомате, Платформа 2 медленно рассуждает по шагам.

Последние два года индустрия развивает Систему 2 и учит LLM думать все дольше. Jev идет в обратную сторону: она не рассуждает, а выдает вероятности всех вариантов сразу.

Травмпункт

Разницу легко увидеть в больнице. Сложного пациента разбирает консилиум: врачи изучают анализы, спорят и пишут подробное заключение. Это аналог LLM с рассуждениями, но весь поток пациентов через консилиум не пропустишь.

В травмпункте все иначе. Дежурный травматолог смотрит на снимок и за пару минут понимает сразу некоторое количество вещей: есть ли перелом, есть ли смещение, нужна ли операция. Это аналог Jev, которая отвечает на все вопросы одновременно.

Вариантов у травматолога немного: гипс и домой или в стационар на операцию.

"Приложить подорожник" среди них нет. Так и Jev борется с галлюцинациями: ответы заданы заранее, и выйти за них схема не может. Ошибиться с выбором она может, а придумать новый вариант – нет.

Если снимок непонятный, травматолог не гадает, а сообщает: "Давайте на КТ". Jev к каждому ответу прикладывает уверенность, и по ней программа решает, передать ли задачу большой LLM или человеку.

Сколько стоит

Согласно заявлению TypeSafe, Jev отвечает за 70–500 миллисекунд, а топовым LLM в их сравнении нужно от 3 до 329 секунд. Миллион входных токенов стоит $0,042, а за ответы организация денег не берет.

Через некоторое количество дней цифры проверили в LiteLLM, популярном шлюзе для LLM. Там поставили Jev сортировать запросы по сложности, чтобы простые уходили в дешевую модель, а сложные в мощную.

Типичный ответ Jev занял 127 мс против 688 мс у Claude Haiku и обошелся на 96% дешевле, а категорию Jev угадывала чаще: 95% против 74%.

Угольный вопрос

Схема назвали в честь английского экономиста Уильяма Стэнли Джевонса, и это имя объясняет всю ставку TypeSafe.

В 1865 году Британия боялась, что уголь скоро закончится, и эксперты надеялись на экономичные машины. Джевонс в книге "Угольный вопрос" представил обратное.

После паровой машины Уатта угля на единицу работы требовалось меньше, а сжигать его стали больше. В Шотландии на тонну чугуна уходило меньше трети прежнего угля, но общее потребление выросло вдесятеро: чугун подешевел, спрос на него вырос, и печей стало больше.

TypeSafe рассчитывает, что с интеллектом будет так же: когда подход дешевеет на порядок, применений становится на порядки больше.

Где подвох?

Jev пока в раннем доступе, не объясняет свои решения и не понимает картинки. Сложный вопрос придется разложить на простые, а итог собрать в коде.

Да и цифры пока в основном от самой компании, в ее тестах Jev не обгоняет большие модели, а старается отвечать на уровне GPT-6 Astra и Claude Fable 5.1.

Модели научились разговаривать с людьми. Теперь их учат принимать быстрые решения.