В Ollama добавили поддержку локальных Jev‑подобных моделей

В Ollama появилась сопровождение Jev‑подобных моделей, которые выбирают ответ из заданных вариантов и возвращают оценки вероятностей. Функцию добавили в версии 0.35, а сами модели работают полностью локально.

Сейчас доступны модели Nimble от Bespoke Labs с 9 млрд параметров и две экспериментальные Tev1 от Together AI — на 4 млрд и 0,8 млрд параметров. Все три создали с помощью дообучения Qwen 3.5. Самая маленькая Tev1 после загрузки занимает 812 МБ на диске.

Интерфейс построен по образцу программный оболочку Jev — модели компании TypeSafe. В частности, его можно использовать для сортировки обращений в поддержку, модерации контента или выбора моделей под конкретные запросы. Есть сопровождение трёх форматов: выбор из списка, оценка по заданной шкале и ответ на вопрос «да или нет». 

Скорость команда Ollama оценивала на примере Pac‑Man. Nimble 9B на MacBook Pro с M5 Max принимала решение в среднем за 91 мс. Низкая задержка связана в том числе с тем, что модели не надо обращаться к облаку.

Для работы нужен новый адрес программный интерфейс /v1/systemone или официальный Python SDK TypeSafe, настроенный на локальную Ollama. Встроенные библиотеки Ollama для Python и JavaScript пока этот режим не поддерживают.