Apple выпустила CLI и Python SDK для локальных ML-моделей из Foundation Models

Apple выпустила CLI для работы с локальными моделями машинного обучения из набора Foundation Models. С его помощью отправлять запросы и получать ответы можно прямо в терминале Mac.

Раньше модели из набора Foundation Models были доступны только в виде фреймворка для разработчиков софта под iOS и macOS. С его помощью можно встраивать локальные модели в приложения, использовать вызов инструментов и получать структурированные ответы. Теперь Apple расширяет сценарии использования: с помощью нового инструмента модели можно вызывать из терминала или Python-кода.

Новая утилита fm поставляется вместе с macOS 27. С её помощью можно быстро проверить промпт, запустить чат с моделью или встроить генерацию текста в скрипты автоматизации. Например, команда fm respond возвращает ответ модели прямо в stdout, а fm chat запускает диалоговый режим. Кроме того, есть функция передавать в промпт изображения.

По умолчанию fm обращается к локальным моделям на устройстве пользователя. Для более сложных задач можно переключиться на облачные модели в Apple Private Cloud Compute. Для того сценария использования есть ограничения по количеству токенов. Локальные модели доступны всегда и без дополнительных расходов на облачные api.

Вместе с этим Apple развивает Foundation Models SDK для Python. С помощью этого инструмента можно равным образом получить доступ к локальным моделям на устройстве, но через код на Python. В SDK есть поддержка генерации ответов, настройки параметров модели, стриминга и генерации по определённым правилам. Организация продвигает SDK в качестве инструмента для тестирования промптов и оценки AI-функций. Например, инференс можно анализировать в Jupyter Notebook, Pandas, matplotlib и других привычных инструментах.

Для работы SDK нужен Mac с поддержкой Apple Intelligence, macOS 26 или новее, Python 3.10+ и установленный Xcode.