После nanochat Карпати — nanocode: свой Claude Code за $200 на минималках

Разработчик из команды torchtune (входит в Meta* — организация признана экстремистской и запрещена в России) Салман Мохаммади выложил nanocode — open-source библиотеку, которая позволяет обучить собственного кодинг-агента с нуля, пройдя весь путь от токенизатора до выравнивания по принципам Claude Code. Самая большая модель (1,3 млрд параметров) обучается за 9 часов и обходится в $200 за все.

Проект вдохновлен nanochat Андрея Карпати и продолжает философию nano-серии: минимальный воспроизводимый код, который демонстрирует, как устроена технология изнутри. Только если nanochat учил схема разговаривать, nanocode учит ее пользоваться инструментами — ознакомиться файлы, писать исходник, запускать команды в терминале. Библиотека написана на чистом JAX и заточена под вычислительные мощности TPU, которые можно получить бесплатно через программу Google TRC.

Пайплайн воспроизводит подход Constitutional AI, который используют для обучения коммерческих моделей вроде Claude. Он включает пять этапов: обучение токенизатора, претрейн базовой модели на FineWeb-edu и The Stack v2, генерацию синтетических данных (около 120 тысяч коротких и 2 тысячи длинных мультитурновых примеров агентного поведения), дообучение с использованием инструментов (agentic SFT) и выравнивание через DPO с конституционной критикой.

В дополнение к основной модели на 1,3 млрд параметров есть конфигурации поменьше: 477 млн параметров обучаются за полтора часа ($34), а крошечная версия на 4 млн параметров предназначена для отладки на обычном процессоре. Все варианты запускаются одним bash-скриптом. Проект также работает на NVIDIA GPU, хотя мультичиповые конфигурации пока не тестировались.

Понятно, что модель на 1,3 млрд параметров не конкурент настоящему Claude Code — коммерческие модели в сотни раз крупнее. Ценность nanocode в другом: это начальный цельный публичный рецепт обучения кодинг-агента методом Constitutional AI, от чистого листа до работающего инструмента.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.