OpenAI научила Codex разрабатывать навыки, просто наблюдая за человеком

OpenAI выпустила для Codex функцию Record & Replay: пользователь один раз демонстрирует агенту рабочий процесс на Mac, а тот превращает его в переиспользуемый скилл и в дальнейшем выполняет задачу сам. Вместо того чтобы расписывать инструкцию в промпте, достаточно один раз продемонстрировать, что нужно сделать.

Во время записи Codex фиксирует действия пользователя и содержимое окон. После остановки записи языковая модель разбирает последовательность шагов и составляет файл SKILL.md — инструкцию на естественном языке, которая описывает весь процедура. Готовый скилл можно запускать поверх режима Computer Use, действий в браузере и подключенных плагинов. В демонстрации OpenAI Codex итак научился выкладывать видео на YouTube — выбирать файл, заполнять заголовок и описание, ставить обложку и подгружать субтитры.

Главное отличие от классических RPA-инструментов в том, что Codex не запоминает координаты кликов, а формирует текстовую инструкцию, которую затем интерпретирует рассуждающая схема. Благодаря этому скилл можно применять к новым данным и свежему состоянию приложения, а не воспроизводить жестко записанную цепочку действий, которая ломается при малейшем изменении интерфейса. Записанным навыком можно поделиться с командой, и он превращается в готовую автоматизацию.

Record & Replay пока работает только на macOS и доступна подписчикам ChatGPT Plus, Pro, Business, Enterprise и Edu — за исключением Европейской экономической зоны, Великобритании и Швейцарии. Это уже классическая для OpenAI схема запуска, когда Windows и новые страны добавляют позднее. Для работы функции у пользователя должен быть включен режим Computer Use.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.