Исследователи: ИИ‑агенты всё ещё не могут надёжно автоматизировать работу с Excel

ИИ‑агенты за последние полгода заметно улучшили работу с таблицами Excel — они уже умеют разрабатывать и редактировать файлы, однако по‑прежнему испытывают проблемы с их проверкой и корректным пересчётом. К такому выводу пришли авторы Orcaset, протестировавшие агентов на задачах автоматизации электронных таблиц.

Задача связана с тем, что Excel‑файл и сама программа Excel — практически две разные составляющие. Формат .xlsx хранит формулы и последние сохранённые результаты вычислений, но для получения актуальных значений формулы требуется пересчитать. Сам файл этого сделать не может, для этого нужен интерпретатор вроде Excel.

В облачных средах и песочницах, где Excel часто не установлен, агенты могут применять в качестве прокладки пакет LibreOffice. Задача в том, что он поддерживает не все возможности Excel, следовательно при открытии и сохранении файла некоторые функции могут функционировать некорректно. В качестве примера Orcaset приводит таблицы анализа чувствительности What‑If, которые могут быть повреждены при обработке через LibreOffice.

Есть и другая серьёзная проблема — вместо пересчёта самой таблицы агент иногда самостоятельно вычисляет результаты в Python. В одном из тестов Orcaset агент разработал финансовую схема, но таблица в итоговом .xlsx содержала ошибки #NAME?. При этом агент сообщил пользователю рассчитанные значения, полученные отдельным Python‑скриптом, и не проверил, совпадают ли они с практическим результатом работы Excel.

Показательно, что в этом тесте использовалась GPT-5.6 Sol, а LibreOffice был доступен в окружении. По оценке авторов, рассчитанные Python значения оказались достаточно близки к правильным, однако сам подход остаётся ненадёжным, поскольку агент практически анализировал не тот итог, который содержался в рабочей книге.

Разработчики предлагают альтернативу собственной разработки — фреймворк Orcaset для создания финансовых моделей непосредственно на Python. Вместо двумерной структуры ячеек и зависимости от Excel модели описываются кодом, а расчёты становятся детерминированными и проверяемыми, утверждают разработчик. Каркас равным образом использует строгую типизацию и явные зависимости между показателями, что позволяет обнаруживать некорректные связи ещё на этапе создания модели.