Новая схема OpenAI за 24 дня решила более 100 открытых математических задач

OpenAI утверждает, что внутренняя модель, которую стартовали обучать 28 августа, уже решила более 100 давних открытых задач почти по всем основным областям математики.

24 дня обучения — и больше сотни открытых задач. Звучит так, будто OpenAI решили заспидранить математику, но пока это слухи. Разбираемся в очередных сплетнях.

Оговорюсь, организация не публиковала полный список этих задач, их доказательства или подробную методику подсчёта. В сообщении говорится только, что схема «resolved more than 100 long-standing open problems across most areas of mathematics». Поэтому пока корректнее говорить именно о заявленных OpenAI результатах. При этом история не возникла из ниоткуда.

Это продолжение серии математических результатов

В мае OpenAI сообщила, что её внутренняя модель опровергла гипотезу Эрдёша о единичных расстояниях — открытый почти 80 лет вопрос дискретной геометрии. Организация называла это первым случаем, когда ИИ автономно решил известную открытую задачу, важную для целого математического направления. Итог затем проверила группа внешних математиков.

1 августа организация опубликовала ещё 10 результатов в математике и теоретической информатике. Они охватывали геометрию, теорию кодирования, теорию групп, квантовую сложность, криптографию и комбинаторику. OpenAI сообщала, что эти результаты были получены внутренней версией Astra: модель искала аргументы, затем они были оформлены людьми, а доказательства формализованы в Lean.

Наконец, 8 сентября OpenAI представила решение задачи существования и гладкости Навье—Стокса, и опубликовала формализацию доказательства в Lean. Организация утверждает, что подход было найдено многоагентной системой приблизительно за 88 часов, после чего ещё 17 часов потребовалось на формализацию и проверку. Подробнее об этом писали здесь.

Теперь OpenAI сообщает уже не о десяти результатах и не об одной задаче, а о 100+ открытых проблемах.

Но что именно означает «решила»?

Это, пожалуй, главный вопрос. В математике недостаточно получить правдоподобный ответ или длинный текст, похожий на доказательство. Итог должен выдержать проверку, а его место в существующей теории — ещё и разбор другими исследователями.

С августовскими десятью результатами OpenAI раскрыла намного больше: перечислила конкретные задачи, опубликовала работы и Lean-формализации. В сегодняшнем сообщении такого уровня детализации пока нет. Поэтому из нынешних 100+ нельзя автоматически сделать вывод, что OpenAI уже добавила в математику сто новых теорем.

Возможно, часть результатов действительно окажется полноценными новыми доказательствами. Возможно, некоторые из них потребуют доработки или независимой проверки. Возможно, некоторые будут представлять собой существенный прогресс, а не окончательное решение задачи. Пока организация не раскрыла эти детали, проверить это со стороны невозможно.

Что известно о самой модели

Обучение новой внутренней модели OpenAI начала 28 августа. В рамках инициативы запустили многоагентную систему для исследования открытых математических задач. В случае Навье—Стокса в работе одновременно участвовало порядка 10 000 агентов, а всего в проекте агенты отправили около 4,9 млн сообщений и сгенерировали около 300 млрд выходных токенов.

Интересно, что в поиске решения Навье—Стокса OpenAI не заставляла всех агентов идти одним путём. Разные группы исследовали разные подходы, а затем наиболее полезные идеи объединялись через Codex. После появления более обученной версии модели агенты также переключались на неё.

Внутри эксперимента использовался вполне тяжёлый исследовательский пайплайн: параллельный поиск, обмен промежуточными результатами, отбор идей, повторные попытки и формализация.

ИИ начинает штамповать открытия слишком быстро

OpenAI сама практически признаёт эту проблему. 21 сентября организация объявила о создании Advisory Group on Mathematics and Artificial Intelligence при Institute for Advanced Study в Принстоне. Поводом она называет в том числе быстрый увеличение возможностей моделей и необходимость понять, как сообщать математическому сообществу о новых результатах и адаптировать саму отрасль к такому темпу.

В группу вошли математики из ENS-PSL, IAS, Кембриджа, EPFL, Беркли, Оксфорда, Стэнфорда и других институтов. Среди них — Тимоти Гауэрс, Мартин Хайрер, Эдвард Виттен и другие известные исследователи.

Группа будет помогать оценивать значимость новых результатов, обсуждать их публикацию и соответствие академическим нормам, а также создавать подходы к использованию ИИ в математических исследованиях и обучении. При этом группа должна функционировать нев зависимости от OpenAI: её участникам не платят, они могут публично критиковать влияние компании и давать советы, о которых OpenAI не просила. Есть и интересное ограничение — группа не будет советовать компании, насколько быстро ей следует развивать собственные математические возможности.

И это происходит на фоне довольно жёсткой критики

11 сентября, всего через несколько дней после публикации OpenAI о Навье—Стоксе, 25 математиков, среди которых лауреаты Филдсовской премии, подписали декларацию A Severe Misalignment of AI in Mathematics. Среди них — Терри Тао, Питер Шольце, Джеймс Мейнард, Мэриам Вязовска и другие.

Претензия математиков: использование открытых задач в качестве бенчмарка смещает акцент с понимания и развития математических идей на количество решённых проблем. Они отдельно указывают на риски для атрибуции, научной коммуникации, образования и накопления математических знаний.

В некотором смысле сегодняшнее заявление OpenAI попадает прямо в центр этой дискуссии. Чем быстрее платформа выдаёт новые результаты, тем меньше работает привычная схема: задача → некоторое количество лет исследований → семинары → обсуждение → материал → проверка → новая теория.

Вместо неё появляется другая: тысячи агентов → огромное число гипотез → автоматическая проверка → человеческий разбор. И именно новейший этап может оказаться узким местом.

100 задач — ещё не 100 новых идей

Здесь есть важное различие.

Можно представить систему, которая способна быстро получать доказательства уже поставленных задач. Это огромный вычислительный и исследовательский ресурс, но он не обязательно означает столь же быстрый увеличение человеческого понимания.

Совсем другая ситуация — если те же системы начинают находить новые методы, которые затем работают за пределами исходных задач.

В августе OpenAI уже приводила именно такие примеры: в одном из результатов схема применила идеи из алгебраической теории чисел к геометрической проблеме. Организация равным образом отмечала последующую работу других исследователей, развивавших полученные результаты.

Для науки следующий сценарий намного интереснее первого. Решить известную задачу — одно. Найти технику, после которой десятки других задач становятся доступнее, — совсем другое.

Но выяснить, сколько таких результатов скрывается за нынешним «100+», мы сможем только после публикации самих работ.