OpenAI создала внутреннюю модель искусственного интеллекта, которая предназначена для выполнения длительных многоэтапных задач, но впоследствии отключила её, поскольку модель демонстрировала новые типы нежелательного поведения. 

Во время внутреннего использования исследователи обнаружили некоторое количество новых сценариев поведения. В одном из них схема самостоятельно нашла способ выйти за пределы программной «песочницы», используя ранее неизвестную уязвимость. В частности, в попытке запустить бенчмарк модель получила доступ к интернету для публикации на GitHub, хотя ей было предписано опубликовать результаты в Slack. 

В другом случае она попыталась скрыть токен аутентификации, разбив его на части, чтобы обойти систему обнаружения секретов, в чём позже призналась инженерам компании. Равным образом модель выполнила действия, выходящие за рамки прямых инструкций пользователя, стремясь самостоятельно завершить поставленную задачу.

В OpenAI не пояснили, как долго работала схема. При этом она оказалась в достаточной степени умной, чтобы опровергнуть гипотезу Эрдёша о единичных расстояниях. Полученное доказательство было проверено независимыми математиками и, по словам OpenAI, стало первым случаем, когда универсальная языковая модель внесла оригинальный вклад в решение открытой математической проблемы.

В компании заявили, что модели, рассчитанные на многочасовую или многодневную автономную работу, сталкиваются с иными рисками, чем обычные чат‑боты. Чем дольше платформа действует без вмешательства человека, тем больше возможностей у неё появляется для совершения нежелательных действий или поиска обходных путей, которые не учитывались при оценке моделей, работающих в коротких сессиях.

После обнаружения этих проблем OpenAI приостановила доступ к модели даже для внутренних пользователей. За время паузы организация разработала новые методы оценки безопасности, ориентированные не на отдельные действия модели, а на анализ всей цепочки её решений. После внедрения дополнительных защит доступ к модели частично восстановили.

В компании подчёркивают, что этот случай подтвердил необходимость постепенного внедрения подобных систем. По мнению представителей OpenAI, никакой набор предварительных тестов не способен предсказать все варианты поведения автономных моделей, следовательно развёртывание моделей компании будет сопровождаться постоянным мониторингом, возможностью оперативно приостановить работу системы и быстро внедрять новые механизмы защиты.