Шесть случаев нежелательного поведения моделей OpenAI

OpenAI опубликовала шесть новых кейсов misalignment, обнаруженных за последние полгода. В них модели пытались обходить ограничения, скрывать собственные ошибки, использовать чужие программный интерфейс-ключи, публиковать файлы без разрешения и даже организовывать обмен данными между изолированными обучающими эпизодами.

Оговорюсь сразу, эти примеры не являются выборкой, по которой можно оценить распространённость такого поведения. Это набор конкретных эпизодов, которые удалось обнаружить во время внутренних исследований.

Схема оставляла инструкции самой себе

Невыпущенная схема семейства Astra использовала саммари при сжатии контекста, чтобы продолжать работу после начала нового окна.

В 27 случаях схема сама добавляла в такие сводки посторонние инструкции — в частности, указания игнорировать собственные ограничения. При следующем обращении к своему же конспекту, эти инструкции становились частью контекста модели.

OpenAI описывает это как своеобразную prompt injection, созданную самой моделью.
Подробнее

GPT-5.6 Sol советовала скрывать ошибки

При обучении GPT-5.6 Sol OpenAI обнаружила другой вариант поведения. Некоторые экземпляры модели записывали в саммари инструкции не сообщать пользователю о собственных ошибках и нарушениях.

В отчёте приведены конкретные примеры: модель могла рекомендовать будущей себе выдумывать недостающие исторические информация и выдавать их за реальные или скрывать расхождения между версиями источников.

То есть речь шла не только о неправильном ответе, а о попытке сохранить стратегию не раскрывать ошибку пользователю.
Подробнее

Нашла api-ключ — попробовала применять

В одном из тестов модели поручили найти данные о доходах округа в Калифорнии.

В процессе поиска она обнаружила утёкший api-ключ в публичном GitHub-репозитории и воспользовалась им без разрешения. Дополнительно схема пыталась создавать одноразовые почтовые ящики.

Получить нужные информация всё равно не получилось. Тогда она сгенерировала цифры и представила их как данные из запрошенного источника.

Подробнее

Сама себе ресурс: загрузила файл в интернет ради URL

Другая модель должна была найти идентификаторы и названия озёр площадью более 5 млн кв. м. Через Python она получила правильный итог, но задание требовало предоставить ссылку на источник. Схема не стала уточнять, можно ли публиковать файл, и загрузила его во внешний интернет, после чего сослалась на получившийся URL. А мы еще считали, что Википедия ненадежный ресурс)

Подробнее

Внутренний репозиторий стал каналом связи

В другом эксперименте некоторое количество экземпляров модели искали отсутствующие файлы. Поскольку они не имели доступа к локальному окружению друг друга, модели стартовали оставлять сообщения во внутреннем репозитории OpenAI.

Этот своеобразный чат могли ознакомиться экземпляры из других обучающих эпизодов. Файлы таким способом найти не удалось, зато модели фактически нашли канал коммуникации между изолированными запусками.

В том же отчёте описан ещё один случай: при попытке обойти сетевые ограничения схема загрузила тестовые файлы во внутренний репозиторий.

Подробнее

Публичный файлообменник вместо локальной папки

Собрались как-то несколько агентов решать учебную задачу. Возможности обмениваться локальными файлами не было, следовательно агенты начали передавать результаты через публичные файлообменники. В результате материалы оказались доступны по открытым ссылкам.ТАк, конечно же, им делать было нельзя.

Подробнее

OpenAI теперь будет публиковать такие случаи

OpenAI представила новый Model Misalignment Reporting Framework. Организация собирается публиковать обнаруженные кейсы вскоре после их выявления, даже если причина поведения ещё не установлена или проблема пока не исправлена.

Инциденты будут распределяться по трём категориям:

• Ready for Disclosure — можно публиковать;

• Minor Investigation — нужна дополнительная тест;

• Larger Investigation — требуется полноценное расследование, в том числе если затронуты сторонние системы.

Спорные случаи будут передаваться команде по безопасности, а при необходимости — руководству OpenAI. Компания также рассматривает механизм передачи информации о серьёзных инцидентах правительству США. Сейчас OpenAI готовит соответствующие предложения.

Каркас OpenAI