OpenAI связала Moonshot AI с попытками извлечь скрытые рассуждения моделей

OpenAI сообщила о масштабной кампании по извлечению защищённых рассуждений своих моделей. Компания связывает ключевую группу активности с людьми, связанными с Moonshot AI (разработчик Kimi). Одновременно OpenAI отдельно отмечает, что не может утверждать, будто все участники кампании работали на одного оператора.

Активность началась 1 июля и поначалу оставалась маленький. 24 и 25 июля произошёл резкий всплеск: OpenAI зафиксировала 16 000 запросов от свыше 4 000 пользователей, использовавших характерный для извлечения рассуждений паттерн. Дальнейшее расследование выявило похожую активность уже у кластера из более чем 15 000 пользователей. К 28 июля OpenAI заявила, что кампанию удалось целиком пресечь.

Интересен сам метод. Операторы копировали зашифрованные рассуждения из одного диалога, переносили их в другой и просили модель расшифровать и воспроизвести скрытое содержимое в открытом виде.

Одновременно взлома шифрования не было. OpenAI утверждает, что злоумышленники не получили доступ к базе данных или сохранённым пользовательским чатам. Пишут о манипуляциях с взаимодействием между моделями, которые позволяли выводить защищённые информация в доступной пользователю форме.

OpenAI называет такой подход adversarial distillation — попыткой использовать ответы или внутренние рассуждения одной модели для обучения, воспроизведения или улучшения иной. В компании считают, что масштабное извлечение reasoning может позволить переносить возможности продвинутых моделей в другие системы без сопоставимых затрат на их разработку и защита.

После обнаружения кампании OpenAI заблокировала связанные аккаунты и усилила защиту от подобных атак. Организация также сообщила об обнаруженной независимыми исследователями уязвимости, связанной с переносом защищённых рассуждений между разговорами, и заявила, что поделилась информацией о классе атак с партнёрами через Frontier Model Forum.

Отмучу, 16 000 запросов — это не 16 000 успешно украденных рассуждений. В общем, история получилась довольно характерная для гонки моделей: вместо попытки взломать шифрование напрямую операторы пытались убедить сами модели раскрыть то, что им раскрывать не положено.