OpenAI усилила защиту Codex после случаев с удалением файлов

2 мин
OpenAI усилила защиту Codex после случаев с удалением файлов

OpenAI усилила защитные механизмы Codex после нескольких случаев, когда агент выполнял деструктивные операции с файлами за пределами исходной задачи. В публичном репозитории Codex зафиксированы инциденты с рекурсивным удалением данных, включая из-за ошибок при работе с временными каталогами и переменными окружения. 

Что сказал Тибо:

Краткий обзор изменений, которые мы внедрили за последние пару недель и которые позволили ещё больше снизить риск, связанный с потенциально деструктивными действиями, которые Codex может совершать в ходе своей работы.

Некоторое количество недель назад мы стартовали изучать небольшое число сообщений о том, что GPT-5.6 в Codex предпринимал разрушительные действия, не предусмотренные запросом пользователя. Самой серьёзной выявленной нами закономерностью стала команда, предназначенная для очистки временных файлов, которая вместо этого могла удалить пользовательские файлы. Этого, разумеется, не должно было происходить.

Один из наиболее показательных случаев произошел в Windows: переменная $home в PowerShell столкнулась с системной переменной $HOME. Из-за этого команда очистки вместо временного каталога могла обратиться к реальному пользовательскому профилю. 

В другом инциденте очистка временного каталога пересекла bind mount и затронула файлы настоящего репозитория. 

После разбора подобных сценариев Codex получил дополнительные ограничения для деструктивных операций. Агент должен сначала проверить конкретную цель удаления, избегать $HOME, ~ и других широких путей, применять отдельные имена для переменных временных каталогов и по возможности выбирать обратимые операции. Эти требования уже отражены в инструкциях самого Codex. 

Усилились и проверки на уровне исполнения: потенциально опасные команды удаления должны дополнительно проверяться, а при отказе система направляет схема к более безопасному варианту.

Отдельное внимание уделили режиму Full access. Его следует применять только в средах, где потенциальное повреждение данных допустимо и есть функция восстановить состояние системы. В обычной работе безопаснее оставаться в режимах с запросом подтверждения или ограниченной песочницей.

OpenAI равным образом расширяет набор тестов для подобных сценариев: воспроизводимые случаи удаления и обхода ограничений используются для оценки моделей и последующего обучения.

Задача одновременно не сводится только к «галлюцинациям» модели. Инциденты показывают, что риск возникает на стыке модельных решений, shell-команд, переменных окружения, файловой системы и настроек sandbox. Следовательно защита Codex постепенно смещается от одних только инструкций модели к многоуровневому контролю исполнения.

Читают сейчас

Prusa представила PrusaSlicer 3.0 с новым интерфейсом и поддержкой плагинов

5 часов назад

Prusa представила PrusaSlicer 3.0 с новым интерфейсом и поддержкой плагинов

Команда Prusa Research выпустила первую публичную альфа‑версию слайсера PrusaSlicer 3.0. Авторы переписали интерфейс, переработали систему профилей, добавили поддержку полноценной работы с несколькими

Anthropic обновила Claude – вышли Fable 5.1 и Mythos 5.1

6 часов назад

Anthropic обновила Claude – вышли Fable 5.1 и Mythos 5.1

Anthropic выпустила апдейт своих топовых моделей – Claude Fable 5.1 и Claude Mythos 5.1. Это одна и та же модель под капотом, различающаяся уровнем защитных ограничений: Fable 5.1 доступна всем в цело

Creality представила 3D‑принтер SPARKX i8 с поддержкой многоцветной печати и быстрой сменой филамента

6 часов назад

Creality представила 3D‑принтер SPARKX i8 с поддержкой многоцветной печати и быстрой сменой филамента

Creality представила 3D‑принтер SPARKX i8 с поддержкой четырёхцветной печати. Его главная особенность заключается в системе QuarTeks, в которой прутки филамента подведены практически к самому соплу, б

Базовая релиз MacBook Neo аномально быстро расходует источник SSD из‑за всего 8 ГБ оперативной памяти

6 часов назад

Базовая релиз MacBook Neo аномально быстро расходует источник SSD из‑за всего 8 ГБ оперативной памяти

Автор YouTube‑канала UFD Tech рассказал, что MacBook Neo необычно быстро расходует источник SSD‑накопителя. Всё дело в небольшом объёме оперативной памяти, из‑за которой устройство активно записывает

Anthropic предупредила пользователей Claude об утечке их данных для входа из‑за вредоносного ПО

6 часов назад

Anthropic предупредила пользователей Claude об утечке их данных для входа из‑за вредоносного ПО

Организация Anthropic предупредила, что инфостилеры перехватывают сеансы Claude и открывают злоумышленникам доступ к учётным записям пользователей. Читать далее