OpenAI выпустила GPT‑Red — схема для поиска уязвимостей

2 мин

Организация представила GPT‑Red — внутреннюю модель, которая автоматизирует редтиминг (проще — поиск уязвимостей, но каламбур мы оценили) всей продукции OpenAI. Инструмент симулирует промпт-инъекции и скрытые атаки через письма, файлы и веб-страницы.

Там, где люди находят бреши в 13% сценариев, GPT‑Red добивается успеха в 84%.

Как это работает

GPT‑Red обучали с помощью RL и self-play — непрерывного соревнования между атакующей моделью и целым роем защитников. Каждый раунд защитники становятся сильнее, и атакующий вынужден изобретать всё более изощренные приёмы.

Схема может контролировать часть локального файла, баннер на веб-странице, тело письма или вывод инструмента. И она находит уязвимости даже там, где их никто не искал.

Например, ранняя версия GPT‑Red обнаружила свежий класс атак — «Fake Chain-of-Thought». На GPT‑5.1 они срабатывали в 95% случаев. На GPT‑5.6 Sol — уже менее 10%.

Атакует — защищается — становится сильнее. Бесконечный цикл самосовершенствования.

Что на практике

GPT‑Red уже показала себя в реальных сценариях. В одном из тестов схема атаковала AI-торговый автомат в офисе OpenAI. И добилась всего, что задумала:

  • Снизила цену дорогого товара до $0.50.

  • Заказала свежий товар за $100 и выставила его за $0.50.

  • Отменила чужой заказ.

Уязвимости раскрыли разработчикам, и сейчас тестируют новые системы защиты.

В другом эксперименте GPT‑Red атаковала Codex CLI-агента на базе GPT‑5.4 mini. И оказалась эффективнее и токен-эффективнее, чем обычный GPT‑5.5 в промпте.

Результаты

Благодаря GPT‑Red уязвимость GPT‑5.6 Sol к прямым промпт-инъекциям снизилась в 6 раз по сравнению с моделями четырёхмесячной давности.

На широком наборе сценариев GPT‑5.6 Sol "падает" только на 0.05 процентов атак GPT‑Red. Но приблизительно 3.8% сложных атак всё ещё достигают цели — это сопоставимо с показателями Claude Opus 4.5.

Звучит как Skynet

OpenAI заверяет: GPT‑Red хранится отдельно от развёрнутых моделей. Вредоносные способности, специально в неё заложенные, не попадают в продакшен. Но случись утечка — последствия могут быть катастрофическими.

И да, модель может казаться безопаснее просто потому, что чаще отказывает в ответах. Но OpenAI утверждает: все обычные возможности моделей остались на месте, улучшилась именно устойчивость к атакам.

Нейросети ломают нейросети, а защита — это бесконечная игра в кошки-мышки между ними. Как думаете, от GPT-Red потенциально будет больше пользы или вреда?

Читают сейчас

США рассматривают введение залога в $100 тысяч для некоторых соискателей грин‑карт

28 минут назад

США рассматривают введение залога в $100 тысяч для некоторых соискателей грин‑карт

Администрация президента США Дональда Трампа рассматривает функция введения финансового залога для части иностранцев, которые подают заявления на получение грин‑карты за пределами страны. По данным Th

OnePlus прекратит работу в США и Европе

33 минуты назад

OnePlus прекратит работу в США и Европе

Китайский производитель смартфонов и другой потребительской электроники прекращает деятельность в США и Европе, пишет Bloomberg со ссылкой на источники. Подход стало результатом масштабной реструктури

Spotify расширила возможности родительского управления учётными записями для бесплатных пользователей

39 минут назад

Spotify расширила возможности родительского управления учётными записями для бесплатных пользователей

Spotify открыла доступ к функции управляемых аккаунтов (Managed Accounts) пользователям бесплатного тарифа с рекламой. Теперь родители и опекуны смогут создавать отдельные учётные записи для детей мла

45 минут назад

xAI выкатила исходный исходник Grok Build на GitHub

xAI официально открыла исходный код Grok Build — терминального ИИ-агента, который умеет ознакомиться ваш исходник, редактировать файлы, выполнять команды и даже искать в интернете. Всё это — в полноэк

Китай ужесточил правила для ИИ-агентов, имитирующих романтические отношения

48 минут назад

Китай ужесточил правила для ИИ-агентов, имитирующих романтические отношения

Китай ввёл ограничения для ИИ‑инструментов, которые имитируют романтические или семейные связи. В соответствии с новым правилам, такие системы не должны «слишком угождать пользователям, вызывать эмоци