OWASP 20 октября 2026 года выпустил GenAI Red Teaming Manual v1.0. В документе объёмом 144 страницы описаны восемь этапов испытаний ИИ-моделей, приложений и агентных систем. Руководство охватывает работу от планирования испытаний до проверки эффективности исправлений.

По информации новостной ленты eyeon.ai, авторы рассматривают безопасность всей системы применения ИИ, а также передачу результатов испытаний специалистам, которые будут обеспечивать её защиту. Один из выводов в переводе звучит так:

Руководство даёт командам тестирования, специалистам по качеству и аудиторам общую методику и показатели для определения объёма проверок ИИ и подготовки отчётов.

Итак, кажется, главная ценность нового документа – подробная методика проведения испытаний, а также способы проверить достоверность полученных результатов. Это может быть интересно и специалистам, которые занимаются испытаниями, и заказчикам, которые хотят понимать, насколько надёжно отработала команда тестирования: что она проверила, какие выводы сделала и на чём они основаны.

Характерно, что все последние руководства и гайды выходят с обязательной привязкой к бизнес-рискам. Странно было бы ожидать иного: бизнес всё ещё до конца не разобрался, какую ценность приносит ИИ. Одновременно всё настойчивее звучат вопросы: к каким последствиям для бизнеса могут привести ошибки ИИ и в достаточной степени ли испытаний, чтобы оценить эти последствия?

И снова этот вечный вопрос: как убедить большого босса? В данном случае надо решать, разрешить ли системе работать с реальными данными и какие полномочия предоставить агентам.

Теперь некоторое количество комментариев к самому документу. В январе 2025 года OWASP уже выпустил GenAI Red Teaming Guide на 77 страницах. Новому Manual предшествовало публичное обсуждение: участники разработки собирали замечания к проекту.

В методике подробно разобрано, как проверить, выполняет ли агент поручения пользователя. ИИ-агент может функционировать с ограниченными правами и при этом делать совсем не то, что от него ожидалось. Тут мы снова возвращаемся к бизнес-контексту: прежде чем проверять агента, придётся определить и зафиксировать, что ему вообще поручали и где она, или разумная, или хотя бы честная граница наших ожиданий от ИИ. Дальше – больше: оцениваются многоэтажные агентные среды, в которых нужно проверить передачу полномочий, разрешения и влияние сохранённой памяти на последующие действия.

Авторы также предлагают проверять, насколько надёжно оцениваются результаты испытаний. Получается ещё одна петля обратной связи – оценка оценщика. Человек, программа или модель, которые выносят вердикт, тоже могут ошибаться. Для количественных результатов рассматриваются доверительные интервалы и ограничения выводов: если в проведённой серии атак никто не добился успеха, это пока только факт неудачи Red Team, который сам по себе неплох, но ничего не гарантирует.

Как говорится, поживём – увидим. Может быть, у нас появятся свои гайды, может быть, и другие уважаемые организации тоже выпустят что-то полезное. Тем не менее этот документ – ещё один вклад в безопасность нового мира, который уже наступил и в котором искусственный интеллект стал неотъемлемой частью технологической ткани новой реальности.