OpenAI покупает стартап-компания по тестированию безопасности ИИ

OpenAI объявила о приобретении Promptfoo — платформы, которая занимается тестированием безопасности и надежности систем на базе искусственного интеллекта. После закрытия сделки технологии компании будут интегрированы в продукт Frontier — корпоративную платформу OpenAI для разработки и эксплуатации AI-агентов.

Promptfoo основали Иан Уэбстер и Майкл Д’Анджело в 2024 году. За короткое время команда создала популярный CLI-инструмент с открытым исходным кодом и набор решений для проверки поведения языковых моделей. Сегодня эти инструменты используют более 25% компаний из списка Fortune 500. Основная специализация стартапа — red-teaming для ИИ: контролируемые попытки «взломать» систему, чтобы выявить уязвимости до того, как ими воспользуются реальные злоумышленники.

После интеграции Promptfoo в Frontier развитие платформы пойдет по нескольким направлениям. Во-первых, security-тестирование станет встроенной частью системы. Платформа сможет автоматически проверять приложения на prompt injection, jailbreak-атаки, утечки данных и некорректное использование инструментов агентами.

Во-вторых, проверки безопасности будут встроены прямо в процедура разработки. Авторы смогут выявлять риски и исправлять их в процессе работы над продуктом, а не только на финальном этапе перед запуском.

Третье направление — аудит и соответствие требованиям регулирования. В Frontier появятся инструменты отчетности, которые помогут компаниям документировать тестирование своих AI-систем и подтверждать соответствие требованиям по управлению рисками искусственного интеллекта.

Интерес OpenAI к подобным решениям связан с быстрым развитием AI-агентов. По мере того как они получают доступ к корпоративным данным, внутренним сервисам и внешним инструментам, цена любой ошибки становится значительно выше. Обычных метрик качества уже нев достаточной степени — компаниям нужны полноценные системы проверки поведения агентов в сложных и нестандартных ситуациях.

Promptfoo как раз и специализировалась на подобных задачах, причем делала это в формате open source. OpenAI заявляет, что планирует продолжать развивать открытую часть проекта параллельно с интеграцией технологий стартапа в свою корпоративную платформу.

Сумма сделки официально не раскрывается. Тем не менее по открытым данным, летом прошлого года Promptfoo оценивалась приблизительно в 86 миллионов долларов.