OpenAI покупает стартап-компания Promptfoo для защиты AI-агентов

OpenAI покупает стартап-компания Promptfoo, который занимается безопасностью языковых моделей и AI-агентов. Компания разработала средство, позволяющий проверять LLM на уязвимости, вредоносные сценарии и ошибки в поведении моделей. Такой аудит помогает компаниям понимать, как их системы реагируют на сложные или потенциально опасные запросы.

Promptfoo появился в 2024 году и за короткое время успел привлечь около 23 миллионов долларов инвестиций. По данным самого стартапа, его инструменты уже используют примерно четверть компаний из списка Fortune 500 для тестирования своих AI-систем. Последняя оценка компании составляла около 86 миллионов долларов.

После сделки технологии Promptfoo планируют интегрировать в корпоративную платформу OpenAI Frontier. Эта система предназначена для разработки и управления AI-агентами в бизнес-среде. Инструменты стартапа должны усилить блок безопасности и позволить компаниям проверять своих агентов на уязвимости до их запуска в рабочую среду.

Сделка демонстрирует, что по мере распространения AI-агентов всё больше внимания уделяется не только их возможностям, но и контролю над тем, как они работают и какие риски могут создавать.