OpenAI выпустила open source-инструменты для повышения безопасности ИИ-приложений для подростков

OpenAI представила набор open source-промптов, которые должны помочь разработчикам создавать ИИ-приложения безопаснее для подростков. Компания предлагает применять их наряду со своей моделью модерации gpt-oss-safeguard, но отмечает, что эти политики можно адаптировать и для других моделей.

Речь идет не о готовом приложении, а о наборе правил, которые помогают заранее задать границы допустимого поведения ИИ. В них затрагиваются темы графического насилия, сексуального контента, опасных челленджей, вредных представлений о теле, романтического или агрессивного ролевого взаимодействия, а также товаров и услуг с возрастными ограничениями.

В OpenAI объясняют, что даже опытным командам сложно перевести общие цели безопасности в точные и рабочие правила. В результате защита часто получается либо непоследовательной, либо слишком размытой, либо, наоборот, чрезмерно жесткой. Новый набор промптов должен дать разработчикам базовый каркас, который можно дорабатывать под свой продукт.

Над этими политиками OpenAI работала вместе с организациями Common Sense Media и everyone.ai. В компании подчеркивают, что это не полноценное решение всех проблем AI safety, а скорее минимальный практический уровень защиты, который можно быстро встроить в продукт.

На фоне растущего внимания к тому, как ИИ взаимодействует с несовершеннолетними, такой шаг выглядит логичным. Особенно для небольших команд, у которых нет собственных ресурсов на разработку сложной системы модерации с нуля.