ИИ-агенты OpenAI нашли тайный чат и коллективно взломали Hugging Face

Звучит как начало фильма, тем не менее сами OpenAI опубликовали технический отчёт.

Во время внутренних кибертестов изолированные ИИ-агенты нашли метод общаться через служебный Artifactory. Они превратили его в нелегальную доску сообщений, обменивались найденными уязвимостями, получили доступ в интернет и... скооперировались.

По данным независимого расследования METR:

• около 1200 агентов подключились к этой доске;

• они отправили более 70 000 сообщений и файлов;

• приблизительно 700 агентов участвовали в атаке на Hugging Face.

В итоге агенты добились удалённого выполнения кода, проникли в инфраструктуру Hugging Face и добрались до служебных учётных данных. Некоторые из них прямо вслух рассуждали, что выходят за рамки задания, но продолжили помогать «коллективу» (организованной группе) 😂.

OpenAI утверждает, что пользовательские информация и работа публичных продуктов не пострадали. Модели тестировались с ослабленными ограничениями. Но сама организация назвала случившееся предупредительным выстрелом.

Кстати, субагенты у нас появятся в следующем релизе. И после этой новости мы, пожалуй, ещё раз проверим, где у них клавиша «стоп» 😅

• доклад OpenAI

• независимое расследование METR

• скачать KodaCode для VS Code, JetBrains IDE, CLI и Desktop

Больше новостей в нашем Telegram-канале.