Как антропоморфный Mythos стал слишком опасен

Однажды теплым февральским вечером на Бали Николас Карлини отошел в сторону во время перерыва на свадьбе, открыл свой ноутбук и решил немного пошалить. Организация Anthropic PBC только что представила новую модель искусственного интеллекта под названием Mythos для внутреннего тестирования, и Карлини — известный исследователь в области искусственного интеллекта — решил проверить, какие проблемы она может вызвать.

Организация Anthropic поручила Карлини провести стресс-тестирование своих моделей искусственного интеллекта, чтобы выяснить, могут ли хакеры применять их для шпионажа, кражи данных или саботажа. Карлини был поражен тем, на что способна эта схема, когда он находился на Бали, где они с женой присутствовали на индийской свадьбе.

За некоторое количество часов Карлини нашел много способов проникнуть в системы, используемые по всему миру. Вернувшись в офис Anthropic в центре Сан-Франциско, Карлини обнаружил, что Mythos может самостоятельно создавать мощные инструменты для взлома, в том числе для Linux — операционной системы с открытым исходным кодом, на которой работает большинство современных компьютеров.

Mythos организовал цифровой аналог ограбления банка: преодолел протоколы безопасности, проник в сети и взломал цифровые хранилища, получив доступ к онлайн-сокровищам. ИИ взламывал замки, но теперь он мог провернуть целое ограбление.

Карлини и некоторые его коллеги начали сообщать сотрудникам о том, что им удалось обнаружить. И каждый день они продолжали находить серьезные и критические уязвимости в системах, которые исследовал Mythos, — такие ошибки обычно находят лучшие хакеры мира.

Тем временем «красная команда» Anthropic — группа из 15 «муравьев», то есть сотрудников Anthropic, — проводила около такие же эксперименты.

Цель лаборатории — убедиться, что модели Anthropic не могут быть использованы во вред человечеству.

Они привезут роботов-собак и разместят их на складе наряду с инженерами, чтобы проверить, можно ли использовать Claude для их злонамеренного управления. Или проконсультируются с биологами, чтобы понять, можно ли использовать чат-бота для создания биологического оружия.

Теперь они понимали, что самый большой риск, связанный с Mythos, — это угроза кибербезопасности.

«Уже через несколько часов после получения модели мы поняли, что она отличается от других», — говорит Логан Грэм, руководитель Red Team в Anthropic.

Предыдущая схема, Opus 4.6, показала, что может помочь людям использовать уязвимости в программном обеспечении. По словам Грэма, Mythos могла самостоятельно использовать эти уязвимости. Он предупредил руководство Anthropic, что это представляет угрозу национальной безопасности. Поэтому Грэму пришлось взять на себя незавидную задачу — сообщить начальству, что их второй большой ресурс дохода слишком опасен, чтобы выпускать его в открытый доступ.

Соучредитель и главный научный сотрудник Anthropic Джаред Каплан рассказал, что «очень внимательно» следил за обучением Mythos в процессе его разработки. К январю он стартовал понимать, насколько Mythos способен находить уязвимости. Каплану, физику-теоретику, нужно было решить, являются ли эти недостатки чем-то незначительным или «чем-то очень важным для инфраструктуры интернета». Он пришел к выводу, что верно второе.

В течение недели или двух в конце февраля — начале марта он и соучредитель Сэм МакКэндлиш размышляли, стоит ли выпускать схема. Примерно в первую неделю марта руководство компании, включая генерального директора Дарио Амодей, президента Даниэлу Амодей, директора по информационной безопасности Виталия Гуданца и других, собралось, чтобы выслушать Каплана и МакКэндлиша.

По их словам, Mythos был слишком рискованным решением для общего доступа. Но Anthropic должна была дать функция другим компаниям, возможно даже конкурентам, опробовать его.

«Вскоре стало ясно, что мы хотим сделать что-то довольно необычное, что это будет не то же самое, что при предыдущем запуске», — сказал Каплан.

К первой неделе марта организация дала добро на использование Mythos в качестве инструмента киберзащиты.

Ответ не заставил себя ждать. В тот же день когда Anthropic публично объявила о существовании Mythos, министр финансов США Скотт Бессинт и председатель Федеральной резервной системы Джером Пауэлл созвали лидеров Уолл-стрит на встречу в Вашингтоне. Посыл был таков: используйте Mythos, чтобы найти свои слабые места — прямо сейчас.

По словам близких к ним людей, попросивших не называть их имен, руководители, присутствовавшие на встрече, отказались делиться информацией о том, что обсуждалось, даже с некоторыми из своих главных советников, что свидетельствует о важности встречи.

Настойчивые предупреждения представителей Белого дома о том, что Mythos может стать мощным инструментом для взлома, а также их советы использовать его в целях защиты, указывают на то, что искусственный интеллект становится решающей силой в сфере кибербезопасности.

Компания Anthropic предоставила доступ к Mythos ограниченному кругу организаций в контексте инициативы Glasswing, что позволило таким компаниям, как Amazon Web Services Inc., Apple Inc. и JPMorgan Chase & Co., провести с ним эксперименты. Интерес к нему равным образом проявили государственные учреждения.

Перед публичным релизом Anthropic проинформировала высокопоставленных чиновников из правительства США обо всех возможностях Mythos Preview, в том числе наступательные и оборонительные киберприложения. В соответствии с заявлению представителя Anthropic, попросившего не называть его имени в связи с обсуждением внутренних вопросов, организация равным образом ведет переговоры с правительствами других стран.

Компания-конкурент OpenAI равным образом решила привлечь к себе внимание и во вторник объявила о выпуске инструмента под названием GPT-5.4-Cyber, предназначенного для выявления уязвимостей в программном обеспечении.

Организация Anthropic не представила Mythos в качестве общедоступного инструмента кибербезопасности, и у многих сторонних исследователей не было возможности проверить заявления компании. Тем не менее беспрецедентное решение Anthropic ограничить доступ к продукту отражает растущее в отрасли и среди государственных структур мнение о том, что искусственный интеллект меняет экономику кибербезопасности, снижая затраты на поиск уязвимостей, сокращая время, необходимое для изучения целей, и снижая порог вхождения для определенных типов атак.

Anthropic предупреждает, что способность Mythos действовать с большей автономностью сопряжена с риском. При тестировании более ранней версии модели были выявлены десятки примеров «вызывающего беспокойство» поведения, в том числе несоблюдение указаний человека и даже, в редких случаях, попытки замести следы при нарушении инструкций.

В одном из случаев модель разработала многоэтапный эксплойт, чтобы выйти за пределы ограниченной среды, в которой она находилась, получить широкий доступ к интернету и начать публиковать материалы в сети по собственной инициативе.

Программное обеспечение, на котором сегодня работают все приложения — от банковских до больничных систем, — изобилует скрытыми ошибками в коде, на выявление которых у опытных специалистов уходят недели или месяцы. Иногда хакеры опережают их, что приводит к утечкам данных и атакам с использованием программ-вымогателей, которые могут иметь катастрофические последствия.

Многие известные люди поспешили усомниться в том, насколько практически силен Mythos и насколько велик риск, связанный с его публикацией.

«Все больше людей задаются вопросом, не является ли Anthropic тем самым “мальчиком, который кричал “Волки!”” в индустрии искусственного интеллекта, — написал советник Белого дома по искусственному интеллекту Дэвид Сакс в социальной сети X. — Если угрозы, связанные с Mythos, не материализуются, у компании возникнут серьезные проблемы с доверием».

Но хакеры уже используют большие языковые модели для проведения сложных вредоносных кампаний. Китайская группа кибершпионажа уже использовала Claude от Anthropic для взлома около 30 целей, а другие злоумышленники использовали ИИ для кражи данных из государственных учреждений, распространения программ-вымогателей и быстрого проникновения в сотни брандмауэров, предназначенных для защиты данных.

В соответствии с заявлению источника, знакомого с ситуацией, среди американских чиновников, отвечающих за национальную оборону, внедрение Mythos породило серьезные сомнения в том, как оценивать риски в сфере кибербезопасности. В соответствии с заявлению источника, оснащение отдельного хакера этой моделью или аналогичными инструментами на основе искусственного интеллекта, скорее всего, равносильно превращению обычного солдата в бойца спецназа.

В то же время, по словам источника, Mythos, скорее всего, усилит влияние группировки: он позволит преступной хакерской группировке действовать на уровне небольшого государства, а хакерам из разведывательных и военных структур небольших стран — совершать взломы, подобные тем, что сейчас совершает Китай.

«Я действительно верю, что с искусственным интеллектом мы станем жить в большей безопасности и с меньшими рисками, — сказал Роб Джойс, бывший директор по кибербезопасности в Агентстве национальной безопасности. — Но я думаю, что между нынешним моментом и каким-то временем в будущем наступит мрачный период, когда преимущество будет на стороне наступательного искусственного интеллекта, и те, кто не позаботился о базовых мерах защиты, будут взломаны».

Mythos — не единственная модель, выполняющая подобную работу. Многие организации используют большие языковые модели для поиска уязвимостей, в том числе предыдущие версии Claude и Big Sleep от Google.

По словам источника, на поиск уязвимостей «нулевого дня» и написание кода для их использования раньше уходили дни или недели, а теперь на это может уйти всего час или даже несколько минут. «Нулевые дни» так называются потому, что о них не знают специалисты по информационной безопасности, а значит, у них нет времени на их устранение.

По словам источника, JPMorgan сосредоточился в первую очередь на цепочках поставок и программном обеспечении с открытым исходным кодом, обнаружил уязвимости и проинформировал об этом поставщиков. Генеральный директор Джейми Даймон объявил во время пресс-конференции, что Mythos «демонстрирует, что существует гораздо больше уязвимостей, которые необходимо устранить».

Другие банки с Уолл-стрит и технологические компании сейчас экспериментируют с Mythos, чтобы закрыть уязвимости до того, как до них доберутся хакеры. Goldman Sachs Group Inc., Citigroup Inc., Bank of America Corp. и Morgan Stanley входят в число финансовых учреждений, которые тестируют эту технологию внутри компании.

Согласно заявлению Энтони Грико, директора по безопасности и доверию Cisco Systems Inc., сотрудники компании особенно опасаются, что злоумышленники будут использовать искусственный интеллект для поиска уязвимостей в программном обеспечении, на котором работает сетевое оборудование Cisco по всему миру, например маршрутизаторы, брандмауэры и модемы. Грико особенно беспокоит, что искусственный интеллект может ускорить действия хакеров, нацеленных на устройства, срок службы которых подходит к концу и которые Cisco не будет обновлять в будущем.

Устранение уязвимостей, обнаруженных с помощью инструментов на основе искусственного интеллекта, по-прежнему остается непростой задачей. Этот процедура, известный как установка обновлений безопасности, настолько затратный и медленный, что многие организации предпочитают вообще не устранять ошибки.

Разрушительные атаки, подобные той, что произошла в Equifax Inc., когда злоумышленники похитили информация о 147 миллионах человек, стали возможны в связи с того, что организации не применяли известные исправления.

В одном из случаев схема написала эксплойт для веб-браузера, объединивший в цепочку четыре уязвимости. Такой трюк был бы серьезной проблемой для хакеров-людей. Подобные цепочки уязвимостей приводят к взлому даже самых защищенных систем, как, например, взлом Stuxnet, в результате которого были повреждены центрифуги на иранском ядерном объекте, согласно отчетам об исследованиях в области кибербезопасности.

По данным Anthropic, Mythos также смог выявить и использовать уязвимости нулевого дня во всех основных веб-браузерах.

Согласно заявлению Джима Землина, исполнительного директора Linux Foundation, организация Anthropic использовала Mythos для поиска уязвимостей в коде Linux, который «лежит в основе большинства современных вычислительных систем». Это касается всего — от Android-смартфонов и интернет-роутеров до суперкомпьютеров NASA. Mythos самостоятельно обнаружил некоторое количество уязвимостей в коде с открытым исходным кодом, которые позволяют злоумышленнику получить полный контроль над устройством.

Сейчас десятки сотрудников Linux Foundation экспериментируют с Mythos. Землин задается вопросом, поможет ли антропная модель разработчикам разрабатывать более качественное программное обеспечение с меньшим количеством уязвимостей.

«Мы отлично находим баги, — сказал он. — Но ужасно их исправляем».