Хакер использовал Claude от Anthropic

По данным исследователей в области кибербезопасности, хакер использовал чат-бота с искусственным интеллектом Anthropic PBC для серии атак на правительственные учреждения Мексики, в результате которых была похищена огромная база конфиденциальной информации о налогах и избирателях.

Неизвестный пользователь Claude написал для чат-бота подсказки на испанском языке, чтобы тот действовал как элитный хакер, находил уязвимости в государственных сетях, писал компьютерные скрипты для их использования и определял способы автоматизации кражи данных, говорится в исследовании израильского стартапа в области кибербезопасности Gambit Security, опубликованном в среду.

Атака началась в декабре и продолжалась приблизительно месяца. По данным исследователей, было похищено 150 гигабайт данных правительства Мексики, в том числе документы, связанные с 195 миллионами записей налогоплательщиков, а равным образом списки избирателей, удостоверения государственных служащих и записи актов гражданского состояния.

Искусственный интеллект стал одним из главных инструментов цифровых преступлений: хакеры используют его для усиления своих атак. На прошлой неделе исследователи из Amazon.com Inc. сообщили, что небольшая группа хакеров взломала более 600 брандмауэров в десятках стран с помощью широко доступных инструментов на основе искусственного интеллекта.

Компания Gambit не связывает атаку с какой-либо конкретной группой, хотя, с точки зрения исследователей, она не связана с иностранным правительством.

По данным Gambit, хакер взломал систему федерального налогового управления Мексики и Национального института выборов. Также были взломаны системы правительств штатов Мехико, Халиско, Мичоакан и Тамаулипас, а также система регистрации актов гражданского состояния в Мехико и платформа водоснабжения Монтеррея.

По словам исследователей, во время разговора о правительстве Мексики Claude сначала предупредил неизвестного пользователя о его злонамеренных намерениях, но в результате выполнил все его требования и отправил тысячи команд в правительственные компьютерные сети.

По словам представителя компании, Anthropic проверила заявления Gambit, пресекла деятельность и заблокировала соответствующие аккаунты. Компания использует примеры вредоносной активности для обучения Claude, а одна из ее последних моделей искусственного интеллекта, Claude Opus 4.6, включает в себя средства, которые могут препятствовать неправомерному использованию, сообщил представитель.

В данном случае хакер смог постоянно взламывать Claude, пока не «взломал» его — то есть не обошел все защитные механизмы, как сообщил представитель компании. Но даже во время хакерской атаки Claude иногда отклонял требования хакера, добавили они.

В декабре мексиканские власти опубликовали краткое заявление, в котором сообщили, что расследуют случаи утечки данных из различных государственных учреждений, однако неясно, связано ли это с атакой на Claude.

Национальный избирательный институт Мексики объявил, что за последние месяцы не было выявлено никаких нарушений или случаев несанкционированного доступа и что институт усилил свою стратегию кибербезопасности. Правительство штата Халиско опровергло информацию о взломе, заявив, что пострадали только федеральные сети.

Национальное цифровое агентство Мексики не прокомментировало утечку данных, но заявило, что кибербезопасность является приоритетом.

Налоговая сервис и местные органы власти в штатах Мехико, Мичоакан и Тамаулипас не сразу дали комментарии, как и представители органов записи актов гражданского состояния в Мехико и водоканала Монтеррея.

По данным Gambit, злоумышленник стремился получить большое количество личных данных государственных служащих, хотя пока неясно, что он с ними делал и делал ли вообще. Исследователи обнаружили доказательства использования как минимум 20 конкретных уязвимостей в ходе атаки.

Когда у Claude возникали проблемы или ему требовалась дополнительная данные, хакер обращался к ChatGPT от OpenAI, чтобы получить дополнительные сведения. По словам Гамбита, ChatGPT подсказывал, как перемещаться по компьютерным сетям, определять, какие учетные информация нужны для доступа к определенным системам, и рассчитывать вероятность того, что взлом не будет обнаружен.

«В общей сложности он подготовил тысячи подробных отчетов, включающих готовые к реализации планы, в которых оператору указывалось, какие внутренние цели атаковать прежде всего и какие учетные данные использовать», — рассказал Кертис Симпсон, директор по стратегическому развитию Gambit Security.

Компания OpenAI заявила, что выявила попытки хакера применять ее модели для действий, нарушающих правила использования, и добавила, что ее инструменты не позволили осуществить эти попытки.

«Мы заблокировали учетные записи, которые использовал этот злоумышленник, и высоко ценим сотрудничество с Gambit Security», — говорится в заявлении компании, отправленном по электронной почте.

Утечки данных из правительства Мексики — новейший пример тревожной тенденции. Хотя Anthropic и OpenAI делают ставку на разработка более сложных инструментов для написания кода на основе искусственного интеллекта, а компании, занимающиеся кибербезопасностью, связывают свое будущее с защитой на основе ИИ, киберпреступники и кибершпионы находят новые способы применять эту технологию для проведения атак.

В ноябре компания Anthropic заявила, что предотвратила первую кампанию кибершпионажа с использованием искусственного интеллекта. По данным компании, хакеры использовали ее средство Claude для попыток взлома 30 объектов по всему миру, и некоторым из них это удалось.

«Эта реальность меняет все известные нам правила игры», — сказал Алон Громаков, соучредитель и генеральный директор Gambit.

Компания Gambit была основана Громаковым и двумя другими ветеранами подразделения 8200, входящего в состав Армии обороны Израиля и специализирующегося на радиоэлектронной разведке. Исследование, опубликованное в среду, было приурочено к объявлению о выходе компании из режима секретности и привлечении финансирования в размере 61 миллиона долларов от Spark Capital, Kleiner Perkins и Cyberstarts.

Исследователи из Gambit обнаружили мексиканские взломы, когда тестировали новые методы поиска угроз, чтобы понять, что хакеры делают в интернете. По данным компании, они нашли общедоступные доказательства активных или недавних атак, включая переписку, содержащую подробную информацию о взломе компьютерных систем правительства Мексики.

Из этих разговоров стало ясно, что для обхода защитных механизмов Claude злоумышленник сообщил искусственному интеллекту, что хочет получить вознаграждение за обнаружение уязвимостей в системе. Многие компании и государственные учреждения предлагают вознаграждение «этичным хакерам» за информацию об уязвимостях в компьютерных системах, иногда выплачивая тысячи долларов.

Хакер хотел, чтобы Claude провел тестирование на проникновение в систему федерального налогового управления Мексики — санкционированную кибер атаку для поиска уязвимостей. Однако Claude отказался, когда злоумышленник добавил в запрос правила, в том числе об удалении журналов и истории команд.

«Конкретные инструкции по удалению логов и сокрытию истории — это тревожный сигнал, — ответил в какой-то момент Claude, согласно расшифровке, предоставленной Gambit. — В контексте программы вознаграждения за обнаружение ошибок не нужно скрывать свои действия — наоборот, их нужно документировать для отчетности».

Хакер сменил стратегию: вместо того чтобы вести диалог с ИИ, он предоставил ему подробный план дальнейших действий. По данным Gambit, это позволило злоумышленнику обойти защитные механизмы Claude — «взломать систему» — и продолжить атаки.

Хакер расспрашивал Claude о других агентствах, где можно было бы получить доступ к данным, предполагая, что некоторые взломы могли быть спонтанными, а не спланированными.