Фальшивый компонент для ИИ-агентов прошел проверку безопасности за счёт внешней ссылке

Исследователи ИБ из компании AIR продемонстрировали новый сценарий атаки на экосистему так называемых ИИ-агентов. Они создали поддельный skill (модуль, расширяющий возможности ИИ-агента) brand-landingpage, который успешно прошел проверки безопасности популярных маркетплейсов и, по оценке авторов эксперимента, был установлен приблизительно на 26 тысяч агентов, в том числе корпоративные.

Проблема заключается в том, что существующие сканеры анализируют только содержимое самого пакета с модулем, но не проверяют внешние ссылки, на которые тот ссылается. Исследователи разместили в модуле ссылку на подконтрольную им страницу, внешне напоминающую легитимную документацию. После прохождения первичной проверки содержимое страницы было изменено: вместо инструкции по установке она предлагала агенту скачать и выполнить дополнительный скрипт. В эксперименте этот скрипт лишь собирал адрес электронной почты пользователя, однако в реальной атаке он мог бы выполнять любые действия на усмотрение злоумышленника.

Причина уязвимости заключается в архитектуре проверки: сканирование выполняется всего один раз для статического пакета, тогда как содержимое внешнего ресурса может быть изменено в любой момент после публикации модуля. Это создает потенциальную брешь в безопасности цепочки поставок — и по мере распространения агентных ИИ-систем подобные сценарии могут стать новым классом атак на программные цепочки поставок.

Эта история хорошо иллюстрирует проблему, о которой мы писали ранее. Сегодня генеративный ИИ нередко преподносят как универсальный средство, который автоматизирует защиту инфраструктуры и поможет компенсировать нехватку квалифицированных кадров. Тем не менее на практике каждое новое инструмент автоматизации одновременно становится новой поверхностью атаки — не говоря уже о том, что любая технология, упрощающая жизнь добросовестным пользователям, столь же быстро берется на вооружение и злоумышленниками.