Cloudflare заставит ИИ-компании платить за контент издателей

Компания Cloudflare установила для индустрии ИИ новый крайний срок для разделения веб-краулеров, используемых для традиционного поиска, например, Google Search, от тех, которые используются для ИИ-агентов и обучения. Начиная с 15 сентября 2026 года, настройки Cloudflare по умолчанию будут блокировать «смешанные» краулеры на страницах, содержащих рекламу.

Это означает, что краулеры, которые сочетают поиск, использование в качестве агента и обучение, будут по умолчанию заблокированы для сканирования таких сайтов, если владелец не изменит настройки. Эти изменения настроек по умолчанию будут применяться к новым клиентам Cloudflare, новым сайтам, созданным существующими клиентами, и всем существующим бесплатным клиентам, заявляет компания.

Шаг может повлиять на то, как поставщики моделей ИИ смогут получать доступ к веб-контенту для целей обучения и для работы своих агентских сервисов.

Cloudflare отмечает, что большинство владельцев веб-сайтов хотят, чтобы их контент был доступен через поиск, а часто и через сервисы ИИ, но одновременно они также хотят защиты от бесплатной передачи своей интеллектуальной собственности.

Cloudflare специально указывает на «крупнейшую в мире поисковую систему», утверждая, что у неё есть доступ приблизительно к «в два раза большему объёму информации», чем у других компаний, занимающихся ИИ, потому что поисковый гигант затрудняет поиск пользователей без использования их ресурсов для искусственного интеллекта.

Google ранее опровергала это обобщение, отмечая, что предоставляет бота под названием Google Extended, который даёт возможность владельцам сайтов отказаться от использования их контента для обучения и продуктов и услуг ИИ, таких как Gemini Apps и Vertex api. Его использование не влияет на отображение сайта в результатах поиска Google. Тем не менее флагманский бот Googlebot сканирует сайты для поиска, включая такие функции ИИ, как обзоры ИИ и режим ИИ.

«Теперь, когда большая часть трафика в интернете — это не человеческий трафик, мы должны двигаться дальше и действовать быстрее, чтобы могла возникнуть устойчивая экосистема», — заявил соучредитель и генеральный директор Cloudflare Мэтью Принс, имея в виду недавний рубеж, когда боты впервые превзошли человеческий трафик в интернете. Ожидалось, что этот сдвиг произойдёт не раньше следующего года.

«Новые инструменты и партнёрства Cloudflare предоставляют владельцам веб-сайтов расширенные возможности для повышения видимости и коммерческой эффективности, а также приносят пользу компаниям, занимающимся искусственным интеллектом, которые используют ботов с чёткими и прозрачными намерениями. Мы надеемся, что предлагаемые нами изменения по умолчанию побудят краулеров смешанного назначения разделять поиск и использование агентов, а также обучение», — сказал Принс.

Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям запускать собственные системы искусственного интеллекта, организация также выпустила ряд инструментов, предоставляющих издателям больший контроль над своим контентом в эпоху ИИ. В последние годы организация запустила инструменты для борьбы с ботами на основе ИИ, в том числе маркетплейс, позволяющий веб-сайтам взимать плату с ботов за сбор данных, получивший название «Оплата за сканирование» (Pay Per Crawl).

Последний вариант теперь равным образом трансформируется в «Оплата за использование» (Pay Per Use), что позволит издателям взимать плату с компаний, занимающихся искусственным интеллектом, когда их контент создает ценность, а не только когда он загружается.

Это модификация также может помочь издателям экономить пропускную способность и вычислительные ресурсы для поставщиков моделей ИИ, поскольку информация Cloudflare показывают, что более 50% трафика от краулеров ИИ тратится на повторную загрузку неизмененных страниц.

Для реализации этого Cloudflare первоначально сотрудничает с двумя партнёрами: Ceramic.ai и You.com. Когда издатель подключается к этой системе, он получает оплату, когда его контент появляется в результатах поиска Ceramic.ai или когда You.com получает доступ к части его премиум-контента.

Другие компании, занимающиеся ИИ, могут адаптировать эту схема под свои нужды, говорит Cloudflare.

В июле 2025 года Cloudflare представила инструмент Pay Per Crawl, который даёт возможность владельцам сайтов установить собственную цену за запросы ИИ‑ботов. Это решение интегрируется с существующей веб‑инфраструктурой Cloudflare, используя коды статуса HTTP и установленные механизмы аутентификации для создания фреймворка для платного доступа к контенту.

В июне компания объявила о начале работы над браузерным протоколом PACT (Private Access Control Tokens), предназначенным для определения легитимного трафика. Он не требует авторизации, сбора данных и CAPTCHA. В дополнение к Cloudflare, в разработке участвуют Mozilla, Google, Microsoft и Shopify; технологию планируют предлагать в качестве открытого стандарта.