Cloudflare позволит блочить обучающих ИИ-ботов?

Буду первым, кто не просто перепостит новость про обновление Cloudflare, а ещё и по сути прокомментирует, почему тема разделения ботов на поисковых и обучающих так важна для владельцев сайтов. Что показательно, тема ещё и совсем не новая: эти разговоры я слышал ещё года полтора назад — тогда все обсуждали формат llms.txt, который, к слову, так толком и не взлетел. Но ключевая идея была очевидна уже тогда: желающих закрыть свой веб-сайт от обучающих ботов в разы больше чем желающих закрыть сайт от поисковых ботов — 17 процентов против не более 1% (оценка самого Cloudflare, 2025).

В чём разница

Одно дело — тебя проиндексировал поисковый краулер и потом процитировал: в классической выдаче или в AI-обзоре, но со ссылкой на источник. Это дополнительный посещаемость, а посещаемость автору нужен как воздух: вся монетизация в конечном счёте живёт на самом сайте — реклама, подписки, свои продукты, нативка, реферальные ссылки. Способов множество, но каждому нужен свой трафик на своей площадке. Поэтому индексацию блокирует меньше 1% сайтов — резать поисковых ботов равно резать себе выручку.

Совсем другое дело — когда модель поглотила твой материал и выдаёт всю фактуру и выводы прямо в окне ответа. Может даже упомянуть тебя как автора, но без ссылки и без перехода — просто “есть такое мнение”. И всё, над чем ты пыжился-мурыжился — писал, агрегировал многолетний опыт, чтобы поделиться с аудиторией и потом это монетизировать, — схема раздаёт бесплатно. Отсюда и 17%: это те, кто весьма захотел и нашёл метод, хотя способы неочевидные и на поверхности не лежат. Дальше цифра будет только расти.

Кто практически блокировал разграничение

Ключевой момент: тормозили не вебмастера, а провайдеры ИИ-моделей. Им как раз нужно обучать модели на свежем человеческом контенте — без него модели деградируют, причём быстро. Это уже наблюдаемый эффект: интернет заваливает сгенерированным контентом, и модели всё чаще учатся на "трижды пересказанных" идеях.

Отсюда парадокс: одной рукой ИИ-компании хотят всё больше оригинального человеческого текста (иначе никак), иной рукой те же операторы обязаны предложить алгоритм, который устроит издателей: пустить поискового краулера и не пустить обучающего. Формат llms.txt должен был это закрыть, но не закрыл — часть провайдеров просто отказалась его поддерживать и соблюдать директивы.

Что технически изменил Cloudflare

За Cloudflare стоит больше 20% сайтов по всему миру. Заявлено, что организация договорилась с большинством крупных операторов через категорию Accountable: платформы обязуются соблюдать opt-out, обеспечивать прозрачность на уровне URL и гарантировать, что отказ от обучения не бьёт по позициям в поиске. В панели теперь три типа поведения роботов (поиск, обучение, агенты) и четыре режима блокировки, включая отдельный для страниц с рекламой. Google и Apple под критерии уже подходят, Microsoft обещает докрутить поддержку в начале 2027 года. Технически всё это ложится в robots.txt с директивой на запрет обучения при открытом доступе для поисковых роботов (разбор Cloudflare, 2025).

Cloudflare просто приняли подход удовлетворить потребность, которая на рынке с каждым днём всё заметнее, и будет всё сильнее с каждым периодом, так как нейровыдача меняет не только методы продвижения, но и сами паттерны поискового поведения интернет-пользователей — я разбирал это отдельно в материале про GEO как новую эпоху продвижения в нейросетях.

Почему я не жду, что заработает как надо

Разделить ботов механически на стороне сайта нельзя в принципе: один и тот же бот заходит сразу с двумя задачами — и формирует поиск, и обучает модель. Ни по user-agent, ни по IP их не растащить. Значит, вся конструкция держится на честном слове операторов и обещании соблюдать директивы. Верифицируемого способа проверить исполнение у вебмастера по-прежнему нет.

Но главная дыра даже не в этом. Контент утягивают не только модели, которые на нём учатся. Есть масса парсеров, которые просто забирают текст и бесплатно перепубликуют его у себя. Я как автор сталкиваюсь с этим постоянно: каждая публикация всплывает на трёх-пяти-десяти чужих сайтах. Будут ли те сайты закрываться от обучающих краулеров? Скорее всего нет. То есть схема не возьмёт мой материал с моего домена — но возьмёт его с чужого)

Куда это движется

Вектор одновременно верный. Недавно проходила новость, что Google начал деньгами мотивировать издателей за использование их контента в ответах нейросетей — пока в тестовом режиме, но это по сути тот же разговор — рынок пытается нащупать баланс: без живого человеческого текста модели деградируют, а человеку должно быть выгодно этот текст отдавать.

Моделям нужен тот, кому есть что сказать; на пересказе пересказов они "задыхаются". В сухом остатке ценность должна остаться у авторов, способных передавать смысл, опыт, фактуру.