С 15 сентября 2026 года провайдер сетевой инфраструктуры Cloudflare начнет по умолчанию блокировать на веб-страницах «смешанные» ИИ-краулеры, которые используют одни и те же боты для поиска, обучения моделей и работы агентных систем. Компания требует четкого разделения решений на поисковые, обучающие и агентные. Мера связана с тем, что издатели и владельцы сайтов хотят сохранять видимость в поиске и ИИ-сервисах, но не готовы бесплатно предоставлять свой контент.

В Cloudflare предупредили, что интернет рискует перейти к экосистеме «нулевого клика», где чат-боты собирают оригинальный контент для мгновенных ответов, полностью обходя первоисточники. По данным компании, более 50% трафика от ИИ-краулеров приходится на повторное сканирование страниц, которое редко приносит пользу, поэтому блокировка также должна снизить нагрузку на инфраструктуру сайтов. Изменение затронет новых клиентов, сайты действующих пользователей и всех обладателей бесплатного тарифа, при этом владельцы хостингов смогут отключить опцию вручную.

Параллельно Cloudflare расширяет коммерческую схему Pay Per Use для издателей: оплата предполагается не только за доступ к материалу, но и в случаях, когда контент имеет ценность для ИИ-сервиса. На первом этапе компания работает с Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в поисковой выдаче чат-ботов.

Ранее, 18 ноября 2025 года, Cloudflare столкнулся с масштабными техническими неполадками, которые вызвали нарушения в работе множества сайтов и приложений, включая Web3-сервисы.