# Cloudflare закручивает кран для AI-ботов - Site: VeraPoint News - Section: Новости - Date: 2026-07-02 - Canonical: https://verapointmedia.com/news/cloudflare-s-new-policy-pushes-ai-companies-to-pay-for-publishers-content/ - Markdown: https://verapointmedia.com/news/cloudflare-s-new-policy-pushes-ai-companies-to-pay-for-publishers-content.md - Summary: Cloudflare с 15 сентября по умолчанию блокирует mixed-use crawlers на рекламных сайтах — и это уже про доступ к контенту, деньги и правила игры для AI. - Tags: #cloudflare #ai-crawlers #publishers #google #content-policy - Image: https://verapointmedia.com/static/content-assets/news/cloudflare-s-new-policy-pushes-ai-companies-to-pay-for-publishers-content/cover.webp ## Sources - https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/ - https://news.google.com/rss/articles/CBMiqwFBVV95cUxOWG02Z0dSY2lYY25qbk15M0lOMjJZd19USGdrVDJWeFB6MUp0c3lqWk1pOFU5SGlGaml3anVET053NzVQQWszVkJEX3NVbkh5OHl0Vm5oNk9KYmNKbklycTZONU13dHNaOW5sMFZtWDN0clEtRkRPYl81eVhOVjVDYURueHJ2TnFzMmdvbW5YMmg2M1ZONEs5NmhKaGZMSzV2Y19YSnpFdTdFYVk?oc=5 - https://news.google.com/rss/articles/CBMiwwFBVV95cUxQU0locXZKaU5saHdad0x5WlJRM2xjc0dIWE55cTRVUWJxR2tjbVNNUjcyVlZpUzFYdENtT2NCZUVRVF9wTlRUZ3lfdll3VVBGMTllNEY2SE5Yb195WmFhVTNuaEw4SUJVb3VYRlEtc0M0YWdjMURhM2VVa0JNSmVjNlZOM05hY0RrdE5WVFZvdlZGZDVFeC1XN2YtRFZmckc3cEtfcnpoNl9YVnh0aDdZTzRENGp0aVNQX1JqQTFNR2ZscUU?oc=5 - https://arxiv.org/abs/2301.00073v2 --- В прошлый раз мы разбирали у Cloudflare и AI-агентов историю про рынок, где машины уже сами платят друг другу. И вот теперь компания показывает следующий слой: не как агенты торгуются, а кто вообще пускает их к вебу. С 15 сентября 2026 года Cloudflare по умолчанию будет блокировать **mixed-use crawlers** на сайтах с рекламой — то есть ботов, которые одновременно идут и в поиск, и в обучение, и в агентские сценарии. Для паблишеров это вопрос контроля доступа, для AI-компаний — вполне себе вопрос денег и зависимости от чужой инфраструктуры. ## Теперь спор не про AI, а про турникет И вот что тут важно: Cloudflare меняет не отдельную настройку, а **дефолт** — то есть поведение по умолчанию. По-человечески это значит: если владелец сайта сам не полезет всё перенастраивать, система уже решит за него. И такие штуки, честно, куда сильнее любого бодрого пресс-релиза. Не «можно запретить», а «уже закрыто, если не скажешь иначе» — вот где начинается настоящая власть над потоком данных. Новое правило затронет не только новых клиентов Cloudflare, но и новые сайты у существующих клиентов, а также всех бесплатных пользователей. То есть речь не про редкую опцию для тех, кто любит копаться в панели управления, а про довольно массовый переключатель. Смысл Cloudflare, в общем, прозрачен: если ваши тексты хотят читать и искать — пожалуйста. Но если их ещё и тянут в обучение моделей и агентские сценарии, то, извините, сначала разделите роли. А то слишком уж удобно устроились. ## Почему тут сразу всплыл Google Cloudflare отдельно указывает на «крупнейшую поисковую систему мира» — ну да, тут загадки не очень много. Речь о Google. И вот здесь начинается самое любопытное. По версии Cloudflare, у Google есть преимущество, потому что его краулеры могут совмещать обычную индексацию с AI-функциями. Из-за этого компания, как утверждает Cloudflare, получает доступ примерно к «вдвое большему объёму информации», чем часть других AI-провайдеров. Google на это уже отвечал: у него есть **Google Extended** — бот-режим, который позволяет владельцам сайтов отключить использование контента для обучения и AI-продуктов вроде Gemini, при этом не ломая присутствие сайта в Google Search. Звучит аккуратно. Даже слишком аккуратно, если честно. Но есть важная закавыка: основной Googlebot всё равно сканирует поиск, включая AI-функции вроде AI Overviews и AI Mode. И вот тут граница между «поиском» и «использованием для AI» начинает расплываться. А Cloudflare, похоже, решила эту мутную зону подсветить и сказать: подождите, а это вообще нормально? ## Кто здесь платит за веб Вот почему эта история не из серии «ещё одна политика для разработчиков». Здесь всё упирается в деньги и доступ. Сайты с рекламой живут на видимости и трафике. Если AI-обзоры, чат-боты и поисковые ответы забирают контент, а сами паблишеры получают только обрывки внимания, экономика начинает скрипеть. Особенно у небольших медиа и контентных команд, которым и так не до жира. Cloudflare предлагает другой расклад: не просто запрещать, а заставлять AI-игроков разделять свои режимы. Хотите поиск — вот поиск. Хотите обучение и агентские функции — отдельный проход. Не хотите разделять? Тогда доступ к рекламным страницам по умолчанию закрыт. Это уже не про мораль, а про инфраструктурную власть. Cloudflare здесь не наблюдатель, а тот, кто ставит турникет и решает, кто проходит. ## Но красивая идея ещё не означает рабочую систему Cloudflare, конечно, обещает «устойчивую экосистему» и даже новые коммерческие возможности для издателей. И тут я, честно, чуть приподнимаю бровь. Потому что между заявлением и реальностью там довольно широкий ров. Во-первых, непонятно, как именно будут определять, что краулер **mixed-use**. По названию? По поведению? По заявленной цели компании? А если бот один, а задач у него три? Во-вторых, неясно, будет ли блокировка действительно выборочной, а не грубой. Одно дело — аккуратно отделить поисковую индексацию от обучения. И совсем другое — случайно вырезать сайт из полезных сценариев видимости. В-третьих, у Cloudflare уже есть **Pay Per Crawl** — идея, где сайты могут брать плату с AI-ботов за сканирование. Звучит почти как взрослая экономика. Но сработает ли это заметно и массово? Вот тут я бы не торопилась с овациями. ## Кого это заденет первым Сильнее всего история ударит по небольшим контентным командам, новостным сайтам с рекламой, AI-стартапам, которые сидят на веб-скрапинге, и, как ни странно, по обычным пользователям AI-сервисов. Почему пользователям? Потому что если доступ к контенту сузится, AI-обзоры и поисковые ответы могут стать беднее. Меньше источников, меньше разнообразия, больше повторов. И, возможно, больше контента за платной стеной. Для владельцев сайтов ставка тоже вполне земная: либо они сохраняют discoverability — то есть видимость в поиске и AI-каналах, — либо защищают себя от бесплатного раздавания материала. И это уже не абстрактный спор о будущем интернета, а вопрос дохода. Есть и ещё один слой, почти бытовой, хотя слово тут не очень любят. Если вы автор, редактор, владелец небольшого медиа или контентной команды, теперь придётся следить не только за SEO, но и за тем, кто именно «читает» вас машиной. Раньше это звучало как паранойя. Теперь — как настройка по умолчанию. ## Что это меняет для нас с вами Если совсем по-человечески: интернет становится менее бесхозным. И это одновременно хорошо и немного неудобно. Хорошо — потому что у создателей контента появляется рычаг. Неудобно — потому что бесплатного, разнообразного и легко доступного контента в AI-продуктах может стать меньше. А значит, часть удобства уедет в подписки, партнёрства и закрытые каталоги. Так что новость про Cloudflare — это не просто «ещё одна компания что-то заблокировала». Это инфраструктурный ход, который меняет баланс между теми, кто пишет, и теми, кто забирает данные для AI. И вот теперь самый интересный вопрос не в том, объявят ли ещё один громкий дедлайн. А в том, кто первым останется без доступа к контенту — и заметим ли мы это до того, как AI-ответы станут чуть беднее и чуть дороже. ## Материалы - [TechCrunch AI] Cloudflare's new policy pushes AI companies to pay for publishers' content | TechCrunch: https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/ - [news.google.com] supporting context: https://news.google.com/rss/articles/CBMiqwFBVV95cUxOWG02Z0dSY2lYY25qbk15M0lOMjJZd19USGdrVDJWeFB6MUp0c3lqWk1pOFU5SGlGaml3anVET053NzVQQWszVkJEX3NVbkh5OHl0Vm5oNk9KYmNKbklycTZONU13dHNaOW5sMFZtWDN0clEtRkRPYl81eVhOVjVDYURueHJ2TnFzMmdvbW5YMmg2M1ZONEs5NmhKaGZMSzV2Y19YSnpFdTdFYVk?oc=5 - [news.google.com] supporting context: https://news.google.com/rss/articles/CBMiwwFBVV95cUxQU0locXZKaU5saHdad0x5WlJRM2xjc0dIWE55cTRVUWJxR2tjbVNNUjcyVlZpUzFYdENtT2NCZUVRVF9wTlRUZ3lfdll3VVBGMTllNEY2SE5Yb195WmFhVTNuaEw4SUJVb3VYRlEtc0M0YWdjMURhM2VVa0JNSmVjNlZOM05hY0RrdE5WVFZvdlZGZDVFeC1XN2YtRFZmckc3cEtfcnpoNl9YVnh0aDdZTzRENGp0aVNQX1JqQTFNR2ZscUU?oc=5 - [arxiv.org] supporting context: https://arxiv.org/abs/2301.00073v2