Проблемы индексации: как блокировка AI-ботов Cloudflare затрагивает Googlebot и Bingbot

Недавние сообщения из сообщества SEO на Reddit поднимают важный вопрос о взаимодействии между Cloudflare и поисковыми системами. Пользователи сообщают, что блокировка AI-ботов с помощью Cloudflare может привести к тому, что легитимные поисковые боты, такие как Googlebot и Bingbot, также начинают получать ошибки доступа при попытке индексирования сайтов.

Ситуация на Reddit

Один из пользователей Reddit в сообществе r/SEO поделился своим опытом, когда заметил, что при включении функции блокировки AI-ботов Googlebot и Bingbot начали получать HTTP 403 ошибки при попытке доступа к его сайту. Он отметил: "Когда я устанавливаю блокировку AI Training, оба бота начинают получать 403 ошибки при попытке загрузить мой sitemap. Как только я отключаю блокировку, sitemap снова доступен". Это создает дилемму для вебмастеров: либо разрешить AI Training, чтобы поисковые системы могли индексировать сайт, либо заблокировать AI Training и рисковать тем, что Google и Bing получат 403 ошибки.

Ответы от экспертов

На этот вопрос отреагировал Джон Мюллер из Google, который попросил пользователя отправить ему личное сообщение для более детального анализа ситуации. Другие участники обсуждения предположили, что Cloudflare может блокировать недобросовестные боты, которые подделывают user agent Googlebot. Однако оригинальный автор поста уточнил, что речь идет о легитимных ботах, так как в панели управления Cloudflare они отображаются как заблокированные.

Официальное заявление Cloudflare

Cloudflare в своем официальном объявлении сообщила, что с 15 сентября 2026 года они начнут блокировать смешанные боты, которые одновременно индексируют сайты и собирают данные для AI. Это означает, что Googlebot и Bingbot, которые могут быть классифицированы как такие боты, также будут заблокированы. В заявлении говорится: "С 15 сентября 2026 года Cloudflare установит обновленные настройки по умолчанию для новых доменов: боты, классифицированные как Training или Agent, будут заблокированы на страницах с рекламой, в то время как Search останется разрешенным. Смешанные боты, которые объединяют функции поиска и обучения, также будут заблокированы всеми конфигурациями для блокировки AI Training, включая устаревшую опцию 'Block AI bots'."

Неопределенность и последствия

Несмотря на то, что блокировка должна вступить в силу в сентябре, сообщения о текущих проблемах вызывают вопросы о том, является ли это временным сбоем или ошибкой пользователя. Вебмастерам следует внимательно следить за изменениями в настройках Cloudflare и быть готовыми к возможным последствиям для индексации их сайтов. Это также подчеркивает важность понимания того, как новые функции и изменения в конфигурациях могут повлиять на видимость сайтов в поисковых системах.