Как переход на CDN может повлиять на индексацию и производительность сайта
Переход на сеть доставки контента (CDN) может оказать неожиданное влияние на индексацию сайта и его производительность. Специалисты Google Гэри Ильес и Черри Проммауин объясняют, как увеличение скорости отклика сервера может привести к увеличению частоты обхода сайта Googlebot, что, в свою очередь, может перегрузить исходный сервер.
Увеличение частоты обхода Googlebot
При переходе на CDN, Googlebot может начать чаще обходить сайт. Это происходит потому, что более быстрые ответы сервера сигнализируют о том, что инфраструктура сайта способна обрабатывать больше запросов. Автоматизированные системы обхода Google интерпретируют улучшение производительности как возможность для увеличения частоты обхода. Однако, в начале работы CDN кэши пусты, и CDN начинает кэшировать контент только после запроса страницы от браузера или бота. На первом запросе Googlebot обращается к исходному серверу, что может привести к его перегрузке. Гэри Ильес объясняет: "Внезапно метрики обхода показывают, что сайт может обрабатывать больше запросов. Но поскольку кэши CDN еще не заполнены, исходный сервер продолжает обслуживать запрашиваемые страницы. По сути, CDN открывает "кран", и теперь краулеры получают доступ к потоку данных".Проблемы с блокировкой Googlebot
Еще одной важной проблемой, связанной с переходом на CDN, является случайная блокировка Googlebot, что может привести к снижению видимости в поиске. Ильес и Проммауин объясняют это на примере администраторов сайтов, которые могут случайно заблокировать Googlebot, активируя строгие фильтры ботов на платформе CDN, такой как Cloudflare. Это может привести к тому, что Google не сможет индексировать URL сайта. "Администраторы, видя резкий рост трафика, могут запаниковать и включить общие правила безопасности, которые блокируют Googlebot", — говорит Ильес. Проммауин добавляет, что в панике администраторы могут включить настройки блокировки ботов, что приводит к тому, что Googlebot не может пройти проверку CAPTCHA и, как следствие, теряет доступ к страницам сайта.Рекомендации по предварительному заполнению кэша CDN
Когда сайт только начинает использовать CDN, кэш его контента еще не загружен. Процесс предварительного заполнения кэша (pre-warming) заключается в том, чтобы запросить контент с сайта, чтобы он был загружен в CDN заранее. Это позволяет обеспечить быструю доставку контента без необходимости сначала запрашивать его с исходного сервера. Ильес рекомендует программно запрашивать URL-адреса, чтобы кэш заполнился контролируемым образом. "Чтобы успешно интегрировать CDN, попробуйте предварительно заполнить кэши, программно запрашивая ваши основные URL через CDN, прежде чем открывать доступ для поисковых систем".Основные выводы
Переход на CDN может создать неожиданное сочетание более быстрого обхода и увеличенной нагрузки на исходный сервер. Это может привести к непреднамеренной настройке агрессивных ограничений безопасности, которые препятствуют доступу Googlebot к сайту. Вот три ключевых момента для SEO-специалистов и владельцев сайтов: 1. Использование CDN может вызвать увеличение обхода Googlebot, когда он обнаруживает более быстрые ответы сервера, даже если кэши CDN еще не заполнены, что приводит к увеличению запросов к исходному серверу. 2. Переход на CDN может случайно привести к исчезновению страниц из поиска Google из-за агрессивных настроек безопасности, предназначенных для блокировки вредоносных ботов, которые также могут заблокировать краулеров Google. 3. Google рекомендует предварительно заполнять кэши, разрешать доступ доверенным краулерам и временно контролировать обход, когда нагрузка на сервер становится чрезмерной. Дополнительные материалы можно найти в новой документации Google по CDN и в подкасте Google.
Источник:
Search Engine Journal