Новые рекомендации Google по индексации контента: что нужно знать

Недавно Google обновил свой справочник по борьбе со спамом, добавив новый раздел "Только индексируйте контент, предназначенный для поиска". Это обновление, внесенное 26 октября, адресовано веб-сайтам с контентом, созданным для прямого обмена, сотрудничества или утилитарных целей. В этом разделе Google рекомендует устанавливать тег noindex или использовать директиву robots.txt для блокировки сканеров по умолчанию для таких страниц.

Что добавил Google

Новый раздел "Только индексируйте контент, предназначенный для поиска" следует рекомендациям по выявлению спамных аккаунтов и гласит: "Если ваш сервис позволяет пользователям создавать страницы для обмена, генерируемые результаты или интерактивные инструменты, подумайте, предназначен ли этот контент для поиска через поисковые системы или доступен только напрямую по ссылке." В случае, если страницы созданы для прямого обмена, сотрудничества или утилитарных целей, рекомендуется применять правило noindex (с использованием метатега robots или заголовка HTTP X-Robots-Tag) или блокировать сканирование в robots.txt по умолчанию. Открывающий абзац справочника также отмечает, что хостинговые платформы "могут быть подвержены злоупотреблениям". Обновленное предложение добавляет "инструменты, которые позволяют пользователям публиковать общие страницы, генерируемый контент или веб-приложения", и указывает, что спамеры могут создавать большое количество "страниц или сайтов", в то время как ранее говорилось только о сайтах.

Noindex или Robots.txt

Введение Google о robots.txt указывает, что страница, "которая запрещена в robots.txt, все равно может быть проиндексирована, если на нее ссылаются другие сайты". В этом случае Google не будет сканировать заблокированный контент, но URL и, возможно, текст ссылки, указывающий на него, могут появиться в результатах поиска без описания. Страница Google о noindex говорит, что правило работает только тогда, когда robots.txt не блокирует страницу, потому что в противном случае "сканер никогда не увидит правило noindex". На странице "Контроль того, что вы делитесь", обновленной 21 октября, robots.txt применяется к "изображениям и видео", а noindex — ко "всем типам контента". 27 июля было подтверждено, что путь обмена Claude был заблокирован директивой "Disallow" в robots.txt. Кроме того, страницы обмена также возвращали значение "none" для заголовка HTTP X-Robots-Tag. Google рассматривает "none" как равное как noindex, так и nofollow в соответствии с его документацией по метатегам robots.

Новые проверки в Search Console

Новый справочник по борьбе со спамом от Google утверждает, что вы должны проверять свой веб-сайт или поддомен через Search Console, чтобы ваша платформа получала уведомления, когда она получает ручное действие или сталкивается с проблемой безопасности. Также рекомендуется регулярно проверять отчет о индексации страниц и отчет о поисковой производительности на наличие "неожиданных всплесков" индексированных страниц, показов или запросов, которые не соответствуют намерениям вашей платформы. Новая подсказка в разделе мониторинга предлагает отслеживать создание и индексацию на уровне платформы, с уведомлениями о всплесках в количестве недавно опубликованных общедоступных страниц или "небольшом количестве пользователей, генерирующих большое количество индексируемых URL".

Почему это важно

Обновление справочника Google от 26 октября направлено на помощь платформам в "удержании пользовательских страниц, которые не предназначены для поиска, вне индекса и более раннем обнаружении спама". Для ссылок на обмен, генерируемых результатах и страницах приложений проверьте, что любое noindex может быть достигнуто Googlebot. Директива robots.txt, которая блокирует Googlebot от этих страниц, означает, что Google никогда не прочитает ее.

Взгляд в будущее

Отчет о индексации страниц, на который указывает новая рекомендация Google, имеет статус "Индексировано, хотя и заблокировано robots.txt". Помощь Google для этого статуса говорит о том, что необходимо удалить блокировку и использовать noindex. URL-адреса обмена, которые Google индексирует, несмотря на блокировку robots.txt, могут появиться под этим статусом в Search Console.