Как AI-краулеры взаимодействуют с сайтами: советы от Джона Мюллера

В недавнем эпизоде подкаста Google «Search Off the Record», который вышел 1 октября, Джон Мюллер и Мартин Сплитт обсудили важность карт сайта (sitemaps) и их взаимодействие с AI-краулерами. Мюллер отметил, что AI-краулеры обычно не предоставляют владельцам сайтов возможности отправлять свои карты сайта, что создает определенные сложности для тех, кто хочет, чтобы их контент был доступен для обучения AI.

Как AI-краулеры находят контент

Мюллер подчеркнул, что для сайтов, которые хотят, чтобы их контент был доступен AI-системам, рекомендуется использовать стандартные имена файлов для карт сайта, такие как sitemap.xml, или сосредоточиться на RSS-каналах. Он отметил, что в его собственных логах сервера он наблюдал доступ AI-краулеров к своим картам сайта и RSS-файлам. Это подтверждает, что AI-краулеры могут находить эти файлы, даже если они не имеют специальной настройки для их отправки.

Приватные карты сайта и AI-краулеры

Для владельцев сайтов, которые хотят сохранить свои карты сайта в приватности, Мюллер предложил несколько стратегий. Во-первых, можно дать карте сайта необычное имя и не указывать его в файле robots.txt. Также можно отправить карту сайта напрямую в Google. Однако это имеет свои недостатки: другие системы не смогут найти такую карту сайта, и, например, Bing потребует отдельной отправки.

llms.txt: не замена для карты сайта

Когда речь зашла о файле llms.txt, Мюллер отметил, что этот Markdown-файл не может заменить XML-карту сайта. Он сравнил llms.txt с HTML-картой сайта и подчеркнул, что системы Google не могут использовать его в качестве карты сайта из-за отсутствия строгого формата. Мюллер добавил, что хотя надежды на использование Markdown-файлов в будущем существуют, в настоящее время это не происходит.

Причины, по которым карта сайта может не загружаться

В ходе обсуждения Сплитт задал вопрос о том, почему Google Search Console сообщает «Не удалось получить» для действительной публичной карты сайта, связанной с robots.txt. Мюллер объяснил, что одной из причин может быть высокая нагрузка на хост, что приводит к тому, что системы Google не могут получить карту сайта. Также существует фактор спроса на обход, который может заставить Google пропустить карту сайта, если системы не видят необходимости в дополнительном обходе сайта. Он добавил, что спрос на обход часто зависит от воспринимаемого качества сайта.

Почему это важно

Мюллер отметил, что карта сайта с необычным именем и без записи в robots.txt остается скрытой для систем, которым она не отправлена. AI-краулеры обычно не предлагают способ отправки карты сайта, поэтому использование стандартного имени или RSS-канала может помочь в доступности контента. Запись в robots.txt также указывает краулерам, которые поддерживают директиву Sitemap, где находится файл.

Взгляд в будущее

Мюллер рекомендовал сосредоточиться на том, что уже задокументировано, вместо того чтобы планировать вокруг llms.txt. Он также подчеркнул, что логи сервера являются важным инструментом для проверки доступа AI-краулеров к вашим файлам.