Как управлять доступом к контенту с помощью robots.txt: советы от Google

В недавнем видео на канале Google Search Central, Гари Иллис, представитель Google, обсудил важные аспекты использования файла robots.txt, который регулирует доступ к контенту для веб-краулеров. Этот стандарт, определенный в RFC 9309, не ограничивает то, что происходит с контентом после его индексации, а лишь указывает, какие URL-адреса могут быть запрашиваемы краулерами.

Основные принципы работы robots.txt

Иллис подчеркнул, что для того чтобы заблокировать доступ определенного AI-краулера, необходимо явно указать его user-agent в файле robots.txt. Это означает, что если вы хотите полностью ограничить доступ конкретного AI-краулера к вашему сайту, вам нужно будет целенаправленно указать его user-agent в этом файле. В видео был продемонстрирован вымышленный директив (например, No-AI-Chicken-Training), который не будет распознан парсером. Согласно спецификации robots.txt от Google, поддерживаются четыре элемента: User-Agent, Allow, Disallow и Sitemap. Неверные строки будут игнорироваться Google. Важно отметить, что в соответствии с RFC 9309 (раздел 2.2.4), краулеры могут самостоятельно решать, как обрабатывать записи, выходящие за рамки данного протокола.

Google-Extended: управление доступом к контенту

Google-Extended — это токен robots.txt, который не имеет собственного user-agent. Google использует его в рамках существующих user-agent и описывает его как инструмент управления. Этот токен регулирует, может ли контент, который Google индексирует, быть использован для обучения будущих моделей Gemini и для интеграции с приложениями Gemini и Google Search на платформе Vertex AI. Важно отметить, что Google-Extended не влияет на индексацию сайта в Google Search и не является сигналом ранжирования.

Проект, который может изменить правила игры

Гари Иллис также является соавтором проекта IETF, который может обновить RFC 9309, добавив правило Content-Usage для robots.txt и соответствующий HTTP-заголовок. В текущей версии проекта, датированной 19 августа, правила Allow и Disallow продолжат определять, какие URL-адреса могут быть проиндексированы, в то время как Content-Usage будет определять предпочтения по использованию проиндексированного контента. Например, поле Content-Usage с значением "train-ai=n" добавляется в пример файла robots.txt, что позволяет краулинг. На данный момент проект находится в стадии рабочей группы, и его планируется отправить на рассмотрение в IESG в августе 2026 года. Также упоминается, что метка 'train-ai' содержится в отдельном проекте Vocabulary Draft, который был выпущен 14 сентября, но не отражает консенсуса в рабочей группе.

Рекомендации по кодированию путей

Чери Прамавин, также выступавшая в видео, посоветовала использовать закодированные версии путей с неанглийскими символами или эмодзи в правилах robots.txt. Хотя парсер Google обрабатывает сырые символы, старые или другие краулеры могут не справиться с ними. Пример на экране показал, что сырые пути с эмодзи "Работает для Google, может сломать других" и их процентно-кодированная форма "Безопасный, стандартный способ".

Почему это важно

Метод, который вам необходимо использовать в robots.txt для ограничения использования вашего контента AI, зависит от конкретного бота или продукта. Директивы Disallow могут предотвратить доступ определенных AI-краулеров к конкретным веб-страницам. Для Gemini контроль Google осуществляется через Google-Extended, который включает как обучение, так и интеграцию. В настоящее время не существует стандартного способа выражения предпочтений по обучению независимо от ботов, имеющих доступ к веб-странице; такой способ существует только в виде проекта.

Взгляд в будущее

В описании видео упоминается, что следующий эпизод Non-Canonical Cabinet будет посвящен статус-коду 404. Текущий проект Content-Usage должен истечь 20 февраля 2027 года, если не будет заменен новой редакцией.