Cloudflare внедряет новую настройку для блокировки обучения ИИ: что это значит для веб-мастеров?

Cloudflare, известный провайдер услуг по обеспечению безопасности и производительности веб-сайтов, анонсировал новую настройку под названием Disallow AI Training. Эта функция добавляет предпочтение "no-training" в файл robots.txt, позволяя при этом Googlebot, Applebot и Bingbot продолжать индексацию для поисковых целей. Это решение отличается от ранее озвученного плана, который предполагал полную блокировку этих поисковых роботов с 15 сентября 2023 года.

Изменения с 15 сентября

С введением Disallow AI Training, Cloudflare изменил подход к блокировке ИИ-обучающих роботов. Теперь, если сайт блокирует обучение ИИ, это также будет означать блокировку Googlebot, Applebot и Bingbot, что затруднит их индексацию для поисковых систем. Новая функция является частью управления обучением, которая включает три основных элемента: Training, Search и Agent. При активации Disallow AI Training, смешанные роботы, которые используются как для поиска, так и для обучения, смогут продолжать индексацию, если они будут помечены как "Accountable".

Критерии для смешанных роботов

Чтобы получить статус "Accountable", операторы роботов должны соответствовать четырем критериям:

Возможность отказаться от обучения ИИ через robots.txt или аналогичный стандарт.

Возможность отказаться от ИИ-сводок, согласованная с оператором на данный момент и через Cloudflare в следующем году.

URL-уровень видимости, показывающий, какие страницы доступны для обучения, а также метрики о том, как контент представлен в поиске.

Гарантия, что отказ от обучения не повлияет на традиционные результаты поиска.

Согласно Cloudflare, Apple, Google и Microsoft соответствуют этим требованиям, и их функции уже доступны, а также есть обязательства по срокам выполнения оставшихся требований.

Как работает настройка для Google, Apple и Bing

Для Google настройка Disallow AI Training реализуется через правило Disallow для Google-Extended, которое позволяет исключить контент из обучения модели Gemini. Документация Google утверждает, что Google-Extended не влияет на включение сайта в поиск Google или его ранжирование. Отдельная настройка в Search Console управляет тем, как сайт отображается в ИИ-обзорах, ИИ-режиме и генеративных функциях Discover. Для Apple настройка работает через правило Disallow для Applebot-Extended. Документация Apple указывает, что Applebot-Extended не сканирует страницы и не учитывается в ранжировании поиска. Чтобы исключить контент из ИИ-сгенерированных ответов на общие вопросы в Siri и поиске, используется мета-тег nosnippet. Что касается Bing, то на данный момент настройка Disallow AI Training не передает предпочтение о блокировке обучения через robots.txt, так как Microsoft еще не добавил поддержку этой функции. Ранее блокировка обучения на Cloudflare также не влияла на Bingbot. Текущий способ отказа от обучения для Bing обозначается мета-тегом NOARCHIVE, который гарантирует, что контент не будет использоваться для обучения генеративных моделей ИИ Microsoft.

Почему это важно

Выбор настройки Block вместо Disallow AI Training на Cloudflare не только блокирует ИИ-обучающие роботы, но и останавливает индексацию Google, Apple и Bing на вашем сайте. Disallow AI Training соответствует отказам от обучения, предоставляемым Google и Apple, но не определяет, будут ли ваши страницы отображаться в ИИ-обзорах и ИИ-режиме, так как это управляется Google через Search Console. В случае с Bing отказ от обучения по-прежнему обозначается тегом NOARCHIVE, что также означает, что ссылки из Copilot не будут включены.

Перспективы

Cloudflare сообщает, что Google планирует внедрить инструменты прозрачности на уровне URL для Google-Extended в ближайшие недели. В то же время Apple работает над собственным инструментом на уровне URL, который будет доступен в следующем году. Кроме того, поддержка Microsoft для предпочтения no-training в robots.txt запланирована на начало 2027 года. В будущем Cloudflare сосредоточится на ИИ-сводках, стремясь создать единый способ управления объемом контента, включаемого в сводки, к началу следующего года.