Как Cloudflare и OpenAI меняют подход к индексации веб-страниц

Cloudflare и OpenAI объявили о результатах пилотного исследования, которое помогло OpenAI обнаружить и индексировать сотни миллионов новых веб-страниц. Пилотный проект использовал данные от примерно 1% от общего объема сети Cloudflare. Результаты были опубликованы 15 октября в блоге Cloudflare, соавтором которого стали два сотрудника OpenAI. Объявление о начале пилота состоялось 8 июля.

Как сигналы Cloudflare помогают OpenAI находить страницы

Сигналы сети Cloudflare используются OpenAI для улучшения работы своего поискового краулера, который находит ценные веб-страницы. В блоге были приведены примеры таких страниц, включая руководство пользователя для стиральной машины, актуальную информацию о требованиях к паспортам и меню ресторана с часами работы. Эти страницы могут быть ценными даже при отсутствии ссылок с других сайтов. В объявлении от 8 июля упоминались новые сигналы, которые будут использоваться для индексации, такие как:

Дата последнего обновления страницы

Качество трафика на сайте

Изменения, внесенные в контент страницы

Однако ни одно из объявлений не уточняет, какие сайты принимали участие в пилоте и находятся ли новые страницы на их ресурсах.

Влияние сигналов на краулинг

По данным публикации от 15 октября, сигналы Cloudflare также помогут краулерам OpenAI избегать ненужных запросов. Боты часто повторно пытаются получить файлы, которые недоступны на сервере, некоторые сайты перенаправляют запросы на главную страницу, а другие ведут на дубликаты контента. Сигналы изменений подсказывают краулеру, стоит ли повторно посещать определенную веб-страницу или нет. Компании также тестируют сигналы, которые могут выявлять потенциально вредные страницы. Примером служит фальшивая форма входа, размещенная злоумышленником на странице легитимного сайта, где цель — отметить именно эту страницу, а не весь домен. Ранние результаты показывают, что сигналы могут помочь в идентификации страниц, которые следует исключить из индекса.

Настройки краулеров все еще определяют доступ

В блоге от 15 октября указано, что сигнал о странице не дает разрешения на доступ к ней. Исследователи используют метаданные из интернета для улучшения возможностей поиска и обнаружения, а не для обмена контентом страниц для обучения моделей. Документ, описывающий работу краулера OpenAI, разделяет поиск и обучение на две отдельные директивы robots.txt. Если сайт блокирует OAI-SearchBot (робота, ищущего информацию), он не будет включен в результаты поиска ChatGPT, хотя заблокированные сайты могут все равно появляться в виде навигационных ссылок. Если сайт разрешает краулинг обоими ботами (GPTBot и OAI-SearchBot), OpenAI может использовать данные, собранные во время одного краулинга, для обеих целей. Публикация от 15 октября направляет читателей к AI Crawl Control от Cloudflare, который доступен на каждом тарифном плане. Этот сервис показывает, какие AI-сервисы обращаются к вашему сайту, и предлагает возможность разрешить или заблокировать каждого краулера.

Почему это важно

ChatGPT получит новый источник информации, как только страница будет включена в индекс OpenAI. Компании утверждают, что OpenAI независимо оценивает и ранжирует страницы, которые индексирует, поэтому нет гарантии, что ваши страницы будут упомянуты, даже если они найдены в рамках пилота. Разрешение OAI-SearchBot при блокировке GPTBot означает, что ваш сайт останется доступным через результаты поиска ChatGPT, но указывает на то, что ваш контент не должен использоваться для обучения. Отслеживание посещений ChatGPT зависит от UTM-тегов или рефереров, и некоторые ссылки на ChatGPT не имели ни того, ни другого ранее в этом месяце. Один из аналитиков сообщил, что исправление начало внедряться в тот же день.

Перспективы

Cloudflare и OpenAI заявляют, что следующий этап развития проекта включает улучшение выбора веб-страниц для AI, тестирование более быстрых и надежных индикаторов изменений контента и оценку результатов, когда AI находит новый контент. По данным Cloudflare, они в настоящее время работают с OpenAI над тем, как улучшенное обнаружение контента может привести к бизнес-результатам. Кроме того, согласно блогу Cloudflare от 1 июля, объявляющему о их исследовании сетевых сигналов и AI-поиска, Cloudflare намерен предоставить широкий доступ к этой возможности в течение оставшейся части 2026 года. В объявлении от 15 октября конкретная дата не была названа. В то же время активность краулера OpenAI на вашем сайте отображается в ваших логах сервера и в AI Crawl Control.