Обновление llms.txt: Что нового в версии 2.0 и как это повлияет на веб-разработку

10 августа Джереми Ховард, разработчик Answer.AI, представил обновление спецификации llms.txt до версии 2.0. Это первое обновление с момента запуска формата, и оно вводит стандартизированные способы для агентов находить Markdown-версии страниц. В предложении на 2024 год уже содержался файл llms.txt и Markdown-версии отдельных страниц, которые публикуются по тому же URL с добавлением .md к имени файла. В версии 2.0 это сохраняется, но вводится второй шаблон URL для Markdown-страниц и формальные способы для агентов их обнаруживать.

Что изменилось в версии 2.0

В новой версии поддерживаются два шаблона URL для Markdown-страниц. Сайты могут либо добавлять .md к полному имени файла, что было единственным поддерживаемым шаблоном ранее, превращая /docs/tutorial.html в /docs/tutorial.html.md, либо полностью заменять расширение, превращая ту же страницу в /docs/tutorial.md. Для упрощения обнаружения Markdown-страниц обновление версии 2.0 вводит два отношения ссылок. Атрибут rel="alternate" с типом "text/markdown" предоставляет прямую ссылку с страницы на ее Markdown-версию. Кроме того, атрибут rel="describedby" указывает на файл llms.txt, который охватывает эту страницу, поскольку один файл llms.txt может описывать все страницы под его путем. Сайты могут включать отношения ссылок как стандартные HTML-элементы ссылок в заголовке страницы или через HTTP-заголовок Link. Опция заголовка является универсальной, поскольку ее можно использовать на файлах, которые даже не являются HTML, таких как Markdown-страницы. Более того, ее можно добавить через сервер или CDN, поэтому нет необходимости изменять шаблоны или код сайта.

Как версия 2.0 связывает страницы, Markdown и llms.txt

HTML-страница использует два отношения ссылок для указания на свою Markdown-версию и файл llms.txt, который ее охватывает:

HTML-страница: /docs/tutorial.html

Эта страница указывает на rel="alternate" type="text/markdown" ↓

Markdown-версия: /docs/tutorial.html.md или /docs/tutorial.md

rel="describedby" указывает на файл, охватывающий эту страницу ↓

llms.txt: /llms.txt

Методы доставки: HTML-элементы или HTTP-заголовок Link.

Почему Ховард внес изменения

Ховард отметил, что обновление основано на двухлетнем практическом опыте. В настоящее время тысячи сайтов публикуют файл llms.txt, и платформы, такие как Mintlify, помогают создавать его для каждого сайта, который они хостят. Команда Google Chrome даже добавила проверку этого файла в категорию Agentic Browsing инструмента Lighthouse, о чем мы говорили, когда он был представлен в мае. Кроме того, Anthropic, OpenAI и команда Gemini от Google теперь публикуют свои собственные файлы llms.txt для своей документации для разработчиков. С ростом популярности возникла реальная проблема: файл llms.txt указывал агентам на страницы, но ничего в спецификации не говорило им, где на самом деле находятся Markdown-версии.

Как это влияет на рекомендации Google

Обновление не меняет позиции двух продуктовых команд Google. Команда поиска Google уже более года заявляет, что поддержка llms.txt не входит в их планы, а руководство по оптимизации ИИ компании утверждает, что Google Search сам по себе не использует эти файлы. В руководстве также отмечается, что поддержание одного из этих файлов "не повредит и не поможет видимости или рейтингам вашего сайта", поскольку Google Search игнорирует их. Инструмент Lighthouse Chrome имеет проверку Agentic Browsing, которая пытается получить файл llms.txt и отмечает ошибки сервера. Отсутствующий файл, который возвращает 404, рассматривается как N/A, поскольку предоставление файла является необязательным. Инструмент рассматривает это как способ помочь браузерным агентам быстрее читать структуру сайта. Однако он не тестирует новые отношения ссылок или обнаружение Markdown-страниц.

Почему это важно

Обновление до версии 2.0 включает добавление двух отношений ссылок в виде HTML-элементов ссылок или с использованием одного HTTP-заголовка. Однако действительно важно то, что это обновление указывает на то, для кого предназначен формат. Кодирующие агенты и инструменты документации уже читают файлы llms.txt, чтобы ускорить поиск API. Этот случай использования не связан с тем, использует ли Google файл в качестве входного параметра для ранжирования. Версия 2.0 уточняет это поведение, а не создает новый случай для видимости в поиске. Сайты, которые поддерживают файл llms.txt в первую очередь для влияния на AI Overviews или цитаты в AI Mode, по-прежнему не имеют данных или заявления Google, подтверждающего эту цель. Те, кто сохраняет его, потому что кодирующие агенты, инструменты IDE или платформы документации уже используют его, теперь имеют более четкую спецификацию для ссылки и определенный способ направить инструменты к контенту Markdown, когда это возможно.

Взгляд в будущее

Страница изменений Ховарда показывает каждое дополнение к спецификации llms.txt вместе с обоснованием. Версия 2.0 все еще открыта для отзывов на GitHub, поэтому, если вы сейчас используете отношения ссылок, помните, что синтаксис может еще измениться, прежде чем все будет окончательно утверждено как стабильная версия.