DeepSeek запускает новый поисковый API: что нужно знать разработчикам

17 октября 2023 года компания DeepSeek открыла доступ к своему внутреннему поисковому движку для разработчиков, что стало значимым шагом в сфере поиска и обработки информации. В своем журнале изменений DeepSeek сообщает, что движок фильтрует SEO-спам, манипуляции с географией (GEO) и низкокачественный контент, созданный искусственным интеллектом. Каждое возвращаемое API результат содержит уровень авторитета страницы и оценку релевантности, а также поддерживает запросы с использованием оператора site:, что позволяет ограничивать результаты одним доменом.

О движке DeepSeek

Согласно журналу изменений, внутренний движок DeepSeek обрабатывает поиск на своем сайте и в API, индексируя сотни миллиардов веб-страниц и обрабатывая сотни миллионов поисковых запросов ежедневно со всего мира. Понятие GEO (генеративная оптимизация контента) подразумевает создание контента, который будет цитироваться в ответах AI-движков. DeepSeek утверждает, что строгая система обнаружения является источником фильтрации, однако не уточняет, что именно подразумевается под манипуляциями GEO и как работает процесс их обнаружения.

Политика конфиденциальности и сторонние API

Политика конфиденциальности DeepSeek была обновлена 10 февраля 2023 года и указывает, что компания интегрирует сторонние API для предоставления поисковых услуг и делится введенными пользователями ключевыми словами с этими компаниями. В GitHub README одного из продуктов китайской компании Bocha указано, что она является официальным поставщиком веб-поиска для DeepSeek, однако сама DeepSeek не упоминает Bocha на своих страницах запуска. Журнал изменений и политика конфиденциальности не содержат информации о том, отправляются ли какие-либо поисковые запросы сторонним сервисам.

Что возвращает Search API

Каждый результат, возвращаемый Search API, содержит поле авторитета, которое варьируется от 0 до 4, где -1 означает неизвестный уровень. Согласно справочной документации DeepSeek, страницы с уровнями 3 и выше считаются "высокоавторитетными" источниками. Оценка повторной сортировки (rerank score) находится в диапазоне от 0 до 3 и включает сигналы, такие как релевантность, авторитет и свежесть. Оценка 1.5 и выше считается высококачественной. Однако в руководстве и справочной документации не объясняется, как страница получает свой уровень или оценку. Каждый результат также включает фрагмент для отображения, обычно от 100 до 200 символов, и резюме, предназначенное для обработки моделью, обычно от 600 до 800 символов. При запросе также возвращается содержимое страницы, если оно доступно. Запросы можно ограничивать с помощью оператора site: и фильтровать по языку и дате публикации. Стоимость запросов Search и Fetch составляет $0.75 за 1000 успешных запросов. Запросы, которые не возвращают результатов, не тарифицируются, а запрос на 50 результатов стоит столько же, сколько и запрос на один.

О Crawling и Fetch API

Fetch API был выпущен одновременно с Search API и предоставляет одну страницу в формате Markdown, при этом "подлежит доступности и политикам доступа целевого сайта". Согласно сводке ЕС о данных, использованных для обучения DeepSeek-V4, краулер "разработан с учетом инструкций robots.txt и других стандартных веб-протоколов, где это применимо". Однако в сводке не указано, к какому именно краулеру это относится. Более того, ни на одной из страниц запуска (руководство, справочные документы, журнал изменений и анонс) не указано, какой краулер используется для индексации поиска, а также не предоставлена информация о том, какой пользовательский агент использует Fetch. Справочник известных агентов включает в себя пользователя DeepSeekBot, который описывается как краулер для данных AI. Неясно, как правила robots.txt, предназначенные для блокировки DeepSeekBot, повлияют на то, что будет включено в индекс поиска DeepSeek.

Перспективы

Если вы используете Claude Code, Codex или DeepSeek Harness с DeepSeek API, ваши серверные поиски и извлечения страниц уже обрабатываются через Search и Fetch API без затрат. Начисление платы за эти серверные вызовы начнется 31 октября в 16:00 UTC (полдень по восточному времени). Следите за документацией DeepSeek для получения определения манипуляций GEO, деталей о том, как устанавливаются уровни, и названия краулера для индекса.