Decodo запускает Web Data API: новое решение для AI-стартапов

Компания Decodo, известный поставщик инфраструктуры веб-данных, представила Web Data API, который объединяет функции скрапинга, картирования, краулинга и поиска под одной ключевой API. Это решение разработано специально для AI-стартапов, создающих агентов или системы извлечения данных, и предлагает единый интерфейс для получения свежих и структурированных веб-данных.

Проблемы с данными для AI-агентов

Современные языковые модели обучаются на фиксированных наборах информации, что создает сложности для агентов, отслеживающих компании, новостные ленты или списки цен. Им необходимы актуальные данные. Технология извлечения с дополнением (RAG) также зависит от свежести получаемых документов. Для получения актуальных страниц необходимо запускать скрипты, обходить защиту от ботов, а также очищать неполные страницы, удаляя навигацию, рекламу и шаблоны. Создание такой инфраструктуры или сбор отдельных инструментов требует значительных инженерных ресурсов, отвлекая внимание от разработки продукта.

Встречайте Web Data API

Decodo разработала Web Data API, чтобы устранить необходимость в дополнительной работе, объединив четыре конечные точки в одном аккаунте и под одной ключевой API. Теперь нет необходимости в отдельных контрактах на скрапинг, поиск, картирование и краулинг. Каждая конечная точка отвечает за определенный этап процесса сбора веб-данных:

Scrape — извлекает чистый контент с одной страницы, даже если она защищена от ботов.

Search — предоставляет актуальные результаты из интернета, заменяя ранее доступный Fast Search API.

Map — показывает структуру сайта; каждый запрос может вернуть до 147,000 URL.

Crawl — автоматически следует по ссылкам сайта, собирая до 10,000 страниц в рамках одной задачи.

Один поставщик для всех четырех конечных точек

Поскольку все четыре конечные точки работают под одной ключевой API, команда получает одну счет-фактуру, одну панель управления и одно место для отслеживания использования. Каждая из конечных точек поддерживается прокси-сетью Decodo, которая насчитывает более 125 миллионов IP-адресов в 195+ локациях. Это также упрощает процесс закупок: один поставщик для оценки, одна очередь поддержки для вопросов по выставлению счетов и техническим вопросам, одна интеграция для обучения новых сотрудников.

Как команды уже используют четыре конечные точки

Четыре конечные точки уже доступны для практических рабочих процессов, адаптированных под нужды пользователей:

Команды RAG преобразуют сайт документации в чистый Markdown для встраивания через одну задачу краулинга.

Разработчики, создающие инструменты программирования, используют поиск для получения актуальных результатов в IDE или агенте.

Юридические и исследовательские команды находят документы, картируя сайт регулятора перед краулингом этих документов.

Команды конкурентной разведки регулярно повторяют задачи картирования и краулинга, чтобы отслеживать каталог конкурента со временем.

Лучшее в этом решении заключается в том, что все эти рабочие процессы выполняются без необходимости в отдельной инфраструктуре для скрапинга.

Начните с Decodo

Decodo предоставляет до 10,000 бесплатных запросов в месяц, с одной квотой, которая делится между всеми четырьмя конечными точками, без необходимости в кредитной карте. Эта квота сбрасывается каждый месяц, что позволяет команде протестировать решение перед принятием решения о переходе на платный тариф. Для AI-стартапов, сравнивающих время и бюджет, необходимые для создания внутренней инфраструктуры для скрапинга, с лицензированием, Web Data API объединяет извлечение страниц, поиск, открытие и краулинг в одной интеграции. Бесплатный тариф позволяет командам оценить, как это решение вписывается в их существующий стек.