Новая эра AI-менеджеров: как мы переосмыслили подход к автоматизации маркетплейсов

В недавнем времени мы представили AI-менеджера для маркетплейсов, который использует правила для обработки запросов пользователей. Однако первые результаты общения с владельцами показали, что подход требует серьезной доработки. Мы столкнулись с тем, что пользователи формулируют свои запросы не по заранее заданным шаблонам, а в свободной форме. Вместо ожидаемых фраз, таких как «покажи остатки на ВБ», мы получили более сложные вопросы, например, «почему просели продажи?» или «что делать с худи?». Это выявило недостатки в первоначальной версии менеджера, который не мог адекватно реагировать на такие запросы, предоставляя лишь общие ответы.

Проблемы с пониманием запросов

Анализ первых разговоров показал, что пользователи нуждаются не только в числах, но и в понимании причин происходящего. Например, они хотят знать, почему продажи упали, а не просто видеть таблицы с данными о заказах и остатках. Менеджер 1.0 не мог предоставить необходимый анализ, оставляя владельцев с вопросами без ответов. Это стало очевидным, когда мы заметили, что 32 из 120 фраз не распознавались системой.

Баги и ограничения первой версии

В процессе работы над первой версией менеджера были выявлены и некоторые баги. Например, если владелец упоминал площадку, которая не была подключена, менеджер отвечал по первой подключенной. Также возникали проблемы с обновлением цен перед записью. Эти ошибки стали следствием того, что код мог обрабатывать только заранее предусмотренные сценарии.

Новый подход: модель с выбором действий

В ответ на выявленные проблемы мы полностью переработали архитектуру менеджера. Теперь модель сама анализирует разговор и выбирает, какие инструменты использовать для получения ответа. Это позволяет ей более гибко реагировать на запросы пользователей. Например, при вопросе о падении продаж агент может самостоятельно проверить данные по товарам, остаткам и рекламе, прежде чем предоставить ответ.

Ограничения для безопасности

Однако, предоставление модели доступа к критически важным данным, таким как цены и рекламные бюджеты, требует осторожности. Поэтому мы внедрили строгие ограничения: не более восьми шагов с инструментами, 150 секунд на ответ и не более шести вызовов за шаг. Если время истекает, агент отвечает тем, что успел узнать.

Инструменты и их использование

Каждый инструмент, доступный агенту, снабжен инструкцией по использованию, что помогает избежать ошибок. Данные, передаваемые модели, также ограничены по объему, чтобы не перегружать систему. Запись изменений теперь осуществляется только с согласия владельца, который должен подтвердить каждое действие.

Обогащение знаний агента

Мы также добавили библиотеку знаний, которая включает методики создания карточек товаров, SEO-статьи и руководство по аналитике. Это позволяет агенту не только выполнять задачи, но и предоставлять более качественные рекомендации, основываясь на лучших практиках.

Тестирование новой версии

Тестирование новой версии менеджера проводится как на демо-магазине, так и с реальными владельцами. Мы определили восемь типовых задач, по которым модель получает оценку от 1 до 5. В процессе тестирования мы оцениваем, насколько глубоко агент анализирует данные, как часто он сталкивается с ограничениями и где они помогают или мешают. Таким образом, новая версия AI-менеджера стала более свободной в своих действиях, но при этом обложенной строгими правилами. Это позволяет обеспечить баланс между гибкостью и контролем, что, в конечном счете, должно привести к более качественным результатам в работе с маркетплейсами.