Как VK Видео трансформирует поиск по видеоконтенту с помощью гибридной VLM-системы

Современные системы поиска по видеоконтенту сталкиваются с уникальными вызовами, требующими высокой скорости обработки и точности результатов. Сервис VK Видео, обладая внушительной базой из 500 миллионов видеороликов, ежедневно обрабатывает около 10 миллионов запросов. В таких условиях время ответа должно составлять не более 0,5 секунды при нагрузке в 1800 запросов в секунду (RPS). Это ставит перед алгоритмами задачу мгновенного нахождения нужного контента, который соответствует ожиданиям зрителей.

Проблемы традиционного подхода к разметке

Долгое время в индустрии использовался традиционный метод ручной разметки контента асессорами. Этот подход, хоть и был стандартом, сталкивался с серьезными ограничениями на масштабах, которые использует VK Видео. При наличии сотен тысяч видеороликов, ручная разметка становится узким местом в процессе разработки продуктов. Каждый видеоролик требует тщательной оценки, что приводит к задержкам в обновлении алгоритмов и снижению их эффективности.

Переход к VLM-системе

Владислав Чернышев, руководитель группы качества поиска по видео в AI VK, делится опытом перехода от классической ручной разметки к гибридной VLM-системе. Эта система сочетает в себе элементы автоматизации и человеческого контроля, что позволяет значительно ускорить процесс подготовки обучающих датасетов. Основная задача VLM-системы заключается в том, чтобы обеспечить высокую релевантность и качество поиска, используя как машинное обучение, так и экспертную оценку.

Преодоление инфраструктурных барьеров

Переход к новой системе не обошелся без трудностей. Владислав отмечает, что одной из главных проблем стали инфраструктурные барьеры, которые необходимо было преодолеть. Это включало:

Оптимизацию существующих процессов обработки данных.

Разработку новых инструментов для автоматизации разметки.

Обучение команды работе с новыми технологиями.

Каждый из этих пунктов требовал значительных усилий и времени, но в конечном итоге позволил значительно ускорить процессы подготовки данных.

Результаты и перспективы

С переходом на VLM-систему VK Видео смог улучшить качество поиска и увеличить скорость обработки запросов. Теперь алгоритмы могут быстрее обучаться на актуальных данных, что позволяет им адаптироваться к изменениям в пользовательских предпочтениях и трендах. Это, в свою очередь, ведет к повышению удовлетворенности пользователей и улучшению общего опыта взаимодействия с видеоконтентом. В заключение, переход к гибридной VLM-системе стал важным шагом для VK Видео, позволяя не только оптимизировать процессы, но и обеспечить более качественный поиск по огромной базе видеоконтента. Такой опыт может стать полезным для других сервисов, стремящихся улучшить свои алгоритмы поиска и адаптироваться к требованиям современного рынка.