Google внедряет новый анализ видео в Ask YouTube с помощью Gemini

Google анонсировала новую функцию анализа видео для сервиса Ask YouTube, которая позволит системе Gemini сосредоточиться на конкретных сегментах видео для более детального изучения, вместо того чтобы обрабатывать весь видеоматериал с фиксированной частотой. Эта функция, получившая название agentic video understanding, будет интегрирована в Ask YouTube на странице просмотра видео "в ближайшие месяцы", как сообщает компания. В настоящее время она доступна разработчикам через API Gemini в Google AI Studio и Gemini Enterprise Agent Platform, поддерживая как загруженные видео, так и видео с YouTube.

Нововведения в Ask YouTube

Согласно сообщению Google, версия Ask YouTube на странице просмотра видео получит новое обработку, "используя Gemini для предоставления более качественных ответов, основанных на визуальных данных". Однако в посте не указаны конкретные даты, когда именно это произойдет, а также не сообщается, какие регионы или языки первыми получат доступ к нововведению. Функция запроса на странице просмотра представлена в виде кнопки под видео, позволяя зрителям получать ответы в процессе просмотра. Эта функция отличается от версии Ask YouTube, доступной через строку поиска, которая предлагает краткое содержание с цитированными видео. В апреле я уже обсуждал эту версию, а Брук Осмундсон упоминала о ее анонсе на I/O в мае. На странице помощи YouTube указано, что это эксперимент для ограниченной группы пользователей из США, ищущих информацию на английском языке, и что он расширяется на большее количество пользователей. В июле Сундар Пичаи сообщил во время отчета Alphabet за второй квартал, что более 140 миллионов пользователей взаимодействовали с функцией на странице просмотра в июне. Он также отметил, что Google планирует "принести этот опыт Ask в более широкий поиск на YouTube".

Как работает новая обработка

Стандартный режим видео Gemini, называемый статической обработкой, захватывает один кадр в секунду и передает каждый кадр модели, как указано в документации API Google. Разработчики могут изменять частоту кадров, но модель по-прежнему обрабатывает полное видео. Agentic video understanding использует динамический цикл, в котором модель избирательно загружает части видео, регулирует частоту кадров и решает, включать ли кадры, аудио или транскрипты для конкретных сегментов. По данным Google, этот метод предлагает несколько преимуществ, таких как:

Поиск мгновенных моментов

Поиск многочасовых видео

Обнаружение визуальных сбоев

Подсчет повторяющихся действий или объектов

Google сообщает, что в ходе тестирования на стандартных видео-бенчмарках agentic video understanding снижает использование токенов на 88%, уменьшает затраты на анализ на 66% и повышает точность на 7% по сравнению со статической обработкой. Наибольшие выгоды наблюдаются при работе с длинными видео, хотя в документации API отмечается, что новый режим может немного замедлить начало ответа на клипах короче пяти минут.

Почему это важно

Обновление Google изменит способ, которым функция на странице просмотра может анализировать видео, которое вы в данный момент смотрите. В посте не уточняется, будет ли версия Ask YouTube для поиска проходить аналогичную обработку. В апреле я заметил, что YouTube не объяснил, что делает видео основной цитатой в ответе поиска Ask YouTube, а также почему оно может быть исключено. По состоянию на 2 сентября страница помощи YouTube для версии поиска утверждает, что их система ранжирования "приоритизирует релевантность, вовлеченность и качество", что, по их словам, похоже на обычный поиск YouTube. Однако на этом информация о выборе заканчивается, и пост от 1 сентября не предоставляет дополнительных деталей. Он также не касается ранжирования, рекомендаций, цитирований или инструментов для создателей контента, а также не дает никаких указаний по адаптации видео для AI-систем.

Перспективы

Согласно графику Google, новый видео-режим появится в приложении Gemini "скоро", а в функции на странице просмотра "в ближайшие месяцы", хотя точные даты не указаны. Следите за страницей помощи на странице просмотра для обновлений, как только начнется развертывание. По состоянию на 2 сентября, эта страница утверждает, что ответы получены из YouTube и сети, но не описывает, как именно видео анализируется.