Gemini научился искать важные моменты в длинных видео с меньшими затратами
1 сентября Google добавила agentic video understanding в Gemini API для моделей Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite. Вместо просмотра ролика с фиксированной частотой кадров модель может сама выбирать интересующие интервалы и сигналы - изображение, аудио или транскрипт. Google сообщает о снижении расхода токенов до 88%, расходов до 66% и росте точности до 7% в своих тестах. Это может сделать практичнее поиск эпизодов в лекциях, записях и длинных инструкциях.
Что изменилось
Модель динамически выбирает, что смотреть
В обычной схеме видео может подаваться как последовательность кадров с фиксированной частотой, например один кадр в секунду. Это дешево на коротком ролике, но способно пропустить быстрый переход, а высокая частота заметно увеличивает входной объем. Agentic mode дает Gemini доступ к инструментам для поиска и повторного просмотра нужного фрагмента, кадров, аудио и транскрипта. Алгоритм тратит обработку на моменты, относящиеся к вопросу.
Появляется поиск эпизода с точностью до секунды
Google перечисляет поиск коротких событий, обнаружение аномалий, счет объектов и действий и поиск редкой детали в многочасовом видео. Например, пользователь может спросить, когда на записи погрузчика загорелся индикатор, или найти момент, где преподаватель назвал формулу. В таких задачах фиксированный обзор кадра может пропустить критичную секунду. Но временную метку нужно проверить непосредственно на видео до того, как использовать в монтаже или отчете.
Экономия зависит от длины и структуры записи
Google приводит максимальные улучшения до 88% по токенам и до 66% по стоимости и до 7% по точности в стандартных бенчмарках. Эффект особенно заметен на длинном видео, где статическая подача кадров требует большого контекста. Это верхние значения опубликованных тестов, не гарантированная экономия для каждого ролика. Для коротких клипов или запроса, связанного со всем содержанием, активный поиск может дать меньше выигрыша.
Функция включается как режим обработки в API
На момент запуска agentic video доступен для загрузок видео и YouTube-ссылок через Gemini API в AI Studio и Gemini Enterprise Agent Platform. В запросе разработчик указывает соответствующий режим обработки. Google сообщает, что отдельной платы за режим нет: применяется обычная тарификация Gemini API. Это не значит, что обработка бесплатна - стоимость зависит от реально потребленных токенов и выбранной модели.
Проверьте важный ответ по исходному фрагменту
Для поиска клипа попросите модель вернуть временные метки и короткое обоснование, а затем откройте найденный диапазон. При подсчете людей задайте, считать ли повторное появление одного человека за отдельное событие. При анализе урока сопоставьте ответ с транскриптом и реальным звуком. Тестируйте ролики с затемнением, ускорением, титрами, плохим звуком и быстрым монтажом, где визуальное впечатление особенно обманчиво.
Как применить новость без лишних выводов
Сначала сохраните официальную формулировку, дату проверки и точную область изменения: продукт, тариф, регион, тип аккаунта или этап теста. Отдельно запишите, что источник не утверждает. Для рабочего решения назначьте владельца, подготовьте безопасный контрольный пример и измеримый критерий. Не объявляйте самостоятельное тестирование, если редакция анализирует только открытые сведения. При изменении документации обновляйте конкретный факт и зависимые выводы, а прежнюю версию оставляйте в истории. Такой порядок отделяет подтвержденную новость от прогноза и помогает читателю понять, какое действие возможно уже сейчас.
Agentный поиск нужен не каждому видео
Динамический просмотр полезен, когда вопрос касается редкого события, короткого эпизода или длинного источника. Перед вызовом определите, что именно искать и в каком диапазоне. Если нужен общий пересказ всего ролика, обычная обработка может быть проще. Зафиксируйте модель, режим, длительность, стоимость и ожидаемую погрешность временной метки, чтобы сравнение не зависело от случайного примера.
Где поиск моментов экономит время
Архив лекций, записи тренировок и инструкции дают много часов материала. Поиск конкретного действия может быть быстрее полного просмотра. Для критичного контроля производственной линии, медицинской записи или безопасности нужно подтверждение эксперта: модель может ошибиться с событием, границей времени или контекстом.
Сопоставьте agentic и обычную обработку
Подготовить ролики с размеченными событиями, обычной речью, быстрым движением и тишиной.
Сравнить найденные фрагменты с эталоном и посчитать пропуски, ложные совпадения и затраты.
Проверить метки на исходном видео и оценить пользу на реальной задаче команды.
Контроль исходных видео
Проверьте разрешение на загрузку, наличие лиц, голосов, экранных данных и коммерчески закрытого материала. Маскируйте лишнее и установите срок удаления файлов и результатов. Храните путь к оригиналу, не только описание модели. Если видео меняется или пересжимается, старые временные метки могут указывать на неправильный момент. Используйте локальный контроль перед экспортом монтажного листа.
Что это дает пользователю
Для длинной лекции сформулируйте конкретный запрос и попросите вернуть метки моментов с темами, затем быстро перепроверьте цитаты и последовательность.
Для архива службы поддержки можно искать конкретный сбой, но проверьте, разрешены ли загрузка и обработка записи с персональными или платежными данными.
Для контроля качества видео оцените полноту пропущенных событий, точность временных меток и расход на разные длительности, а не только стоимость одного примера.
Для монтажного процесса попросите узкий диапазон, не разрешая автоматически удалять или перемещать материал. Сначала покажите список найденных фрагментов оператору.
Что нужно учитывать
Показатели экономии и качества - результаты бенчмарков Google, которые не гарантируют такой же эффект в вашем наборе видео.
Для редкого события модель может неверно выбрать фрагмент или интерпретировать контекст, поэтому временные метки надо подтверждать.
Доступность привязана к Gemini API и поддерживаемым моделям, а не обязательно к любому интерфейсу Gemini для пользователей.
Коротко
Agentic video understanding предлагает практичное решение одной из слабостей обработки длинных роликов: необходимости либо редко смотреть кадры, либо платить за огромную последовательность. Умный выбор фрагментов и модальностей может ускорить поиск, субтитрование и проверку записей, особенно там, где нужен конкретный момент. Но найденный эпизод не равен проверенному факту. Начните с исторических видео и размеченных событий, измерьте пропуски и перепроверьте точные метки перед монтажом или отчетом.