Google 宣布其 Gemini 系列现在支持“智能体式”（agentic）视频分析模式，在标准基准测试中可减少高达 88% 的 Token 使用量。这一转变可能会使长视频 AI 对开发者而言变得极其廉价。
新模式取代了旧的逐帧处理方法（通常是每秒固定采样一帧），转而采用一种模型驱动的循环机制，由模型决定检查视频的哪些部分、以何种速度以及通过哪种模态（帧、音频或转录文本）进行检查。通过仅提取特定查询所需的信号，该系统在减少发送给语言模型的数据量的同时，仍能捕捉到粗略采样会错过的亚秒级事件。
从固定采样到自主视觉
Gemini 早期的视频功能要求开发者预先选择采样率。采样率越高，Token 越多，账单也越高；采样率越低，则面临错过快速剪辑的风险。目前适用于 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 的新型智能体变体，直接在 API 中嵌入了“思考-行动-观察”（think-act-observe）循环。首先，模型对任务进行推理；接着，它选择一个片段进行检查；最后，它观察选定的帧、音频片段或转录文本摘录。如果某个片段看起来很有价值，模型会即时以更细的粒度对其进行重新采样。
这种动态采样允许模型在数小时的素材中（例如完整的讲座或长达数小时的录音）进行“漫游”，而不会消耗数百万个 Token。模拟真实世界视频问答（1H-VideoQA）和更广泛视频理解任务（LVBench）的基准测试显示，相同的查询仅需约十分之一的 Token 预算即可完成，同时还能提供更高的准确度。
为什么节省 Token 至关重要
Token 数量直接转化为 API 账单。对于开发自动化视频编辑工具的开发者来说，以每秒一帧的速度处理一段 90 分钟的视频可能会产生数千万个 Token，导致每小时内容的成本推高至数百美元。而 88% 的降幅将这一数字降至几十美元，为此前面临高昂费用的初创公司和小型团队开启了大规模视频分析的大门。
成本优势还降低了实验门槛。此前，工程师需要编写自定义代码来检测关键时刻、提取相关片段并将其反馈给模型。通过将智能体视觉功能内置于 Gemini API，开发者只需在 Google AI Studio 或 Gemini Enterprise Agent Platform 中将处理配置切换为“agentic”即可启用该功能。Google 维持标准的 Gemini Token 费率；这种更智能的采样方式不会产生额外费用。
精准无须猜测
由于模型决定了观察的位置，它可以捕捉到短于一秒的事件——这是静态 1 FPS 采样不可避免会错过的。这种精准度对于统计健身视频中的重复动作、在拥挤场景中追踪物体或标记安防录像中的突发异常至关重要。当模型标记出一个有价值的时间窗口时，它会自动提高该片段的帧率，仅在关键时刻提供高保真数据。
同样的机制也驱动着面向消费者的功能，例如“Ask YouTube”——用户可以在视频播放时提出视觉问题，并获得基于实际视觉内容的回答。通过限制发送给模型的视频量，该功能响应更快，成本更低，在不牺牲深度的情况下提升了用户体验。
潜在的局限性与权衡
智能体方法并非万能灵药。虽然 Token 使用量大幅下降，但模型仍需运行其内部循环，与直接处理预采样帧相比，这可能会增加延迟。专注于实时应用的开发者可能需要在较低的 Token 成本与额外的处理时间之间进行权衡。
可预测性是另一个问题。由于模型决定采样哪些片段，给定视频的确切 Token 数量可能会因运行次数而异。需要严格预算控制的团队可能需要在集成初期围绕 Token 消耗建立监控机制。
最后，该功能目前仅限于 Gemini 的 Flash 系列变体。依赖旧版或非 Flash 模型的项目在迁移之前无法从中受益，而迁移可能涉及额外的开发工作。
下一步值得关注的方向
- 采用模式：使用智能体模式的开发者的早期报告将揭示，在教育、娱乐、监控和其他领域，这种成本节约是否能够持续。
- 价格调整：如果大规模视频分析的需求激增，Google 可能会微调 Token 价格或增加分层方案。
- 功能扩展：将同样的推理循环嵌入到更多消费级产品中，可能会催生新的用例，并提升人们对高效 Token 使用的视频 AI 的认知。
- 基准测试演进：随着更多团队在真实世界的数据集上进行测试，社区将完善 1H-VideoQA 和 LVBench 的评分，并可能发现静态采样表现仍优于智能体模式的边缘情况。
核心结论
Google 的智能体视频分析让开发者在获得更精细的时间维度洞察的同时，能够减少高达 88% 的 Token 消耗。虽然权衡之处在于处理复杂度的适度增加和 Token 数量的波动，但对于许多长视频应用而言，成本的节约和集成的便利性超过了这些顾虑。构建以视频为中心的 AI 团队应尽快评估这一新模式；规模化视频理解的经济效益可能刚刚发生了转变。