AI处理视频，最笨的办法是什么？一帧一帧喂给模型，烧掉海量算力，结果可能还是一团糟。browser-use团队偏不这么干，他们亮出开源Skill「video-use」，核心思路简单到粗暴：别让LLM看视频，让它读文本。把音频转写成12KB的结构化数据，AI agent只在关键决策点扫一眼画面。这招，直接砍掉了99%的噪声。
文本驱动：视频编辑的范式转移
从逐帧分析到结构化转写
传统AI视频剪辑，模型得处理动辄几十GB的原始画面，光是提取关键帧就能把算力榨干。video-use绕开这个死胡同，它借力ElevenLabs Scribe，将视频音频轨精准转写成约12KB的文本。这份文本不是简单字幕，它包含逐词时间戳、说话人分离、事件标记——相当于给视频配了一本高度结构化的“剧本”。LLM要做的，只是阅读和理解这本剧本，计算复杂度断崖式下降。
决策点触发：智能体的精准“抬头”
完全不看画面？那剪辑精度怎么保证？video-use设计了一套精巧的触发机制。AI agent基于文本剧本进行大部分决策，只在需要视觉确认的节点（比如识别特定人物、确认场景切换）调用timeline_view.py，生成对应的PNG帧图供模型参考。这种“按需取图”的模式，把昂贵的视觉计算压缩到了最小范围。整个流程，更像人类剪辑师：先理清叙事逻辑，再针对性查看素材。
技术流水线：从音频到成片的全自动化
Scribe转写与数据打包
流水线的第一棒，是音频转写。ElevenLabs Scribe不只是语音识别，它输出带时间码的结构化文本，说话人A何时开口、何时被B打断、环境音何时出现，都标记得明明白白。转写结果随即被打包成标准化格式，为下一步准备弹药。这一步的质量，直接决定了后续所有环节的天花板——垃圾文本喂进去，出来必然是垃圾成片。
JSON EDL与ffmpeg渲染引擎
有了结构化剧本，下一步是生成EDL（编辑决策列表）。video-use不依赖复杂剪辑软件，它直接输出JSON格式的EDL，用清晰的指令描述每个剪辑点：从哪里切、拼什么、加什么效果。这份EDL随后被交给工业级的ffmpeg执行。ffmpeg命令行在这里不是黑箱，而是高度可定制的渲染引擎，每一帧的处理都由EDL精确控制。
自评估：最多三轮的自我修正
自动化不等于放任不管。video-use内置了自评估循环，最多跑三轮。第一轮渲染出粗剪，系统自动检查音画同步、片段衔接、音频电平等基础指标。发现问题？反馈给LLM调整EDL，再渲染、再评估。这种迭代机制，把许多低级错误扼杀在交付前。虽然不能替代人类审美，但对技术正确性而言，是一道结实的保险杠。
渲染的魔鬼细节：ffmpeg里的优化艺术
分段提取与无损拼接
视频素材动辄几分钟，直接整体处理效率低下。video-use的做法是分段提取所需片段，用ffmpeg的-c copy模式无损拼接。这避免了重编码带来的画质损失和耗时，速度极快。但这也对分段精度要求极高，稍有不慎就会导致帧错位或黑帧。技术团队显然在这里下了苦功，确保切点精准落在关键帧上。
音频平滑与HDR的自动映射
剪辑最容易出戏的地方是音频切换。video-use给所有拼接点加了30ms的淡入淡出，人耳几乎察觉不到割裂。更麻烦的是HDR视频——不同片段可能有不同色彩空间。系统内置HDR自动映射，确保拼接后色调统一。针对竖屏内容，还有专门的缩放逻辑，避免在横屏素材上粗暴裁剪。这些细节，才是工程落地的真功夫。
响度标准化与字幕叠加
视频最终要符合广播级响度标准。video-use采用两-pass loudnorm技术，先分析全片音频动态，再统一调整到目标响度，避免观众频繁调音量。字幕处理也别具匠心：它放在渲染流水线的最后一步叠加，确保不被其他滤镜干扰，并且支持动态定位，适应不同画面布局。
不止于剪辑：动画引擎与硬规则
集成HyperFrames、Remotion、Manim
video-use的野心不止是剪视频。它开放了动画引擎接口，支持HyperFrames、Remotion、Manim等流行工具。这意味着，AI agent可以根据文本剧本，直接生成数据可视化动画、教学演示、动态图表。例如，用Manim生成数学公式推导动画，用Remotion制作交互式内容。视频编辑的边界，被悄悄拓宽了。
12条硬规则：生产正确性的守卫
开源项目最怕什么？不可靠。video-use附带了12条硬规则，从数据输入校验到渲染输出检查，每条都是血泪经验。比如，规则可能要求所有时间戳必须单调递增，音频采样率必须统一，EDL中不能存在未定义的片段引用。这些规则像一道道安全阀，确保哪怕LLM偶尔犯傻，最终输出也不会离谱。对于想抄作业的开发者，这些规则本身就是极佳的工程范本。
browser-use团队这次玩的，是一场降维打击。当所有人都在比拼谁的模型更能“看”视频时，他们转身让模型去“读”文本。12KB vs 4500万token，这不是优化，这是颠覆。一套扎实的ffmpeg脚本，12条不容商量的规则，把AI视频编辑从炼丹拉回了工程。对于想在智能体时代做点实事的开发者，这个仓库值得逐行品味——它证明了一件事：最聪明的方案，往往不是最复杂的那个。
