Google 把“让模型替你点鼠标”这件事,从预览版做成了正式产品。10 月 30 日,Gemini API 的 Computer Use 工具正式可用(GA),同时覆盖 Interactions 和 GenerateContent 两套 API。对一直盯着 agent 落地的开发者来说,这个时间点比功能本身更值得看:屏幕操作不再只是实验室里的玩具,而是被 Google 摆进了生产工具序列。
机制其实不神秘。模型看着屏幕截图,输出点击、输入、滚动这类动作,由开发者在自己的沙箱里执行,再把结果回传。难的部分从来不是“能不能点”,而是“点错了怎么办”。GA 之前,这条链路更像 demo;GA 之后,它要面对真实业务里的表单、弹窗和权限边界。Google 把工具升级为正式能力,等于承认这类代理会长期存在。那么提示注入、误操作、审计留痕这些事,就得由接入方自己承担起来,官方不会替你兜底。
冲击最直接的领域是 RPA。传统自动化脚本一遇到界面改版就崩,视觉代理理论上能自己找路,这让流程自动化的“最后一公里”第一次显得没那么脆弱。但别急着挪采购预算:延迟、token 成本、失败重试的隐性开销,都得在自家流程里跑过才算数。Computer Use 进入 GA,真正的信号是——AI 操作界面这件事,正在从演示阶段走进基础设施层。

