阿里巴巴发布 Page Agent:开源 JavaScript 库实现网页 DOM 自然语言操控

发布时间: 2026-07-03 文章分类: AI前沿技术
阅读量: 0
AI智能体
企业级AI智能体开发与部署
LumeValley提供全栈式企业级AI智能体开发与部署服务,涵盖战略规划、场景化开发、企业级应用构建、行业解决方案及算力支撑。从需求分析到持续优化,确保智能体高效稳定运行,助力企业实现智能化转型,提升运营效率与竞争力。

又一个AI Agent项目。但这次,它把战场从云端和后端,直接搬进了你的浏览器标签页里。阿里巴巴开源的Page Agent,不满足于在外部“驾驶”浏览器,它选择潜入页面内部,成为一名能听懂人话、看得懂代码的“驻场特工”。这或许意味着,我们构建智能助手的逻辑,正在发生一次根本性的位移。

当自动化工具走进页面内部

我们熟悉的浏览器自动化,无论是Playwright还是Puppeteer,都像一位外派的工程师。它们站在网页的“窗外”,通过截图或复杂的外部解析来理解页面,然后指挥浏览器做出点击、填写等动作。这个过程有延迟,有误差,且与用户当前的浏览器环境(比如登录状态、个人设置)常常是割裂的。

内嵌,而非外派

Page Agent选择了一条截然不同的路。它是一段轻量级的JavaScript代码,直接嵌入目标网页。这意味着,它和页面上的其他脚本共享同一个“大脑”——文档对象模型(DOM)。它不需要通过截图来“看”页面,而是能实时、精准地“读取”和“理解”构成网页的所有元素结构。这种内嵌身份,让它天然继承了用户的Cookies和会话状态,操作起来如同用户本人亲自指点,无需额外的后端验证或复杂的环境模拟。

从“看图像”到“读文本”

这是技术路径上的关键分野。多模态大模型能看懂截图,但将整个网页的视觉信息压缩成模型能处理的输入,本身就是一种信息损耗和计算负担。Page Agent跳过了这个环节。它采用了一种名为FlatDomTree的策略,将庞大、复杂的实时DOM树“脱水”,压缩成一份结构化的文本映射。这份精简的“网页地图”,可以直接喂给纯文本大语言模型。模型理解的不再是像素,而是诸如“id为submit_btn的按钮”、“name字段为email的输入框”这样的明确指令。这直接将控制的精度和响应的速度,提升到了一个新的层次。

Page Agent如何工作?

理解其工作原理,是评估它潜力与局限的关键。它的核心是一套精巧的“翻译”和“执行”机制。

FlatDomTree:给大模型的网页说明书

当Page Agent被激活,它会扫描当前页面的DOM,并将其转换为一个扁平化的文本树。这个过程中,它会提取出所有交互性元素(按钮、输入框、链接等)的关键属性,如标签名、ID、名称、当前值、可否点击等,并忽略大量仅用于视觉呈现的样式信息。这份高度浓缩的说明书,使得Token消耗大幅降低,也让模型能专注于“操作”而非“识别”,避免了视觉模型可能产生的幻觉。

自然语言指令的“落地”执行

用户发出的自然语言指令,例如“点击登录按钮”或“在搜索框输入‘人工智能’”,会被发送至一个兼容OpenAI接口的模型(官方示例中使用了qwen3.5-plus)。模型根据接收到的FlatDomTree文本,生成对应的、具体的DOM操作命令,如`document.getElementById('login').click()`。Page Agent接收到这些命令后,在页面上下文中安全执行。整个过程闭环发生在浏览器本地,高效且无需离开页面。

它适合做什么?

明确的能力边界,比夸大的宣传更重要。Page Agent是一把锋利的“手术刀”,而非万能的“瑞士军刀”。

理想场景:单页应用内的AI副驾

它的最佳舞台,是那些需要深度交互的复杂单页应用。例如,在一个在线设计工具中,用户可以说“把这张图片的透明度调到50%”;在一个数据分析平台里,可以说“筛选出上个月销售额大于10万的条目,并按降序排列”。作为应用内置的AI Copilot,它能极大提升复杂界面的操作效率。同样,在构建智能表单填充(自动从历史记录中提取信息填入当前表单)或实现更精细的无障碍网页控制(为视障用户提供语音操作复杂组件的通道)方面,它潜力巨大。

明确的局限与风险考量

首先,它的能力严格限制在单个页面(或由单页应用框架管理的视图)之内,无法完成需要跨多个不同页面跳转、登录的复杂流程。其次,也是最重要的一点:它本身不具备业务逻辑和安全校验能力。让AI直接操作DOM,尤其是提交表单、删除数据等敏感动作,风险极高。因此,任何由Page Agent触发的关键操作,都必须与后端的服务端验证相结合,不能将用户安全和数据完整性完全托付给一段前端脚本和AI的判断。

一个更深层的信号

抛开具体工具,Page Agent的出现传递了一个更值得关注的行业信号:AI的能力正在“下沉”,更贴近数据和用户交互的源头。

成本与精准度的重新权衡

对于SaaS产品的开发者而言,在自己的应用内集成一个功能丰富的AI助手,以往的方案往往意味着沉重的多模态模型调用成本、不稳定的识别准确率,以及复杂的外部服务依赖。Page Agent代表了一种更务实、更经济的思路:利用应用自身已有的、结构清晰的DOM数据,通过轻量级文本模型实现控制。这大幅降低了集成门槛和运营成本,让“为每个应用配备一个聪明助手”这件事,变得更可行。

从前端“脚本”到智能“接口”

长久以来,前端JavaScript的角色是“实现交互”和“展示数据”。Page Agent暗示了它的下一个可能角色:成为AI理解与控制数字世界的标准化接口。当页面本身就是一份机器可读的、关于自身功能和状态的说明书时,AI就能以极低的摩擦接入。这或许会催生一种新的开发范式:在构建应用界面时,开发者就有意识地维护一份机器可读的“功能目录”,从而为未来的AI集成铺平道路。

Page Agent开源了,采用的是非常宽松的MIT许可证。它不会是终极方案,但它打开了一扇门。门后是这样一个世界:智能不再是浮在应用上空的云,而是流淌在每一个交互细节里的、真正“懂行”的血液。

AI智能体
企业级AI智能体开发与部署方案
LumeValley打造企业级AI智能体全流程方案,涵盖需求洞察、定制开发、多平台适配部署。凭借专业算法与丰富经验,确保智能体精准理解业务,高效执行任务,无缝融入企业生态,为企业数字化转型提供强劲智能引擎,提升核心竞争力。
点赞 | 45

Lumevalley——全栈AI服务领航者,以“战略-应用-算力”三位一体服务框架,为企业提供从顶层战略规划、场景化AI智能体(AI Agent)开发/搭建/部署,到企业级AI应用开发、AI+行业场景解决方案的全链路服务,并配套AI大模型部署与高性能AI算力底座支撑,助力客户在营销、服务、运营等核心环节实现效率倍增与模式创新。

马上扫码获取产品资料
相关文章

相关文章

填写以下信息, 免费获取方案报价
姓名
手机号码
企业名称
  • 建筑建材
  • 化工
  • 钢铁
  • 机械设备
  • 原材料
  • 工业
  • 环保
  • 生鲜
  • 医疗
  • 快消品
  • 农林牧渔
  • 汽车汽配
  • 橡胶
  • 工程
  • 加工
  • 仪器仪表
  • 纺织
  • 服装
  • 电子元器件
  • 物流
  • 化塑
  • 食品
  • 房地产
  • 交通运输
  • 能源
  • 印刷
  • 教育
  • 跨境电商
  • 旅游
  • 皮革
  • 3C数码
  • 金属制品
  • 批发
  • 研究和发展
  • 其他行业
需求描述
填写以下信息马上为您安排系统演示
姓名
手机号码
你的职位
企业名称

恭喜您的需求提交成功

尊敬的用户,您好!

您的需求我们已经收到,我们会为您安排专属电商商务顾问在24小时内(工作日时间)内与您取得联系,请您在此期间保持电话畅通,并且注意接听来自广州区域的来电。
感谢您的支持!

您好,我是您的专属产品顾问
扫码添加我的微信,免费体验系统
(工作日09:00 - 18:00)
电话咨询 (工作日09:00 - 18:00)
客服热线: 18011747352
售前热线: 189 2432 2993
扫码即可快速拨打热线