AI 真的懂你吗?还是说,它只擅长处理那些被精心打包、切割好的数据片段?美团 LongCat 团队扔出的 VitaBench 2.0,像一盆冷水,泼向了关于智能体个性化能力的乐观想象。这个评测基准不玩虚的,直接把 56 个虚拟人扔进跨度超过四年的日常生活里,看 AI 能不能接住那些琐碎、变化、甚至用户自己都说不清的偏好。结果呢?即便是最强的模型,在“开卷考试”模式下,平均分也才刚刚爬过 0.5 的及格线。这不是在评测什么前沿概念,而是在拷问一个根本问题:AI 与人相处,到底能走多深?
从“猜你喜欢”到“懂你所要”:评测基准的范式转移
56 个虚拟人,1580 天的生活剧场
传统的推荐系统评测,就像在实验室里摆弄试管,变量可控但脱离现实。VitaBench 2.0 彻底掀了桌子。它构建了一个名为“生活剧场”的模拟环境,里面塞进了 56 个拟真用户。这些虚拟人不是静态画像,他们有自己的生活轨迹——平均每个人产生超过 2000 个交互事件,时间线拉长到近四年半。想象一下,一个用户可能在 2020 年痴迷健身餐,2022 年突然转投素食主义,中间还穿插着几次搬家、换工作带来的消费习惯地震。AI 智能体需要追踪的,正是这种长期动态偏好的暗流,而不是抓住某个瞬间的浪花。
819 个任务:复杂性的温床
任务设计是这个基准的灵魂。819 个复杂任务,覆盖了从“推荐下周晚餐食谱”到“规划一次兼顾老人体力和孩子兴趣的周末出游”这类需要综合判断的场景。任务不是孤立的,它们嵌在用户的连续生活史中。智能体不能只记住“用户喜欢意大利菜”,还得理解“上周刚吃过大餐这周可能需要清淡的”这种隐含节奏。更关键的是,任务库包含了超过 2000 个动态偏好,意味着“喜欢”和“讨厌”的标签随时可能改写。这迫使评测从静态匹配,转向了对推理和适应能力的持续压力测试。
拆解 VitaBench:它到底在测什么?
记忆与上下文:两个战场,一套逻辑
VitaBench 2.0 的一个精妙之处在于,它同时支持对两种 AI 能力的评测:长文本上下文学习和智能体记忆策略。前者考验的是模型能否从海量历史对话中提炼有效信息,就像一个人能否从厚厚的日记本里快速找到关键事件。后者则更接近真实世界的智能——AI 是否具备一个持续更新、可主动调用的“记忆系统”。评测中,每位用户平均 2000 多次交互产生的数据洪流,正是检验这两种能力的试金石。一个优秀的智能体,应该像个老朋友,既能记得你五年前的喜好,也能立刻察觉你上周语气里的变化。
66 个可执行工具:从“想到”到“做到”
理解用户只是第一步,真正有用的是行动。VitaBench 2.0 集成了 66 个可执行工具,涵盖生活服务的方方面面。这意味着评测不只停留在“AI 怎么想”,更延伸到“AI 怎么做”。当用户模糊地说“我想放松一下”,智能体需要判断是调暗灯光、播放音乐,还是订购一杯特定口味的奶茶。这种将抽象意图映射到具体工具调用的能力,是智能体从“聊天玩具”迈向“生活助手”的关键一跃。工具库的设计,直接衡量了模型在真实场景中的执行推理水平。
冰冷数据背后的启示:AI 个性化,路还长
Claude-Opus 的 0.5 分:及格,但仅此而已
测试结果毫不留情地揭示了现状。在允许模型调用所有背景信息的“开卷”模式下,当前最强的模型 Claude-Opus-4.6 的平均分刚刚超过 0.5。这个分数意味深长:AI 在接近一半的场景中,其建议或行动未能达到用户预期。更值得玩味的是,开启通常认为能增强推理的“思考模式”后,个性化任务的表现并没有稳定提升。这说明,解决个性化问题,可能不是靠简单的“增加算力”或“延长思考链”,而需要更根本的架构创新或记忆机制突破。
主动提问:AI 智商与情商的分水岭
所有模型在评测中遭遇的“断崖式下跌”,出现在需要主动提问的任务上。当用户信息模糊或不完整时,一个合格的助手应该会追问:“您这次旅行的主要目的是放松还是探险?”“预算大致在什么范围?”然而,测试中的 AI 智能体大多选择沉默或基于片面信息强行作答。这暴露了当前模型在交互式推理和意图澄清上的致命短板。真正的个性化,不在于信息多寡,而在于懂得何时该问、怎么问。这方面,AI 表现得像个急于交卷的学生,而不是一个耐心的倾听者。
开源之后:一场行业的集体压力测试
为 Agent 和推荐系统立下新标尺
美团 LongCat 选择将 VitaBench 2.0 完全开源,这个动作的意义远大于发布一个工具。它为沸腾的 Agent 赛道和深陷内卷的推荐系统领域,树立了一个极其严肃的基准。开发者们不再只能用虚构的、简化的数据集自我感动,他们现在可以把自家的模型扔进这个模拟了四年多真实生活的“压力锅”里,看看到底能煮出几分熟。对于行业而言,一个公开、复杂、贴近现实的评测基准,是推动技术从炫技走向实用的必要基础设施。
给智能体开发者的冷思考
VitaBench 2.0 的开源,是一次诚挚的邀请,也是一盆清醒的冷水。它迫使从业者思考:我们追求的“智能”,究竟是在处理精心设计的 benchmark 问题,还是在解决真实世界中那个会改变主意、记错事情、说话含糊不清的用户带来的挑战?这份基准指出的路径很清晰:长期记忆能力、动态偏好跟踪、以及更重要的——在不确定中寻求交互澄清的机制,将是下一阶段智能体竞争的核心战场。那些只会预测“下一个token”的模型,可能永远也通不过这场关于“理解一个人”的考试。

