你盯着模型定价页上那行“每百万 token 价格”的数字,以为自己在比价。但真相是,这个数字正在捉弄你。同一份 TypeScript 文件,在 GPT-5.x 的 tokenizer 眼里是 681 个 token,到了 Claude 最新 tokenizer 那里就摇身一变,成了 1,178 个。两者相差 1.73 倍。这不是度量衡的疏忽——这是定价魔术的核心机关。当整个行业都在喊着“降价”,你的账单却在暗处膨胀。
673 个 token 的凭空消失
681 与 1178,不是一个错数
我手头这份测试文件并不特别,就是一段常规的 TypeScript 代码——带类型注解、接口定义、泛型约束,还有点异步逻辑。把它扔进 GPT-5.x 的 tokenizer,吐出来 681。再扔进 Claude 最新的 tokenizer,1178。多出来的 497 个 token,不是标点符号的统计口径不同,也不是换行的争议,而是整个分词逻辑的底层差异。如果你同时跑两个模型做代码任务,且标价相同,那么 Claude 这边实际消耗的成本就是 GPT 的 1.73 倍,没有任何折扣。
跟自己比,膨胀了 30%
更值得玩味的是 Anthropic 内部的演变。Claude 的新 tokenizer 与它的旧版本对比,同样的代码会被多切出大约 30% 的 token。拿 Opus 4.6 和 Opus 4.8 这对“标价弟兄”来说,挂出的牌价一模一样:输入 $5.00/百万 token,输出 $25.00/百万 token。但新 tokenizer 一上阵,同一份代码的 token 计数立即上窜约 32%。你什么都没改,预算就这样温顺地涨了三成。这不是算法升级——这是 隐性涨价,干净、利落,而且藏在你最容易忽略的地方。
标价是门面,token 计数才是里子
谁把 token 变成了可调节的货币
很多人讨论大模型价格时,像讨论汽油——只认每升单价。偏偏 token 不是体积单位,它是分词器的主观判断。厂商调整 tokenizer 的词典、切分策略、对空白符的处理,就能让同一个提示从 1000 个 token 变成 1300 个。这可不是小动作。它允许厂商在保留“我们没有涨价”的公关说辞的同时,让单次调用的实际收入大幅攀升。好比薯片包装袋体积不变、净重从 200 克缩到 150 克,然后告诉你“每袋价格没变”。你买了,也上当了。
为什么代码总是买单的那个
代码,尤其是 TypeScript 这样密集使用符号、括号、点操作符的语言,天然就成了 tokenizer 差异的放大器。自然语言里,空格和标点通常是分词的天然边界,各种模型处理起来大差不差。但代码里的 .、<、{ 怎么切,全看 tokenizer 的倾向:是当作独立 token,还是与相邻的单词合并,还是整段空白算一个?Claude 新 tokenizer 对代码显得“慷慨”,每个细节都要单独计数,于是 token 数像坐了火箭。如果你的业务重度依赖 Coding Agent,每天产生成千上万次代码请求,这个差距会在一个月内啃掉你一大块云预算,而你还在庆幸“每百万 token 价格没变”。
促销倒计时,账单的钟声已经敲响
Sonnet 5 的甜蜜陷阱
Claude Sonnet 5 当前标着 $2.00 / $10.00 的价格,让人一眼心动。但仔细看小字:这是促销价,有效期到 2026 年 8 月 31 日,之后将恢复为 $3.00 / $15.00。把新 tokenizer 造成的 32% 膨胀叠加上去,一旦促销结束,同样一个代码任务的成本将比你今天用 Sonnet 4.6 时期高出大约 32%,甚至更多——因为旧 tokenizer 的计数基数本来就小。现在你还觉得那个“促销价”很甜吗?它更像一个精心布置的过渡期,让你先习惯模型性能,然后在年底结账时吞下真实的价格。
每任务成本,唯一可靠的算账方法
忘掉每百万 token 的标价。真正应该钉在作战室白板上的,是 每任务成本。假设一个标准代码审查任务在 Sonnet 4.6 上消耗 1000 token,混合输入输出后大约花掉 $0.003。在新 tokenizer 下换成 Sonnet 5,同样的任务膨胀到 1320 token,即使按促销价算,费用也会悄悄增加。促销一旦结束,费用直接跳到 $0.004 以上。如果你的月消耗量以亿 token 计,这个小数的位移足以让 CFO 来找你聊天。做 Coding Agent 的团队,必须立即建立自己的基准测试,用 实际任务的输入输出 token 数 和 对应单价 算清楚每任务的真实支出,而不是盯着定价页上那行漂亮的促销数字做决策。
跨厂商对比,谁在偷走你的预算
1.5 倍到 1.73 倍,不是误差是鸿沟
横向拉出来比较,场面更刺眼。Claude 新 tokenizer 在代码场景下,比 GPT 多产生 1.50 倍到 1.73 倍 的 token,其中 TypeScript 的差距撞上了天花板——1.73 倍。这意味着,即便两家厂商的每 token 标价完全一样,你花在 Claude 上的钱也要比 GPT 多出至少一半。而现实中,Claude 的标价通常还更高一些。举个例子:一种模型输出标价 $10/百万 token,另一种标价 $15/百万 token,再加上前者 token 计数只有后者的约六成,这中间的复合差已经大到足以颠覆你的供应商选择。这不是甜区微调,这是 成本结构的根本性偏离。
别信定价页,自己跑个基准测试
我见过太多团队拿着官网的定价计算器做采购决策,结果部署后的账单让所有人沉默。tokenizer 差异对不同内容类型的放大效果完全不同:自然语言对话可能只差几个百分点,但一旦涉及代码、JSON 结构、数学公式,差距就陡然拉大。唯一的出路是:拿出你自己的典型 workload,到两个平台上各跑一百次,统计真实的输入输出 token 数和实际扣费。只有这样,你才能看清自己每月被多切出来的那百分之几十到底去了哪里。
大模型的价格战打到今天,早就不是标价牌上的数字竞赛。Tokenizer 成了新的定价权武器,促销日期是缓冲垫,而你的账单才是最后的判决书。不看透这层计数游戏,你其实一直在蒙眼签支票。

