用井字棋来验证大模型的后训练闭环，听起来像是拿高射炮打蚊子。但蚂蚁百灵与 ASystem 团队在 DGX Spark 上做的事情，恰恰是用一个最小化任务证明：单机 Agentic RL 后训练这条路，已经可以脱离云端集群跑起来。Ling-3.0-tiny 模型的响应长度从最初一路下滑到 850 tokens，奖励均值从 -0.5 爬升到 0.4，这组数字背后藏着一个更实用的信号——本地小模型稳定工具调用，不再只是论文里的假设。
先别笑，井字棋是块合格的试金石
为什么不是更复杂的任务？
很多人看到井字棋会直接跳过，觉得这不过是入门级强化学习的玩具任务。但这次实验的核心不是游戏复杂度，而是训练闭环的可验证性。复杂任务里，错误模式往往相互纠缠，你很难判断模型到底是工具调用出了问题，还是推理步骤出了偏差。井字棋的规则边界清晰、胜负条件明确，任何一步走错都能被环境精确标记。这种可复现错误正是本地后训练最需要的燃料。没有干净的反馈信号，再多的步数也只是在噪声里打转。
400 步训练曲线说明的事
GSPO 算法训练 400 步后，rollout/rewards_mean 从约 -0.5 升至 0.4。单看终值，0.4 不算惊艳，很多 benchmark 上随便就能刷出更高的分数。但起点是 -0.5，意味着模型最初的行为几乎是随机的、甚至有害的。400 个训练步内，奖励由负转正并稳定在正值区间，说明策略在持续改善，而且没有出现剧烈振荡。更值得注意的是 response_len 同步降到约 850 tokens——模型不再靠堆砌输出来碰运气，而是开始学会更短、更准确地给出动作。这个趋势比最终分数更能说明训练的有效性。
把整个训练栈拆开看
Ling-3.0-tiny 的体量和它的野心
Ling-3.0-tiny 这类小模型，参数量不大，跑在 DGX Spark 这种桌面级设备上完全可行。过去谈 Agentic RL，大家默认需要几张 A100 或 H100 起步，实验成本把很多团队挡在门外。现在一个单机工作站就能把完整闭环跑通，意味着迭代周期从“排队等集群”缩短到“本地跑几小时”。小模型的能力上限当然无法和超大模型相提并论，但在固定任务和受限环境下，它的可控性反而更高。这一次验证的价值，不在于模型有多强，而在于它能在你手边被反复训练和修改。
AReno 不是简单的环境包装
AReno 在整个流程中扮演的是环境与模型之间的桥梁。Agentic RL 的难点之一是环境反馈如何高效地转化为训练信号。如果环境返回的信息过于稀疏或格式混乱，模型很难从 rollout 中学到东西。这次实验里，工具调用和动作选择能够在 400 步后趋于稳定，说明 AReno 提供的反馈通道足够干净。反馈不是“对/错”的一锤子买卖，而是能够引导策略逐步修正的连续信号。对任何想做本地 Agent 训练的团队来说，这层工程实现的参考价值甚至超过模型本身。
DGX Spark 把单机实验从想法变成日常
DGX Spark 的角色不只是提供算力。它有足够的内存和 GPU 资源来承载小模型的完整训练循环，省去了分布式训练中大量通信和调度开销。开发者可以在同一台机器上完成数据准备、训练、rollout 和复测，环境一致性天然得到保证。很多云端实验失败的原因不是算法不行，而是环境漂移——上次跑通的配置这次复现不出来。单机闭环让“复现”变成一种默认状态，这种工程上的踏实感，恰恰是算法研究经常忽略的。
GSPO 算法的 400 步里，模型到底学会了什么？
response_len 降到 850 tokens，不只是变短了
训练前，模型为了完成井字棋可能会输出大量冗余文字，动作藏在长篇大论里，甚至夹杂无关内容。response_len 从较高的水平降到约 850 tokens，意味着模型学会了压缩表达，把注意力集中在真正的决策上。对工具调用场景而言，这种能力比单纯的任务得分更接近生产需求。一个调用工具时还在东拉西扯的模型，就算偶尔选对动作，也难在实际系统里稳定工作。输出长度收敛，说明模型的策略不再依赖随机探索，而是形成了清晰的映射。
从 -0.5 到 0.4，奖励信号里的信任感
奖励均值的正负转换是一个重要节点。负奖励说明模型的最初策略在环境里是吃亏的，可能经常走出非法步或发出无效工具调用。训练后的正奖励意味着策略在多数回合里能获得环境的正向反馈。0.4 不算满分，但这正是可靠性的体现——如果直接拉到 1.0，反而要怀疑是否发生了奖励泄漏或过拟合。一个稳健的提升曲线，比重金砸出来的高分更有工程价值。
工具调用稳定不是玄学，是梯度
很多人觉得大模型的工具调用能力是“涌现”出来的，没法精确训练。这次实验给出了一个反例：在受限环境里，通过 GSPO 算法逐步优化，工具调用和动作选择确实收敛到稳定状态。没有魔法，只有梯度。模型在每一轮 rollout 中都能获得关于动作质量的具体反馈，梯度更新自然会把策略推向更优的方向。关键是反馈要足够频繁、足够干净，抽象地谈“智能”没有意义，训练信号的质量才是决定因素。
这个闭环能迁移到哪里？
真正的瓶颈是工具调用与格式约束
井字棋只是载体，实验真正要解决的是本地小模型在工具调用和输出格式上的不稳定。生产环境中，很多任务不需要模型精通百科知识，而是要求它准确调用某个 API、按固定 schema 返回结果、不出格。这恰恰是小模型后训练可以发力的地方。与其追求通用智能的遥遥无期，不如把闭合环境下的工具调用稳定下来。这次实验的价值，是提供了一条从数据、训练到复测的轻量路径，任何团队都可以在自己的任务上复制这套逻辑。
同环境复测比排行榜更有说服力
模型评测长期被刷榜困扰，换个数据集分数就大幅度波动。这次实验的一个亮点是训练和测试在同一个环境里完成，闭环内的复测结果可以直接反映策略变化。没有分布漂移，没有挑选有利样本，400 步后的奖励和响应长度变化就是模型真实行为的投影。对于工程团队而言，这种可信度比任何第三方榜单都重要——你需要的不是一个看起来很美的数字，而是一个下次训练时还能复现的基线。
单机后训练会变成基础设施
当训练成本降到单机可承受的范围，Agent 后训练就不再是少数大厂的专利。中小团队可以在本地针对自己的工具集、业务场景做专项微调，训练结果可以立刻部署到终端或边缘设备。这次蚂蚁百灵与 ASystem 的尝试，与其说是一次算法突破，不如说是一次工程验证——证明这条路已经通了。接下来属于开发者的工作，是把井字棋换成自己的任务，把环境反馈接进 AReno，然后在 DGX Spark 上跑一遍。可能不需要 400 步，也可能需要更多，但至少你不用先租一个集群。
