扩散语言模型这两年一直被当作自回归架构的"挑战者"挂在嘴边,可放眼望去,能拿来跑实验的公开大模型屈指可数。Sumi 的出现算是补上了这块缺口——一个完全开源的 7B 参数均匀扩散语言模型,名字取自日语"墨",从零开始用 1.5T token 预训练,没有依赖任何现有自回归模型的初始化。它在知识类、推理类和编程类评测中和同等 token 预算下的自回归对手打得有来有回,这一点足以让研究者们坐直身子;但在常识推理 benchmark 上它确实落了下风,社区猜测原因大概率出在训练数据的配比上——教育密集型语料占比偏高,可能压低了模型在日常常识维度的泛化能力。
比起性能数字本身,Sumi 更大的价值在于它把"扩散语言模型"这个赛道从论文概念推到了可复现工程实践的位置。模型权重、训练检查点、完整训练配方,包括那份公开到能让人照着抄的语料数据混合说明,全部释出。一直以来想做扩散架构的人最头疼的就是没有基线可参照——现在他们有了一个能跑、能量化、能横向比较的起点。这对于推动整个方向的研究节奏意义远比单点成绩重要。
当然,7B 的规模放在今天只能算中等身材,1.5T token 的训练预算也称不上夸张,Sumi 显然不是来抢榜单排名的。它更像是社区的一次集体表态:扩散语言模型这条路线不仅在理论上站得住,在工程上同样可以做到完整、透明、可复现。接下来要不要把规模推到 70B、是否能在推理和常识两端同时补齐短板,这些问题现在终于有了可以接力的支点。

