大模型推理的速度瓶颈，正在被一种叫做投机解码的技术悄悄撬开。DFlash——这个来自 UC San Diego 团队的新方案，把扩散模型塞进了草稿阶段，一次前向直接吐出整块 token，再让目标模型并行验真。无损输出、推理加速，在 NVIDIA Blackwell 上跑 gpt-oss-120b，吞吐量直接拉到原来的 15 倍。这不是又一个实验室玩具，它离生产部署只差一套 TensorRT-LLM 集成。
DFlash 到底改了什么
从"逐个猜"到"整块出"
传统投机解码的草稿模型——比如 EAGLE-3——本质上是自回归的：先生成一个 token，连同隐藏状态一起丢给目标模型验证，通过就保留，不通过就回退。这种串行猜词的逻辑，决定了草稿阶段永远是推理链上最慢的那一环。DFlash 换了一种思路：它把草稿模型本身换成块扩散结构，一次前向直接生成一整块 token 序列。听起来像 EAGLE-3 的批量化版本，但实现机制完全不同。块扩散天然支持并行采样，DFlash 在草稿阶段就跑满 GPU 的并行单元，目标模型拿到完整草稿块后再做一次性验证，验证本身也是并行的。两段并行的叠加，把整个投机解码流程从"猜一个、等一个"压成了"猜一批、验一批"。
为什么无损？验证机制没变
有人会问：扩散生成不是允许采样多样性吗？DFlash 的设计巧妙在于，它把不确定性留给了草稿阶段，把确定性锁在了验证阶段。目标模型的并行验证用的是标准的 teacher-forcing 校验——逐 token 比对概率分布，接受就保留，拒绝就回退到上一个接受点。无论草稿模型怎么"放飞自我"，最终输出分布完全由目标模型决定。换句话说，DFlash 只换了草稿端的玩法，没碰目标端的产出，结果自然无损。这一点对生产环境至关重要：你能拿到的速度提升，不会以任何输出质量损失为代价。
把目标模型的"脑回路"喂给草稿模型
隐藏特征注入：跨层 KV 投影
DFlash 能跑通的关键，不只是块扩散本身，更在于它怎么让一个轻量草稿模型"看懂"目标模型的意图。它的做法是：把目标模型中间层的隐藏状态直接抽出来，注入到草稿模型每一层的 Key-Value 投影里。这意味着一块 1024 维的草稿向量在计算注意力时，参考的上下文来自目标模型深层语义而非自身的浅层推断。对 EAGLE-3 来说，它通常只取目标模型最后一两层特征做一次性输入，DFlash 则是逐层注入、深度耦合。带来的直接效果是接受长度随草稿深度线性增长——草稿块越长，命中率越高，验证通过的比例越大。这是它能做到 6 倍以上无损加速的结构性原因。
轻量但不掉点
很多人误以为草稿模型越复杂越好。DFlash 给出了相反的答案：它的草稿结构非常轻，核心组件是一组跨层 KV 投影加上几层扩散解码头，参数量远小于 EAGLE-3 的草稿网络。但因为每一层都在接收目标模型的特征信号，这个小模型的实际预测能力被"借"到了一个相当高的水平。轻量意味着显存占用低、计算开销小，在 8B 到 120B 之间的各种目标模型上都能即插即用，不需要为目标架构专门重新训练草稿头。DFlash 在论文里展示了 Qwen3-8B、LLaMA 系列、gpt-oss-120b 等多种模型上的通用性，加速比稳定在 5-6 倍区间。
实测数据：不是纸面加速
6 倍无损加速的覆盖面
DFlash 在 MATH-500 基准上对 Qwen3-8B 实现了 6.08 倍无损加速，这只是它跑出的峰值之一。在更广泛的评测集——包括 GSM8K、HumanEval、MT-Bench——上，DFlash 的平均加速比稳定在 6 倍以上。横向对比 EAGLE-3，DFlash 的峰值加速达到了对方的 2.5 倍，平均加速也高出 50% 以上。值得注意的是，这些数字都是在不修改目标模型权重、不改变推理精度设置的前提下得到的。对于已经部署了投机解码的服务来说，切换到 DFlash 几乎是一次透明的升级。
Blackwell 平台 15 倍吞吐量
真正让工程团队坐不住的是 NVIDIA Blackwell 上的数据。DFlash 配合 TensorRT-LLM 部署 gpt-oss-120b 时，吞吐量提升最高达到 15 倍——这是 EAGLE-3 的 1.5 倍。15 倍意味着什么？原本需要 15 张卡才能扛住的流量，现在 1 张就够；或者反过来，原来 1 张卡的延迟预算，现在能塞进 15 倍的请求。Blackwell 的新一代 Tensor Core 和高带宽显存为块扩散的并行采样提供了天然土壤，DFlash 把这个硬件红利吃满了。对于正在评估 H200、Blackwell 升级的团队来说，DFlash 提供了一个在硬件之外还能再压榨 15 倍空间的选项。
部署视角：距离生产还有多远
集成路径明确
DFlash 不是停留在 arXiv 上的理论结果。团队已经发布了与 TensorRT-LLM 的集成方案，NVIDIA 官方的性能测试数据也是基于这条路径跑的。对使用 vLLM、SGLang 的团队来说，DFlash 的开源实现也提供了参考代码——核心是草稿模型权重加上几行推理循环的改写。训练侧，DFlash 草稿模型的目标数据来自对目标模型自身 logit 的蒸馏，不需要额外的人工标注，训练成本可控。可以预见的是，主流推理框架在下一个版本周期内就会原生支持 DFlash 风格的块扩散草稿。
几个值得留意的边界
DFlash 并非万能药。它的优势集中在中大型模型和长上下文场景——目标模型越大、草稿块的边际收益越高。对 1B 以下的轻量模型，投机解码本身的必要性就在下降，DFlash 的相对收益空间也有限。另外，块扩散的并行采样在超低延迟（首 token 时间）场景下未必占优——它牺牲了"第一个 token 立刻出来"的优势，换取后续整块的吞吐。如果你的服务对 TTFT 极度敏感，DFlash 可能不是首选。但对于绝大多数离线批处理、对话补全、代码生成类负载，DFlash 给出的数字是实打实的成本压缩。
推理优化的故事讲了三年，从 KV cache 压缩到量化再到投机解码，每一轮都在压榨最后一滴硬件红利。DFlash 的特别之处在于，它不是在某个局部做微调，而是重新设计了草稿阶段的信息流——让一个轻量模型借到目标模型的"思考能力"，再用扩散结构把这种能力并行展开。15 倍吞吐量不是终点，而是新一轮竞争的起点。
