StepFun 展示 Step 5 Preview 在 NVIDIA GB300 上的推理性能

发布时间: 2026-10-15 文章分类: AI前沿技术
阅读量: 0
AI智能体
企业级AI智能体开发与部署
LumeValley提供全栈式企业级AI智能体开发与部署服务,涵盖战略规划、场景化开发、企业级应用构建、行业解决方案及算力支撑。从需求分析到持续优化,确保智能体高效稳定运行,助力企业实现智能化转型,提升运营效率与竞争力。

阶跃星辰把 Step 5 Preview 的权重放了出来。600B MoE 架构,单次能扛住最长 24 小时的 Agent 任务,在 NVIDIA GB300 上跑 NVFP4 精度,单卡每秒接近 8000 tokens。NVIDIA 那边转发的措辞是"StepFun 迄今为止最大的开源权重发布"。几个数字凑在一起,值得认真拆一拆——尤其是当"最大"和"最快"同时出现在一份开源声明里的时候。

600B MoE,StepFun 把牌摊开了

24 小时不间断的 Agent 任务,难在哪

跑完一次对话和跑完一个 Agent 任务,是两种完全不同的事情。对话有明确的起止,几轮之内给出答案就算交差。Agent 不一样,它要在长链条里反复调用工具、读写文件、检查中间结果,走错了还得退回去重来。时间一拉长,上下文管理、状态保持、错误恢复全部变成硬约束。素材里提到 Step 5 Preview 能处理最长 24 小时的 Agent 任务,这个数字指向的不是模型多聪明,而是它长时间运行能不能稳住。稳住,比聪明难得多。

别只盯着 600B 这个总数

600B 是总参数量。MoE 架构下,任何一次前向计算只激活其中一部分专家,实际算力开销和这个总数之间不能画等号。这正是 MoE 被大规模采用的根本原因:拿总参数的规模换知识容量,用稀疏激活把推理成本摁住。真正决定一个 MoE 模型好不好用的,是路由策略、专家粒度、负载均衡这些藏在架构图背后的工程细节。参数总量只是入场券,不是成绩单。

开源权重里最大的一次下注

"StepFun 最大的开源权重发布"这个定位值得琢磨。开源权重意味着任何人都能下载、部署、微调,这对一家模型公司来说等于把训练成果的一部分价值让渡出去。600B 级别的 MoE,下载成本和部署门槛都摆在那里,愿意放出来,赌的是生态而不是短期的授权收入。这笔账算得清不清楚,得看接下来半年有多少团队真的在它上面搭东西。

每秒 8K tokens,GB300 上跑出来的数字

NVFP4 精度,砍的是位宽不是能力

NVFP4 是 NVIDIA 在 Blackwell 一代力推的 4 位浮点格式。位宽从 8 位压到 4 位,显存占用和带宽压力同步下降。麻烦的从来不是压缩本身,而是压完之后模型还能不能守住原有表现。NVFP4 用微块缩放加二级缩放的结构,在极小位宽下尽量保住动态范围。StepFun 直接把 NVFP4 checkpoint 放出来,等于把这个取舍的结果交出去接受检验——跑得好不好,别人下载了就知道。

单卡吞吐的部署经济学

接近 8K tokens/sec/GPU 落到实际业务里,是另一套算法。同样的请求量需要多少张卡、机房电费多少、单次调用的边际成本压到几分钱,这些都要从这个吞吐数字里推导。做 Agent 产品的团队对这件事最敏感:一个任务动辄跑几十分钟,token 消耗是普通对话的几十倍,单卡吞吐高低直接决定这类产品有没有商业可行性。性能数字背后,是产品能不能活下去的问题。

checkpoint 公开,可复现才有意义

发布会上的性能数字是一回事,第三方能跑出来是另一回事。StepFun 把 NVFP4 权重放在 Hugging Face 上,任何人都能在自己的 GB300 上验证。这种透明度在开源圈子里算基本盘,但在动辄拿实验室最优数字做宣传的当下,肯把 checkpoint 交出来,本身就是态度。数字可以被质疑,权重不会撒谎。

开发者拿到手之后

SGLang、vLLM 两条路都留着

推理框架的选择,往往决定一个模型能不能被快速接进现有系统。SGLang 在结构化生成和前缀缓存上做得细,vLLM 的 PagedAttention 和生态覆盖面更广。两个都支持,意味着已经在这两套框架上跑业务的团队不需要推倒重来。看着是工程细节,实际是降低采用门槛最直接的手段——让开发者少改一行代码,就多一分被选中的机会。

NIM 一键部署砍掉了哪道坎

NVIDIA NIM 提供的是容器化的一键部署。模型权重、运行时依赖、推理优化打包成一个可以直接拉起的微服务,环境配置、驱动排查、推理引擎调优这一整套流程全部省掉。对想快速验证效果的产品团队,这条路径把从"下载权重"到"拿到 API"的时间从几天压缩到几十分钟。门槛砍到这一步,试用成本已经接近于零。

后训练交给 NeMo Automodel

开源权重不等于开箱即用。行业数据、企业私有语料、特定任务的对齐,都得在后训练阶段解决。NeMo Automodel 支持对模型做继续训练和微调,这条链路打通了,模型才真正从"能跑"变成"能用"。放权重的同时把后训练工具链交代清楚,这是把开发者留在自家生态里的标准动作,也是开源策略能不能形成正循环的关键一环。

开源权重这场竞赛,节奏变了

放权重的队伍在变

过去两年,开源权重这条线上最积极的是一批中国模型团队。原因不复杂:闭源 API 的商业化路径还没完全跑通,用开源换开发者、换口碑、换生态位,是性价比最高的打法。StepFun 这次把 600B MoE 放出来,延续的是同一条逻辑,只是量级又往上抬了一档。另一边的景象是,一些原本以开源起家的团队开始收紧许可证,把最先进的能力留在 API 后面。放与不放之间,是各自的商业化节奏在说话。

Agent 运行时长成了新标尺

模型榜单这几年换了好几轮:先是参数量,然后是多语言能力,再是代码和数学,现在轮到 Agent 表现。而 Agent 能力里最容易被量化、也最难做假的,就是能持续运行多久而不崩。24 小时这个数字一旦成为宣传口径,后面会有更多团队把自己的时长往上加。军备竞赛对使用者是好事,但它也在悄悄改变模型设计的优先级——长上下文、记忆管理、工具调用的鲁棒性,权重都在往上走。

生态比模型更难抄

权重可以被下载,被复现,被蒸馏,但围绕模型长出来的东西不好复制。谁家的模型先被 SGLang 和 vLLM 支持,谁家的 checkpoint 先被社区跑通,谁家的后训练教程先被传播开,这些沉淀下来就是默认选项。StepFun 这次同时把推理框架、部署方案和后训练链路都铺好,用的就是这个思路。600B 这个数字会被人记住一阵,但真正决定它能走多远的,是有多少人在它上面搭出东西来。

AI智能体
企业级AI智能体开发与部署方案
LumeValley打造企业级AI智能体全流程方案,涵盖需求洞察、定制开发、多平台适配部署。凭借专业算法与丰富经验,确保智能体精准理解业务,高效执行任务,无缝融入企业生态,为企业数字化转型提供强劲智能引擎,提升核心竞争力。
点赞 | 20

Lumevalley——全栈AI服务领航者,以“战略-应用-算力”三位一体服务框架,为企业提供从顶层战略规划、场景化AI智能体(AI Agent)开发/搭建/部署,到企业级AI应用开发、AI+行业场景解决方案的全链路服务,并配套AI大模型部署与高性能AI算力底座支撑,助力客户在营销、服务、运营等核心环节实现效率倍增与模式创新。

马上扫码获取产品资料
下一篇: 没有了
相关文章

相关文章

填写以下信息, 免费获取方案报价
姓名
手机号码
企业名称
  • 建筑建材
  • 化工
  • 钢铁
  • 机械设备
  • 原材料
  • 工业
  • 环保
  • 生鲜
  • 医疗
  • 快消品
  • 农林牧渔
  • 汽车汽配
  • 橡胶
  • 工程
  • 加工
  • 仪器仪表
  • 纺织
  • 服装
  • 电子元器件
  • 物流
  • 化塑
  • 食品
  • 房地产
  • 交通运输
  • 能源
  • 印刷
  • 教育
  • 跨境电商
  • 旅游
  • 皮革
  • 3C数码
  • 金属制品
  • 批发
  • 研究和发展
  • 其他行业
需求描述
填写以下信息马上为您安排系统演示
姓名
手机号码
你的职位
企业名称

恭喜您的需求提交成功

尊敬的用户,您好!

您的需求我们已经收到,我们会为您安排专属电商商务顾问在24小时内(工作日时间)内与您取得联系,请您在此期间保持电话畅通,并且注意接听来自广州区域的来电。
感谢您的支持!

您好,我是您的专属产品顾问
扫码添加我的微信,免费体验系统
(工作日09:00 - 18:00)
电话咨询 (工作日09:00 - 18:00)
客服热线: 18011747352
售前热线: 189 2432 2993
扫码即可快速拨打热线