想象一下,你不再写文档,而是直接“编写”工程师。SGLang团队正在做的,就是把资深系统工程师的脑回路,变成一串串可执行的代码。他们不是在写README,而是在写**SKILL.md**——一种能指挥AI代理处理CUDA调试、内核集成、性能分析的“配方”。当别人还在讨论AI能否写代码时,顶尖团队已经把AI深度嵌入到了构建高性能推理引擎的每一步中。
从文档到技能:工程知识的可执行化
传统的开发经验沉淀,终点是Wiki页面或内部分享。SGLang的路径截然不同:他们将复杂的工作流直接编码为代理能够理解并执行的“技能”。这超越了简单的脚本自动化,进入了**上下文感知**的工程协作领域。
一份文件,一个技能
核心载体是**SKILL.md**文件。它不是模糊的指南,而是精确定义的输入、输出、约束和审查点的集合。例如,一个关于“扩散模型添加与调优”的技能,会明确告诉代理:去哪个目录找参考实现,用哪些基准测试来验证新增模型的吞吐和延迟,性能回归的阈值是多少。这就像给一位新同事一份超级详细、无歧义的交接清单,只不过这位同事不知疲倦,且能在秒级内理解并执行。
跨框架的“同一套语法”
更激进的是,这种技能化实践正在开源社区中蔓延。像BBuf/AI-Infra-Auto-Driven-SKILLS这样的项目,旨在建立一套跨不同推理框架(如vLLM、TensorRT-LLM)的SOTA(State-of-the-Art)性能优化循环。这意味着,攻破一个框架的性能瓶颈所积累的方法论,能迅速转化为另一个框架可复用的代理技能。知识不再是孤岛,而是在一套共享的“工程方言”下流动和增值。
性能优化的死循环与生循环
追求极致性能,很容易陷入“测一点,改一点,再测一点”的手动死循环。SGLang提出的**SOTA Performance Loop**,是用一个结构化的智能循环来替代它。
把追求SOTA拆成五步
这个循环被明确分解为:公平基准测试、差距决策、性能分析、打补丁、再验证。每一步都有清晰的证据要求。例如,“差距决策”不能凭感觉,必须基于量化数据判断当前性能与SOTA的差距是否在技能定义的攻关范围内。这避免了工程师在黑暗中的盲目试错。
证据是唯一的货币
在整个循环里,**Profile证据**是绝对的硬通货。每一次性能优化尝试,都必须伴随火焰图、内存带宽分析、内核耗时占比等客观数据。代理根据技能文件中的指令生成这些数据,人类开发者则基于这些数据做出是继续优化还是停止的决策。这让优化过程变得透明、可审计,不再依赖某个工程师的“直觉”。
Human in the Loop:从执行者到裁判
当AI代理能高效执行优化循环时,人类开发者的角色发生了根本性转变。我们不再是手握扳手的工人,更像是设计流水线并抽查产品质量的工程师。
外部审查机制的引入
SGLang在循环中引入了**Humanize/RLCR**(强化学习与代码审查)这样的外部审查环节。这相当于在自动化流程中设置了关键质量门禁。AI代理可以生成无数个优化补丁,但哪个补丁真正解决了问题、没有引入新缺陷、且代码风格可维护?这需要人类基于更宏观的上下文和经验来判断。审查的重点从“代码是否跑通”转向了“补丁是否真正有效且可投入生产”。
定义问题,而非解决问题
在这种范式下,高级开发者的核心价值体现在循环的起点:**精确定义问题**。你需要把一个模糊的“性能还不够好”,拆解成代理技能能理解的具体指标(如“在A100上,32K上下文长度的首Token延迟需降低15%”)。你还需要为代理选择正确的证据类型(“看Time Profiler,别只看吞吐”),并设计出合理的判定工作流。最终,生产环境的复杂现实,依然需要人来做最终的“是否可用”的裁决。
范式冲击:这不只是效率工具
将工程知识技能化,影响的远不止是开发速度。它正在重塑团队的知识管理方式和协作模式。
知识从人脑迁移至代码库
过去,调参的秘诀、避坑的经验,分散在顶尖工程师的脑中,随着人员流动而流失。现在,这些隐性知识被强制转化为显性的、可执行的**SKILL.md**文件和审查循环。新人上手不再是找“师傅”问,而是先学习和使用已有的技能包。团队的核心技术资产,第一次真正意义上以代码的形式沉淀在Git仓库里,可供版本控制、审计和复用。
竞争壁垒的再次加深
当优化一个大模型推理框架的复杂工作,被封装成一套套成熟的代理技能时,后入者的追赶难度呈指数级增加。你不仅要招到顶尖的系统工程师,还要花时间把他们的经验“编码”出来。先发团队则可以通过持续迭代技能文件,让他们的工程能力像软件一样自动增长和进化。竞争从“人才之争”部分转向了“工程知识编码体系之争”。
SGLang的实践指向了一个清晰的未来:最顶尖的软件工程,将是人类战略意图与AI执行能力的深度耦合。我们设计系统、定义约束、做出关键判断;AI则负责在无数个平行宇宙里,不知疲倦地寻找那个最优解。这不再是关于AI会不会取代程序员,而是关于最聪明的程序员,如何学会与AI组成一个更强大的、共生的新物种。

