ARTICLE / DEEP READING

资讯中心

记录重要内容,保留清晰观点,让每一次深入阅读都能获得新的启发。

单用户解码快44%,批量64时只剩15%文章配图
READ
IN DEPTH

FEATURED ARTICLE

单用户解码快44%,批量64时只剩15%

据意昂体育整理:

SGLang 0.

5.

23 于 2026 年 11 月 2 日发布,包含来自 257 位贡献者的 1007 个 PR。

这一版最受关注的内容,是一个需要手动开启的「低延迟模式」:NVIDIA megakernel 插件和 AMD monokernel 插件,把解码过程作为融合的持久化内核来运行。

发布说明给出的数字是:在 GB300 上,DeepSeek-V4.

1-Flash 的单用户解码最高快 44% ;

在 MI350X 上最高快 75% 。

about image

这两个数字需要换算一下才好理解——44% 的加速意味着单步时间减少了 30.

6% ,75% 的加速意味着减少了 42.

9% 。

被抹掉的这部分,正是启动间隙和集合通信等待。

它到底替换了什么 两个插件都通过 SGLang 的通用插件入口 sglang.

srt.

plugins 加载,不是对核心代码的重写。

不传 flag 时,SGLang 按原样运行;

0.

5.

23 的 CUDA 镜像里,插件处于「未激活」状态,除非设置 --enable-nvidia-megakernel。

开启后,SGLang 在参数解析阶段、权重加载之前就检查配置。

模型 runner 准备好受支持的模型后,构建 megakernel 并替换该模型实例的 forward。

替换后的路径只接管被覆盖的步骤,其余步骤仍走模型自己的 forward。

对 DeepSeek-V4.

1-Flash 来说,更大的 verify 步骤、prefill 和 extend 都走标准路径。

覆盖面是刻意收窄的。

NVIDIA 的表格列出 DeepSeek-V4.

1-Flash 在 GB300 和 B300 上、张量并行度为 4、投机验证步为 1 到 384 行(每请求 6 行,即 batch 1 到 64)。

B300 上的速度只测了单请求。

表格其他行覆盖 Qwen3.

5、Kimi K3、Kimi K3.

1、GLM-5.

3 和 GLM-5.

2,各有自己的限制。

两个 README 都挂着「实验性」横幅,说明内核、支持的配置和开关本身都可能变化。

为什么一个小批次能快这么多 AMD 的 README 把机制说得很直白:monokernel 是一个持久化内核,把解码层的大部分工作——包括注意力、专家混合块和两次张量并行 all-reduce——放进一到两次启动里完成。

它要消除的,是「主导小批量解码的启动间隙和集合通信延迟」。

batch 1 时,解码一步每层搬运的数据量很小。

GPU 很快算完一个小内核,然后等下一次启动,或者等 all-reduce 完成才能开始下一个算子。

NVIDIA 的 README 从另一侧描述了这个修法:内核之间通过 mailbox 和程序化依赖启动传递输出,不再跨越逐个算子的边界。

张量并行度为 4 时,每一层都要付若干次集合通信的代价。

每一次都是一个同步点,四块 GPU 一起等最慢的那块。

把 all-reduce 融进同一个持久化内核,下一阶段可以在数据到达时立刻开始,而不必等一次独立启动。

44% 在单步时间里是什么概念 加速比很容易读错。

每秒 token 数提升 44%,意味着每个 token 只花原来时间的 1/1.

44。

换算下来,GB300 上约 30.

6% 的单步时间被移除,MI350X 上约 42.

9% 。

也就是说,在最好的单用户场景下,GB300 单步里大约三分之一是间隙与同步开销,MI350X 上大约五分之二。

这本身就是个有用的诊断指标:如果你自己的 batch 1 解码 trace 里,内核之间的空闲时间也占类似比例,那这类优化就有戏;

如果 trace 显示 GPU 从头忙到尾,你拿不到这样的数字。

批量一大,收益为什么缩水 被移除的开销基本是按步计的,不是按请求计的。

而有效工作——专家矩阵乘、对更多 KV 条目的注意力——会随批量增长。

同样一份绝对节省,放在更大的步里,占比就小了。

一个刻意简化的示意模型(不是实测):假设 batch 1 时一步耗时 100 个时间单位,其中 30.

6 是可移除的间隙,与 44% 的说法对应;

假设剩余工作每多一个请求增长 3%。

按这个模型,batch 1 增益约 44.

1%,batch 2 约 42.

8%,batch 4 约 40.

5%,batch 8 约 36.

4%,batch 16 约 30.

4%,batch 32 约 22.

9%,batch 64 约 15.

3%。

3% 这个增长率是为示意而设的。

要点在方向:固定的节省除以增长的分母。

真实曲线取决于专家路由、KV 长度,以及标准路径在大批量下本来就把自己的间隙重叠得有多好。

README 也说明 B300 上只测了单请求,更大批量依赖内核测试——这与收益最强的位置是一致的。

还有一层:开启投机解码后,verify 步里的「行

意昂体育将继续整理相关资讯。

SHARE THIS IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

送走卡里克,邀请波切蒂诺,曼联又花了2000万镑,13年已支出1亿镑,这次能成功吗

送走卡里克,邀请波切蒂诺,曼联又花了2000万镑,13年已支出1亿镑,这次能成功吗

2013年,曼联传奇主帅弗格森离开了帅位,此后十余年的时间,曼联再也没有尝到过英超冠军的滋味,反而是不断的换帅,让球队变得更加混乱。 上赛季带领曼联拿到了欧冠资格的卡里克,还是被球队解雇了,他没有在球队欧冠惨败给科莫之后被解雇,也没有在输给伯恩茅斯之后被解雇,反而是在逆转了罗马,绝平了维拉之后被曼联解雇。这个时间点的选择,为数不多的合理解释就是国家队比赛日期间,新帅波切蒂诺会由更多的适应时间,曼联

白崇禧晚年谈论各路将帅,冷冷地甩出一句:真正懂打仗的不过3人,其余的是仗着人多撑场面

白崇禧晚年谈论各路将帅,冷冷地甩出一句:真正懂打仗的不过3人,其余的是仗着人多撑场面

能真正看透战争精髓的统帅仅有三人,剩下一众将领,不过是依靠兵力规模虚撑声势而已! 晚年迁居台北的白崇禧,身处严密监控之下,境遇落魄。面对研究人员的采访,他吐出这句冰冷的评价。这位当年威名赫赫、人称 “小诸葛” 的军事家,一生和无数精兵悍将打过交道,为何会全盘否定国民党一众名将?在他眼中,究竟是哪三位统帅深谙用兵之道,配得上战神之称?又是哪一场规模宏大、战况惨烈的战略决战,戳破了国民党军号称百万雄兵

巩俐素颜戴三亿项链,五十九岁不修图,她把白瘦幼审美踹飞了!

巩俐素颜戴三亿项链,五十九岁不修图,她把白瘦幼审美踹飞了!

没有浓妆艳抹,甚至连口红都没涂。一件极简的黑色低领毛衣,但她脖子上挂着一条镶了两千多颗钻石、价值三个亿的蛇形项链。 结果最绝的是,所有人的焦点都不在钱上——因为那条天价项链,在她身上居然只能当个陪衬。 这就是巩俐现在的段位。她不需要去抢C位,只要往那儿一站,C位自己就会长脚走过来。 看着现在娱乐圈对女明星身材的要求,真让人觉得离谱到家了。 身高一米六五以上的,体重只要敢过百,评论区立马教你做人。

清朝时的“GDP十强城市”,排名颠覆认知

清朝时的“GDP十强城市”,排名颠覆认知

清朝没有GDP,这个词是现代的。 所谓"GDP十强城市",其实是后代学者拿几样硬指标倒推出来的近似排行,依据大致有四类: 一是 各关的关税 ,这个能查档案,最实在; 二是丝、棉、盐、粮、铁、陶瓷这些 大宗货的流通量 ; 三是 手工业的规模 ,一个城织机多少、炉座多少、工匠多少,都有记载可考; 四是 人口 ,城大人多,经济活动再弱也弱不到哪去。 还得先说清另一层:这个排名不是定死的。 同一个城市,不

与李晨分手6年后嫁普通人,看似是“低嫁”却活成了真正人生赢家

与李晨分手6年后嫁普通人,看似是“低嫁”却活成了真正人生赢家

央视一套黄金档的剧里,有个女医生出场,脸是肿的,颧骨上一片高原红, 鼻翼边还有没遮掉的血点,字幕打出的演员名是张燕。 这个人是张馨予,拍这部剧时她体重 112 斤,比走红毯那年重了十几斤,下颌线基本没了。 2009 年,一组足球宝贝的写真把她从模特圈推到大众眼前, “网游第一美女” 这个称呼跟了她很多年,十七年后,她自己把这张脸弄成了这样。 要说清这件事,得从她的来处讲起。 她生在江苏昆山,198