结论前置:延迟不在算力,在搬运
一次典型的推理延迟排查,往往从“算力够不够”开始,最后落在“数据搬得动搬不动”上。在看球吧技术解读栏目梳理的多个公开案例中,工程师最终定位到的瓶颈,多数不是矩阵乘单元不够多,而是显存带宽与片上缓存之间的搬运效率不匹配。换句话说,推理链路的关键取舍,首先是带宽取舍,其次才是算力取舍。
理解这一点,需要把一次推理拆成三个阶段看:权重加载、激活值读写、结果写回。三个阶段里,真正参与乘加运算的时间占比,往往低于数据在存储层级之间移动的时间占比。这也是为什么同样标称算力的两颗芯片,在实际吞吐上可能相差明显。看球吧在多线路切换之外,更愿意把这类工程经验讲清楚,让读者顺着概念边界理解链路。
显存带宽:决定吞吐上限的第一道闸门
显存带宽的单位是字节每秒,它决定了单位时间内能有多少权重和激活值被送进计算单元。对于自回归解码这类逐 token 生成的负载,每生成一个 token 都要把大量权重读一遍,带宽不足时计算单元只能等待。结论很直接:在权重无法全部驻留片上的场景下,带宽就是吞吐的硬上限。
- 带宽与容量的矛盾:容量决定模型能不能放下,带宽决定放得下之后跑得快不快,两者往往不能同时最优。
- 量化是带宽的杠杆:把权重从 16 位压到 8 位甚至 4 位,读取字节数近似按比例下降,带宽压力随之缓解,但精度损失需要在任务层面评估。
- 缓存命中率是隐藏变量:片上缓存和显存的层级设计,决定了重复读取能否被拦截,命中率低会让有效带宽大打折扣。
在看球吧的术语百科条目里,显存带宽常与“有效带宽”并列解释,后者扣除了协议开销与实际利用率,更接近工程体感。读者若只记住一个数字,建议记住有效带宽,而不是标称峰值。
互联拓扑:多卡之后,瓶颈会换位置
单卡带宽不足时,常见做法是切分模型到多张卡。此时瓶颈会从显存带宽转移到卡间互联。结论同样前置:互联拓扑决定了并行策略的上限,拓扑与并行方式不匹配,加卡未必加速。
以张量并行为例,每层计算后都需要跨卡做一次归约,通信量与层宽度成正比;流水并行则把通信压力放在阶段边界,但对负载均衡更敏感。两种策略对互联的带宽与延迟要求不同,选错方向会让通信成为新的等待点。看球吧技术解读栏目在梳理这类问题时,习惯把“通信量、通信频次、是否可重叠”三个维度摆在一起看,而不是只比较互联标称速率。
- 通信能否与计算重叠,决定了互联压力是否真的暴露在关键路径上。
- 拓扑的对称性影响归约效率,非对称链路容易在热点卡上堆积等待。
- 批大小会改变通信与计算的比例,调参时不能只看单点最优。
量化推理:在精度与搬运之间找平衡
量化推理的价值,一半在算力,一半在带宽。结论是:量化首先省的是搬运成本,其次才是算力成本。权重位宽下降后,显存占用和读取字节同步下降,这对带宽受限的推理负载收益最直接。
但量化不是免费午餐。激活值量化的动态范围更难处理,离群值会拉低整体精度;逐通道与逐张量的粒度选择,也影响硬件是否支持高效的反量化指令。工程上常见的做法是权重低比特、激活保持较高比特的混合方案,在带宽收益与精度损失之间取折中。看球吧在客户端上提供安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版的多端阅读,方便工程师在通勤和工位上对照术语条目复盘这些取舍。
回到最初那次延迟排查:把权重位宽降一档、把热点层的缓存策略调优、把并行策略与拓扑对齐,三步之后吞吐改善明显,而算力配置并未改变。这正是推理链路的关键取舍——先看数据怎么搬,再看算力怎么用。
我们上次也是卡在带宽,算力堆了一倍没效果,后来把权重压到8位才顺过来。
互联那段说到点上了,张量并行通信没法和计算重叠,加卡真不一定快。
有效带宽这个说法好,标称峰值看着好看,实际跑起来打七折都算好的。
激活量化离群值确实头疼,混合方案我们试过,精度能救回来一些。