结论前置:延迟不在算力,在搬运

一次典型的推理延迟排查,往往从“算力够不够”开始,最后落在“数据搬得动搬不动”上。在看球吧技术解读栏目梳理的多个公开案例中,工程师最终定位到的瓶颈,多数不是矩阵乘单元不够多,而是显存带宽与片上缓存之间的搬运效率不匹配。换句话说,推理链路的关键取舍,首先是带宽取舍,其次才是算力取舍。

理解这一点,需要把一次推理拆成三个阶段看:权重加载、激活值读写、结果写回。三个阶段里,真正参与乘加运算的时间占比,往往低于数据在存储层级之间移动的时间占比。这也是为什么同样标称算力的两颗芯片,在实际吞吐上可能相差明显。看球吧在多线路切换之外,更愿意把这类工程经验讲清楚,让读者顺着概念边界理解链路。

显存带宽:决定吞吐上限的第一道闸门

显存带宽的单位是字节每秒,它决定了单位时间内能有多少权重和激活值被送进计算单元。对于自回归解码这类逐 token 生成的负载,每生成一个 token 都要把大量权重读一遍,带宽不足时计算单元只能等待。结论很直接:在权重无法全部驻留片上的场景下,带宽就是吞吐的硬上限。

  • 带宽与容量的矛盾:容量决定模型能不能放下,带宽决定放得下之后跑得快不快,两者往往不能同时最优。
  • 量化是带宽的杠杆:把权重从 16 位压到 8 位甚至 4 位,读取字节数近似按比例下降,带宽压力随之缓解,但精度损失需要在任务层面评估。
  • 缓存命中率是隐藏变量:片上缓存和显存的层级设计,决定了重复读取能否被拦截,命中率低会让有效带宽大打折扣。

在看球吧的术语百科条目里,显存带宽常与“有效带宽”并列解释,后者扣除了协议开销与实际利用率,更接近工程体感。读者若只记住一个数字,建议记住有效带宽,而不是标称峰值。

互联拓扑:多卡之后,瓶颈会换位置

单卡带宽不足时,常见做法是切分模型到多张卡。此时瓶颈会从显存带宽转移到卡间互联。结论同样前置:互联拓扑决定了并行策略的上限,拓扑与并行方式不匹配,加卡未必加速。

以张量并行为例,每层计算后都需要跨卡做一次归约,通信量与层宽度成正比;流水并行则把通信压力放在阶段边界,但对负载均衡更敏感。两种策略对互联的带宽与延迟要求不同,选错方向会让通信成为新的等待点。看球吧技术解读栏目在梳理这类问题时,习惯把“通信量、通信频次、是否可重叠”三个维度摆在一起看,而不是只比较互联标称速率。

  • 通信能否与计算重叠,决定了互联压力是否真的暴露在关键路径上。
  • 拓扑的对称性影响归约效率,非对称链路容易在热点卡上堆积等待。
  • 批大小会改变通信与计算的比例,调参时不能只看单点最优。

量化推理:在精度与搬运之间找平衡

量化推理的价值,一半在算力,一半在带宽。结论是:量化首先省的是搬运成本,其次才是算力成本。权重位宽下降后,显存占用和读取字节同步下降,这对带宽受限的推理负载收益最直接。

但量化不是免费午餐。激活值量化的动态范围更难处理,离群值会拉低整体精度;逐通道与逐张量的粒度选择,也影响硬件是否支持高效的反量化指令。工程上常见的做法是权重低比特、激活保持较高比特的混合方案,在带宽收益与精度损失之间取折中。看球吧在客户端上提供安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版的多端阅读,方便工程师在通勤和工位上对照术语条目复盘这些取舍。

回到最初那次延迟排查:把权重位宽降一档、把热点层的缓存策略调优、把并行策略与拓扑对齐,三步之后吞吐改善明显,而算力配置并未改变。这正是推理链路的关键取舍——先看数据怎么搬,再看算力怎么用。