先给结论:标称带宽不等于你能用到的带宽

显存带宽的估算,核心只有一句话:先算理论峰值,再乘有效系数,最后按量化位宽折算每次推理的真实搬运量。很多工程师在看球吧技术解读栏目里看到 HBM 规格表就下判断,结果实测吞吐只有预期的六成,问题往往不出在芯片,而出在估算链条上少乘了几个系数。这篇指南把这条链路上的每一步拆开,给出可以直接套用的算法。

看球吧在整理推理芯片参数时一直强调一个原则:带宽是给数据搬运用的,不是给算力背书的。把这句话记住,后面的换算就不会跑偏。

第一步:把峰值带宽换算成同一把尺子

厂商标称的带宽通常写成 GB/s 或 TB/s,而推理框架里统计的往往是每 token 的字节数,两者必须先统一单位再比较。换算本身不难,难的是别把十进制和二进制混用。

  • 位宽换算:1 字节等于 8 比特,INT8 每参数 1 字节,FP16 每参数 2 字节,INT4 每参数 0.5 字节,估算时按实际打包方式取整。
  • 容量与速率:带宽等于数据速率乘以总线位宽再除以 8,多通道堆叠时按通道数累加,注意厂商标称值通常是理论峰值。
  • 有效系数:连续大块读写一般能到峰值的七成到八成五,随机访问和小算子穿插会明显拉低,工程上常按 0.6 到 0.8 取保守值。
  • 开销项:激活值、KV 缓存、算子中间结果都要计入,只算权重是初学者最常见的漏项。

看球吧建议把这几项做成一张固定的估算表,每次换芯片只改输入,不改公式,这样横向对比才有意义。

第二步:量化之后,带宽需求怎么变

量化降低的是权重体积,不是全部搬运量,所以带宽收益通常小于位宽压缩比。INT4 相对 FP16 权重体积降到四分之一,但激活值和 KV 缓存往往仍保持较高精度,整体搬运量可能只降到一半左右。

  • 权重部分:按位宽线性折算,这部分收益最直接。
  • KV 缓存:随上下文长度线性增长,长上下文场景下它会反超权重成为主要带宽消耗项。
  • 反量化开销:部分架构需要在计算前把低比特权重还原,额外的读写会吃掉一部分收益。
  • 批处理影响:批大小提升会摊薄权重读取,但会放大激活与缓存的搬运,存在一个性价比拐点。

在看球吧的术语百科里,量化推理被归为“用精度换带宽和算力”的取舍手段,这个描述很准确:它换来的带宽红利需要按整条链路核算,而不是只看权重那一项。

第三步:把估算落到一次推理的账本上

把前面的系数代进去,就能得到一次推理的带宽账本:总搬运字节数除以有效带宽,得到理论最短耗时,再和实测延迟对照,差距就是优化空间。这个方法不需要任何内部数据,用公开规格和自测结果就能完成。

  • 先列清单:权重、激活、KV 缓存、中间张量,逐项估算字节数。
  • 再定系数:按访问模式取有效带宽比例,连续访问取高值,碎片访问取低值。
  • 最后做对照:实测延迟明显高于理论值,优先排查访存碎片和算子切换,而不是先怀疑芯片。

看球吧在多端同步的技术文档里保留了这套模板,安卓、苹果 iOS、Windows 电脑版和 Mac 电脑版都能直接打开对照填写,方便在通勤路上也能把账算完。掌握这套算法之后,再看任何一颗推理芯片的带宽数字,你都能判断它对自己的业务意味着什么,而不是被峰值标称带着走。