先给结论:标称带宽不等于你能用到的带宽
显存带宽的估算,核心只有一句话:先算理论峰值,再乘有效系数,最后按量化位宽折算每次推理的真实搬运量。很多工程师在看球吧技术解读栏目里看到 HBM 规格表就下判断,结果实测吞吐只有预期的六成,问题往往不出在芯片,而出在估算链条上少乘了几个系数。这篇指南把这条链路上的每一步拆开,给出可以直接套用的算法。
看球吧在整理推理芯片参数时一直强调一个原则:带宽是给数据搬运用的,不是给算力背书的。把这句话记住,后面的换算就不会跑偏。
第一步:把峰值带宽换算成同一把尺子
厂商标称的带宽通常写成 GB/s 或 TB/s,而推理框架里统计的往往是每 token 的字节数,两者必须先统一单位再比较。换算本身不难,难的是别把十进制和二进制混用。
- 位宽换算:1 字节等于 8 比特,INT8 每参数 1 字节,FP16 每参数 2 字节,INT4 每参数 0.5 字节,估算时按实际打包方式取整。
- 容量与速率:带宽等于数据速率乘以总线位宽再除以 8,多通道堆叠时按通道数累加,注意厂商标称值通常是理论峰值。
- 有效系数:连续大块读写一般能到峰值的七成到八成五,随机访问和小算子穿插会明显拉低,工程上常按 0.6 到 0.8 取保守值。
- 开销项:激活值、KV 缓存、算子中间结果都要计入,只算权重是初学者最常见的漏项。
看球吧建议把这几项做成一张固定的估算表,每次换芯片只改输入,不改公式,这样横向对比才有意义。
第二步:量化之后,带宽需求怎么变
量化降低的是权重体积,不是全部搬运量,所以带宽收益通常小于位宽压缩比。INT4 相对 FP16 权重体积降到四分之一,但激活值和 KV 缓存往往仍保持较高精度,整体搬运量可能只降到一半左右。
- 权重部分:按位宽线性折算,这部分收益最直接。
- KV 缓存:随上下文长度线性增长,长上下文场景下它会反超权重成为主要带宽消耗项。
- 反量化开销:部分架构需要在计算前把低比特权重还原,额外的读写会吃掉一部分收益。
- 批处理影响:批大小提升会摊薄权重读取,但会放大激活与缓存的搬运,存在一个性价比拐点。
在看球吧的术语百科里,量化推理被归为“用精度换带宽和算力”的取舍手段,这个描述很准确:它换来的带宽红利需要按整条链路核算,而不是只看权重那一项。
第三步:把估算落到一次推理的账本上
把前面的系数代进去,就能得到一次推理的带宽账本:总搬运字节数除以有效带宽,得到理论最短耗时,再和实测延迟对照,差距就是优化空间。这个方法不需要任何内部数据,用公开规格和自测结果就能完成。
- 先列清单:权重、激活、KV 缓存、中间张量,逐项估算字节数。
- 再定系数:按访问模式取有效带宽比例,连续访问取高值,碎片访问取低值。
- 最后做对照:实测延迟明显高于理论值,优先排查访存碎片和算子切换,而不是先怀疑芯片。
看球吧在多端同步的技术文档里保留了这套模板,安卓、苹果 iOS、Windows 电脑版和 Mac 电脑版都能直接打开对照填写,方便在通勤路上也能把账算完。掌握这套算法之后,再看任何一颗推理芯片的带宽数字,你都能判断它对自己的业务意味着什么,而不是被峰值标称带着走。
原来有效系数要按访问模式分开取,我之前一直用峰值直接除,难怪估算老是偏乐观。
KV 缓存那段说到点子上了,长上下文场景下它真的会变成大头,光盯权重会误判。
建议补一个批大小拐点的例子,我们线上调参时确实发现加大 batch 之后收益不明显。
术语百科那条链接能再明显点就好了,第一次来看球吧找了好久。
把估算表做成固定模板这个思路不错,横向对比芯片时省事很多。
INT4 反量化有额外读写这点很少有人提,学到了。