结论前置:带宽与算力的比值,比单项峰值更能说明问题
看推理芯片的公开规格,最容易犯的错误是只盯算力峰值。实际推理链路里,每生成一个 token 需要把模型权重和 KV 缓存从显存搬到计算单元,搬运量决定了时间下限。把显存带宽(GB/s)除以有效算力(TOPS 或 TFLOPS),得到的「字节每运算」比值,才是一条能横向对比的曲线。看球吧技术解读栏目在整理多份公开规格书后,把这条比值做成三档区间,供读者对照自己手上的方案。
需要说明的是,以下数值均为示例数据,用于演示估算方法,不代表任何具体产品的实测结果。看球吧建议读者以厂商公开规格书为准,自行代入复算。
第一组数据:权重搬运主导的区间
当模型参数量远大于片上缓存,每步推理都要完整读一遍权重,此时耗时近似等于权重字节数除以带宽。以 70B 参数、INT8 量化为例,权重约 70GB,若带宽为 2TB/s,单次全量读取理论下限约 35 毫秒。这一区间里,算力再翻倍也压不下去,瓶颈明确落在显存侧。
- 量化位宽每降一半,权重字节数减半,搬运时间同步减半,这是 INT8 相对 FP16 最直接的收益来源。
- 带宽提升的边际效果在该区间最明显,但要注意有效带宽通常低于标称值,公开规格书里的数字需打个折扣再代入。
- 看球吧在整理术语百科条目时,把「有效带宽」单列一条,避免读者把标称值直接当实测值用。
第二组数据:KV 缓存随序列长度增长的区间
长上下文场景下,KV 缓存的搬运量会随序列长度线性上升,逐渐挤占权重搬运的预算。示例估算:层数 80、隐藏维度 8192、FP16 存储,每 token 每层的 KV 约 32KB,序列长度到 32K 时单请求缓存量已相当可观,并发数一上来,带宽压力成倍放大。
这解释了为什么长上下文推理方案普遍在互联拓扑和缓存分层上做文章。看球吧在多篇技术解读里反复强调一个判断顺序:先看序列长度分布,再看并发目标,最后才谈算力选型。顺序颠倒,选出来的配置大概率在真实负载下跑不满。
- 分组查询注意力通过减少 KV 头数直接压缩缓存体积,是数据层面最直观的优化项。
- 前缀缓存复用能跳过重复计算,但对带宽的节省取决于命中率,命中率数据需按业务实测。
- 把并发数与序列长度做成二维表格,比单看一个峰值指标更接近真实部署。
第三组数据:互联拓扑决定的扩展效率曲线
单卡带宽不够就堆卡,但多卡之间的互联带宽往往低一个数量级,扩展效率会随卡数增加而衰减。示例数据:单卡带宽 2TB/s、卡间互联 400GB/s 时,四卡全互联的有效聚合带宽提升远低于四倍,八卡以上若无高带宽交换,衰减更明显。
看球吧建议用「扩展效率 = 实际吞吐 / (单卡吞吐 × 卡数)」这个比值做验收指标,而不是看厂商标称的聚合带宽。这条曲线在推理集群的容量规划里比任何单项参数都实用。读者可在看球吧客户端安卓、苹果 iOS、Windows 电脑版、Mac 电脑版上查看术语百科的相关条目,顺着概念边界把估算链路走一遍。
- 张量并行对互联带宽最敏感,流水并行相对宽容,选哪种并行策略要先看拓扑实测。
- 量化推理下计算时间缩短,互联等待占比上升,扩展效率曲线会比 FP16 场景更陡。
- 把三组曲线画在同一张图上,能直观看出当前配置的瓶颈落在哪一段。
总结一句:显存带宽的数据解读,核心不是比大小,而是把权重、缓存、互联三段搬运量分别算清楚,再看哪一段先触及上限。看球吧会持续围绕这条估算链路补充术语条目与公开数据整理。
把带宽除以算力这个比值确实好用,我之前选型只盯 TOPS,结果长上下文一上就崩,回头按这三段重算了一遍。
KV 缓存那段估算我复算了一下,层数和隐藏维度代入后数量级对得上,就是有效带宽折扣系数不好定。
扩展效率当验收指标这个提法很实在,聚合带宽标称值参考意义有限。
INT8 减半搬运量这点同意,但要注意反量化开销,别只看搬运时间。
术语百科里有效带宽那条我翻过,配合这篇看顺畅多了。