结论前置:位宽选择应按任务容错度分档,而非一味追低

量化推理的公开评测数据里,FP16 到 INT8 的精度损失在多数分类与检索任务上处于可接受区间,而降到 INT4 后,损失分布明显变宽,长尾任务的波动远大于平均值。看球吧技术解读栏目在整理多份公开评测报告后,给出一个按任务容错度分档的判断框架:容错度高的任务可以试 INT4,容错度低的任务建议守在 INT8 及以上。

下文引用的精度变化幅度均为示例数据,用于说明统计方法,具体数值请以公开评测原文为准。看球吧不做任何绝对化承诺,只提供可复算的解读路径。

数据盘点一:平均值掩盖了长尾波动

公开评测常报一个总体平均精度,但量化误差在任务内部的分布并不均匀。示例数据:某类评测中 INT4 平均精度下降 1.5 个百分点,看似温和,但分项里有若干子任务下降超过 6 个百分点。只看平均值就下结论,等于把风险藏进了长尾。

  • 看评测先看分项表格,再看汇总数字,顺序反过来容易被平均数误导。
  • 关注标准差与最差分项,比关注均值更能反映部署风险。
  • 看球吧在整理术语百科时,把「分项精度」与「平均精度」并列成条,提示读者区分口径。

数据盘点二:校准集与业务分布的错位

量化校准用的数据集如果与真实业务分布偏差较大,公开评测里的精度数字就难以迁移。示例场景:校准集以短文本为主,而线上请求长文本占比高,激活值分布不同,量化后的误差表现会明显分化。

这一条在数据解读里最容易被忽略。看球吧建议读者在做位宽决策前,先统计自己业务的输入长度分布与领域分布,再用同分布样本做小规模验证。看球吧客户端提供术语百科与方案对比模块,安卓、苹果 iOS、Windows 电脑版、Mac 电脑版均可查阅,方便把校准口径这件事对齐。

  • 校准样本量与覆盖度要写进验证记录,否则复现时说不清差异来源。
  • 领域偏移大的场景,逐层敏感度分析比全局统一位置更稳妥。
  • 把校准集与业务分布的对比做成一张表,是数据解读的基本功。

数据盘点三:端到端指标才是最终裁判

离线精度指标与线上体验之间还隔着后处理、阈值与业务规则。示例数据:某检索任务量化后离线召回下降 0.8 个百分点,但经过阈值调整与重排后,端到端指标基本持平。反过来也有离线看不出问题、线上因个别长尾样本放大的情况。

因此位宽选择的边界应由端到端验收确定,而不是由单个离线指标拍板。看球吧在技术解读栏目里一贯主张:先定验收指标,再谈位宽与算子支持,最后才看吞吐收益。顺序对了,量化才是收益项而不是风险项。

  • 验收指标要覆盖最差分项,不能只报总体均值。
  • 保留 FP16 回退路径,关键请求走高位宽,是常见的工程折中。
  • 把三次验证的数据留档,后续换模型或换硬件时可快速对照。

量化推理的数据解读,说到底是把平均值、分布与端到端指标三层分开看。看球吧会继续围绕位宽、校准与验收口径补充公开资料整理,帮读者把这条判断链路走完整。