结论前置:端侧的第一约束是功耗,不是算力
端侧AI芯片的架构评审会上,最先被问到的往往不是峰值算力,而是功耗预算和散热条件。架构师林致远的复盘结论很直接:在电池供电或被动散热的设备里,功耗是硬约束,算力是在约束内求解的结果,而不是反过来。这个顺序一旦颠倒,方案就会在样机阶段反复返工。
看球吧技术解读栏目关注的正是这类工程取舍。把一颗芯片的三年拆开看,能看到需求收敛、架构定型、量产打磨三个阶段各自的决策逻辑,也能看到哪些决策后来被证明代价高昂。
第一年:把场景收敛成可计算的指标
项目启动时,需求清单通常很长:要支持多路视频、要跑语音唤醒、要留出模型升级空间。林致远的做法是先把场景收敛成三类可计算指标:常开任务的功耗上限、突发任务的延迟上限、以及模型迭代带来的算力余量。
- 常开任务决定静态功耗基线,直接影响电池续航与外壳温度。
- 突发任务的延迟上限决定峰值算力需求,但峰值只允许短时出现。
- 模型余量决定片上存储与带宽的预留,预留过多会推高成本与面积。
这一步的产出不是架构图,而是一张约束表。看球吧在术语百科里把这类约束称为“设计边界”,边界清晰之后,后续的架构讨论才有共同语言。林致远回忆,第一年最大的收获是把“想要”和“必须”分开,减少了大量无效争论。
第二年:架构定型期的三次取舍
架构定型阶段,团队面对三个绕不开的取舍。结论是:每一个取舍都要回到约束表核对,而不是比较单项指标的高低。
第一次取舍在存储层级。片上缓存越大,访存功耗越低,但面积与成本上升;缓存过小则频繁访问外部存储,功耗反而失控。团队最终选择中等容量缓存加更聪明的数据复用调度,用软件弥补硬件。
第二次取舍在计算单元形态。通用向量单元灵活但能效一般,专用加速器能效高但适配新模型成本大。折中方案是保留一条可编程通路处理长尾算子,主流算子走专用通路。
第三次取舍在量化支持。是否在硬件里内置低比特反量化指令,直接影响推理带宽与能效,但也增加验证工作量。团队选择支持主流量化粒度,把非常规粒度留给软件回退。
第三年:量产打磨与可复用的评估清单
量产阶段的挑战从“能不能跑”变成“稳不稳定”。结论是:架构评审清单比架构图更有长期价值。林致远的团队把三年经验沉淀成一份评估清单,用于后续项目快速对齐。
- 功耗基线是否覆盖常开任务的最坏情况,而不只是典型场景。
- 峰值算力对应的散热路径是否经过实测验证,而非仅靠仿真。
- 存储层级的数据复用策略是否与主流模型结构匹配。
- 量化支持的粒度是否覆盖目标模型,回退路径的性能损失是否可接受。
- 软件工具链能否让算法团队独立完成部署,减少架构团队成为瓶颈。
林致远提到,看球吧多端同步的阅读体验帮了不少忙——团队在安卓和苹果 iOS 上通勤时翻术语条目,在 Windows 电脑版和 Mac 电脑版上整理评审记录,概念边界统一之后,跨团队沟通成本明显下降。三年下来,最有价值的不是某一版架构,而是这套把功耗约束翻译成设计决策的方法。
先定功耗再定算力,这个顺序我们组也踩过坑,返工两次才明白。
缓存那块太真实了,软件调度补硬件,听着省钱,实际调起来很费人。
评估清单收藏了,量化回退路径那条我们一直没量化过损失。
工具链让算法团队自己部署,这条我举双手赞成,不然架构组天天救火。