第 18 节 AI 芯片性能的衡量和评价（第1页）

现在，不管在产业界还是在学术界，都已经涌现出使用各种各样架构和算法的 AI 芯片。如何衡量和评价这些芯片的性能，已经成为一个亟待解决的问题。

如前所述，衡量一个 AI 芯片性能最基本的指标是芯片每秒的操作数（常用单位为 TOPS），表示完成任务的速度。这些芯片的性能也常常以 MAC/s 表示。MAC 算作两个运算：乘法和加法（尽管两者之间需要不同的时延和能量）。考虑到 MAC 由乘法和加法两个运算组成，OPS 与 MAC/s 之比为 2︰1。如果要在边缘侧执行图像识别的话，需要大约 10 TOPS 的处理能力。

但是从这个指标还看不出能效，因此常使用单位功率下芯片的每秒操作数（常用单位为 TOPS/W）。例如，10 9 次运算/10 ms/0.1mW=1000 TOPS/W。图 3.19 中的对角红线展示了各种不同的 AI 芯片的能效，箭头所指为发展方向。当前，微控制器和嵌入式 GPU 的能效仅限于几十至几百 GOPS/W，而如果要实现边缘侧设备「永远在线」推理，AI 芯片的系统级能效需要远超过 10 TOPS/W。

一些论文常常使用每秒操作数或单位功率下的每秒操作数来描述芯片的性能。然而，如果仅仅用这两个指标来描述，并不能全面反映一个 AI 芯片真正的性能优势或劣势。

AI 芯片的性能衡量指标应该包含以下几个方面。

（1）时延：这个指标对于某些应用来说特别重要（见图 2.9）。有的初创公司设计了所谓的「实时 AI 芯片」，就是针对这个指标作了特别的努力。时延直接与所使用的批量的大小有关。

（2）功耗：不但包含了芯片中计算单元的功率消耗，也必须包括片上和片外存储器的功耗。

（3）芯片成本/面积：这个指标在边缘侧应用特别重要。裸片的面积（包含存储器面积）对成本有直接影响，
（本章节未完结，点击下一页翻页继续阅读）