过去,大部分 AI 模型的建立或算法的运算,都是在以 CPU 为核心的计算机里进行模拟的结果。
近些年来,正如摩尔定律所揭示的,业界通过在芯片上放置越来越多的晶体管使 CPU 实现更高的性能。然而,由于严格的功耗限制,片上时钟频率无法跟随这种上升趋势。使用多核处理器可以在不提高时钟频率的情况下提高计算性能。因此,从 2005 年开始,主流厂商转而采用多核处理器作为克服该问题的替代解决方案。但是很可惜,这种解决方案从长期来看可扩展性并不好。通过在芯片内部添加更多处理器核所实现的性能提升,是以各种快速增长的复杂性为代价的,如核与核之间的通信、内存一致性,还有最重要的功耗问题。
在早期的芯片工艺技术发展节点中,从一个节点到下一个节点允许的晶体管频率几乎加倍,并且可以通过降低电源电压,使功率密度几乎保持恒定。随着工艺技术进一步发展,虽然从一个节点到另一个节点的晶体管密度仍会增加,但它们的最大频率大致相同,并且电源电压不会相应地降低。结果,现在每个新技术节点的功率密度都在增加。因此,现在最大的挑战是降低单位平方毫米的功耗和热量耗散。
这种趋势很快就会限制内核数量的扩展,就像十多年前单个 CPU 核时钟频率被限制的情况那样。很多技术论文将这种情形表述为「暗硅」(Dark Silicon)效应——芯片在工作的时候,其中一部分区域必须保持断电以符合热量耗散约束条件。用一个简单的比喻来说,就好像房间里装了很多几百瓦的大灯泡,不能同时打开,只能让其中一部分点亮,如果同时打开,该房间的线路就会因高温被烧毁。解决此问题的一种方法是使用硬件加速器。硬件加速器可帮助处理器降低工作负载,提高总吞吐量并降低能耗。
现在的绝大多数 AI 芯片,就是这种硬件加速器。目前市场上第一批用于 AI 的芯片包括现成的 CPU、GPU、FPGA 和 DSP,以及它们的各种组合。虽然英特尔(Intel)、谷歌(Google)、英伟达(NVIDIA)、高通(Qualcomm)和 IBM 等公司已经推出或正在开发新的芯片设计,但目前还很难说哪家一定会胜出。一般来说,总是需要至少一个 CPU 来控制系统,但是当数据流需要并行处理时,将需要各种类型的协处理器(即硬件加速器),这就是专用集成电路(Application Specific Integrated
(本章节未完结,点击下一页翻页继续阅读)