当前的 AI 算法主要是基于模仿「大脑」的神经网络。多层结构组成的深度学习可以实现非常复杂的高级处理，但是需要花费很长的计算时间。另外，有研究人员发明了一种使用神经网络模仿「小脑」的新方法，与深度学习相反，这种方法是浅度学习，因而计算速度非常快。这种新的 AI 系统所基于的计算范式，称为储备池计算（Reservoir Computing）。
储备池计算已有十多年历史，并且从机器学习领域开始逐渐流行起来。尽管它最初被定义为训练循环神经网络（RNN）的一种轻量级方法，但现在已经发展成为一种使用动态系统对时间序列数据进行计算的方法。
从理论上讲，RNN 是完成复杂时间序列数据的机器学习任务的非常强大的工具。尽管如此，仍有几个因素阻碍了 RNN 在实际应用中的大规模部署。一个因素是它的学习规则还不多，并且大多数规则收敛速度慢，从而限制了它的适用性。因此，在 2001～2004 年间，先后有人提出了液体状态机（Liquid State Machine，LSM） [228] 、回波状态网络（Echo State Network，ESN） [229] 和反向传播解相关（Backpropagation Decorrelation，BPDC）学习规则 [230] 等一些新的想法，都是用 RNN 替代神经网络的中间层（隐藏层）来作为储备池，主要目的是省去训练，而用一个简单的外部分类层来「读出」数据。
在神经网络中的每个节点（对应于神经元）处，输入到该节点的信号经过加权，通过适当的非线性函数输出，传播到下一个节点。改变权重相当于学习。在传统的神经网络中，权重基本上在所有节点上都改变。在储备池计算中，通过将输入映射到高维空间中（增强了可分离性），这种映射能够合并输入中存在的时间信息，无须调整内部连接权重，即可以利用递归非线性网络的动力学来处理时间序列，而无须训练网络本身，只需添加一个通用的线性读出层并仅对其进行训练即可。这样就可以简化系统（因为只需要优化读数权重），从而轻松地训练系统，但其功能足以与完成一系列基准任务的其他算法相媲美。储备池计算尽管不像通过 DNN 实现高级判断那样强大，但是可以通过增加储备池中的节点数等来改善要生成的输出信号的多样性。因此，它也可以进行复杂的处理。
ESN 是最流行的储备池计算范例
（本章节未完结，点击下一页翻页继续阅读）
正在加载...