当前 AI 研究的趋势是专注于使用更强的计算能力和更多的训练数据来解决规模越来越大的问题。有不少分析指出，从产生高性能图像分类的第一个 DNN，到最近各方面所取得的进展，计算资源的需求一直是指数级增长。
这样的趋势并不存在于人类的大脑中。人类仅拥有有限的计算资源，即那些可以在我们大脑中携带的资源，并且仅限于可以在一生中获得的数据。
由于人类思维只有有限的计算资源，因此必须以自适应方式分配它们，以有效地解决复杂问题。人类必须能够充分利用可获得的每一条数据，建立并利用学习所产生的各种丰富的模型。由于具备了这些能力，人类得以成为高效、通用的学习者——这与当前需要大量训练数据且只能应对特定任务的 AI 系统（尤其是深度学习）形成鲜明对比。
AI 还只是刚刚开始发展，很多内部机制至今还不能从理论上得到很好的解释。要使 AI 系统能够像人类一样只利用有限的计算资源和数据资源就达到很高的性能，还需要对目前的 AI 算法和模型作出根本性的改变，就像当年在数学和物理学上得到突破那样。
数学和物理学的接力突破，奠定了无线通信的理论基础。麦克斯韦用 4 个方程组，推测出电磁波的存在并以光速传播。赫兹用实验探测到电磁波，证实了麦克斯韦的猜想。马可尼从赫兹的实验结果中发现了商机，拉开了无线通信产业的大幕。
现代计算机无比强大的功能，起源于最基本的数学规则。二进制定义了最基本的计算语言，布尔代数实现了数理逻辑运算。而冯·诺依曼提出的存储程序原理，为现代计算机的结构奠定了基础，掀起了以信息通信为主体的新的工业革命。
目前最流行的深度学习虽然缺乏扎实的理论背景，但并没有影响深度学习方法的实际应用和取得的商业成功。然而，加强其理论基础是必不可少的。一方面由于神经网络的内部机理至今仍然是「不可解释的」，另一方面神经网络至今只能用于专门的任务，还远远没有达到可以通用的泛化能力。如果没有基础理论的深度，就不会有算法的优化和新概念的开发，也不会有基于这样的算法的芯片实现。
AI 这个新兴的领域，与数学、物理学和其他一些理论学科有着密不可分的联系，涉及数学基础和统计物理、训练动力学、电磁场和量子场论、逻辑学基础、图像编解码、信息论等。
下面将对一些基础理论和思路进行介绍，这些刚刚开头的工作已
（本章节未完结，点击下一页翻页继续阅读）
正在加载...