统计物理是以玻尔兹曼等人提出的，以最大混乱度（也就是熵）理论为基础，通过配分函数，将有大量组成成分（通常为分子）系统中的微观物理状态（如动能、位能）与宏观物理量统计规律（如压力、体积、温度、热力学函数、状态方程等）联系起来的科学。这些微观物理状态包括伊辛模型中磁性物质系统的总磁矩、相变温度和相变指数等。
统计物理中有许多理论影响着其他学科，如信息论中的信息熵，化学中的化学反应、耗散结构，和发展中的经济物理学等。从这些学科当中都可看到统计物理在研究线性与非线性等复杂系统中的成果。
基于统计物理的方法已应用于传统物理领域之外的几个领域。例如，来自无序系统的统计物理学的分析和计算技术已经应用于计算机科学和统计学的各个领域，包括推理、机器学习和优化。
由于现在计算资源变得很普及且很强大，这就促进了这些方法向邻近学科领域的传播。一个例子是在 20 世纪中期马可夫链蒙特卡洛方法的有效使用。另一个重要例子是为分析具有多个自由度的无序系统而开发的分析方法。大量的粒子加在一起会有无法计算的自由度量，无法计算出它们全体的总运动效果，只能用统计方法计算。统计物理方法已经在数学类比的基础上应用于各种问题，这些类比的对应关系从数学角度来看非常清楚。
人工神经网络的奠基人之一约翰·霍普菲尔德（John Hopfield）当时就指出了这种类比，引发了物理学界对神经网络和类似系统的极大兴趣。这些类比包括动态神经网络和无序磁性模型材料的简单模型的概念相似性，所谓的吸引子神经网络（如 Little-Hop 场模型）中的平衡和动态效应，各种各样机器学习场景的分析，包括前馈神经网络的监督训练和结构化数据集的无监督分析等。
这些分析和类比涵盖了广泛的概念和领域，其中包括信息论、随机微分方程相变的数学分析、平均场理论、蒙特卡洛模拟、变分微积分、重整化群以及各种其他分析和计算方法 [296] 。
信息论是由贝尔实验室的工程师克劳德·香农（Claude Shannon）在 20 世纪 40 年代后期开创的，它的目的是对一个信号的信息量进行量化，而信息熵则代表了通信系统中接收的每条消息中包含的信息的平均量。
香农的理论始于以下观察：确定数据中的信息量并不总是像数那些所包含的字母、数字或其他符号的数目那样简单
（本章节未完结，点击下一页翻页继续阅读）
正在加载...