大脑如何储存长期记忆、检索回忆、做决策？这些大脑的运行机制值得AI学习( 三 ) _AI

在统计物理学中，一个具有相同物理和化学特性的材料系统中的均质状态被称为相（phase）。例如，水可以处于固相、液相或气相。当温度变化时，水可以从一个相变为另一个相，这被称为相变（phase transition）。临界状态表明系统正在从有序相向无序相转变。在有序和无序的边缘，或者称为“混沌边缘”，临界状态表现出许多特殊的属性。

文章插图
?图 2：蒙特卡洛模拟伊辛模型。图源：参考文献9
图2通过伊辛模型的模拟展示了铁磁材料的相变过程和临界状态9 。在伊辛模型中，自旋相互作用和热运动的竞争导致了有序相和无序相。图2a和2c分别显示了低温下的有序相和高温下的无序相。在相变边缘的温度下，如图2b所示，有序和无序处于平衡状态，两者都无法主导整个系统。在这个温度下，系统变得极其复杂，处于所谓的临界状态。
在有序相或无序相中，领域大小的分布集中在较大或较小的尺寸上，而在临界状态下，领域大小几乎分布在所有尺寸上。而且不同尺度上的分布是自相似的，这意味着这些分布是分形和无标度的。这种自相似分布在数学上可形式化为幂律（power law）10：

文章插图
。如果使用对数-对数坐标系，分布将呈现为一条直线。幂律分布是临界状态的一个重要特征。
除了通过精确调节伊辛模型中的温度或其他系统中的控制参数来达到临界状态外，有些系统还能自发地达到临界状态，这被称为自组织临界性（self-organized criticality，SOC）。在过去的二十年中，通过记录体外培养的脑组织或体内完整大脑的神经元活动，许多实验表明大脑皮层网络也能够自组织成临界状态。
在大脑的皮层网络中，每个神经元通过突触连接接收来自大量周围神经元的输入。当输入达到其阈值时，将产生动作电位，该电位将传递给其他神经元，导致其他神经元发放动作电位。Beggs和Plenz通过多电极阵列记录大脑组织的活动首次确认了关于临界大脑的猜测11 。他们发现神经元雪崩的大小和持续时间都服从幂律分布，这是临界状态的一个重要特征。随后，其他研究人员记录了不同物种的不同脑皮层在清醒和麻醉状态下的神经元活动，都再次证实了在网络的自发活动中神经元雪崩呈幂律分布12 。这表明，大脑网络在临界状态附近运行是一个普遍特征，而兴奋性和抑制性的平衡在维持临界状态方面起着关键作用。
鉴于临界状态在包括神经系统在内的许多复杂系统分析中的成功应用，一些研究人员还尝试将临界状态应用于研究人工神经网络，例如，改进储层计算和增强深度神经网络的性能。
储层计算（reservoir computing，RC）通常指的是递归神经网络（recurrent neural network，RNN）的一种特殊计算框架，其中可训练的参数仅存在于最终的输出层，即非递归的输出层，而所有其他参数则是随机初始化并在后续计算中保持固定状态。目前，RC模型已成功应用于许多计算问题，例如时序模式分类、识别、预测和动作序列控制等任务。RC模型仅在网络处于临界状态时表现良好，有时也被称为“回声状态（echo state）” 。受生物神经网络中的短时突触可塑性（short-term synaptic plasticity，STP）的启发，曾冠雄等人在RC模型中实现了一种SOC方案，通过短时抑制（short-term depression，STD）来调整RNN的状态，使其接近临界状态13 。STD大大增强了神经网络的稳健性，使其能够适应长期的突触变化，同时保持由临界状态赋予的最佳性能。它还提示了大脑在不同时间尺度上组织可塑性的潜在机制，在允许用于学习和记忆所需的内部结构变化的同时，维持信息处理的最佳状态（临界状态）。
除此之外，临界状态对于增强深度神经网络的性能也有启示作用。深度神经网络相较于浅层网络取得了巨大的成功。为了在理论上解释这一现象，Poole等人将黎曼几何与高维混沌的均场理论相结合，揭示出深度随机网络中逐渐增加的深度与混沌状态（临界状态）的瞬时变化之间存在指数级表达能力的关系14 。此外，他们证明这个特性在浅层网络中是不存在的。这一发现对网络的结构设计具有重要意义，为现有深度神经网络的卓越性能提供了理论基础。但是，目前关于临界状态是否总是有益的问题仍然是一个未解之谜。
临界状态为人们研究生物和人工神经网络提供了一种全新的视角。目前，临界性的框架不仅被用于理解神经动态和脑部疾病，还被用于分析深度神经网络的运行并指导进一步的改进设计。在更好地理解应用于人工神经网络的约束条件，以及设计更好的体系结构和动态规则来提高人工神经网络在复杂信息处理中的性能方面，临界性的框架将发挥更加重要的作用。