1.2.2 神经网络的复兴

反向传播算法引起的复兴阶段为1983—1995年，是神经网络发展的第二个高潮期。反向传播算法重新激发了人们对神经网络的兴趣。

1983年，物理学家Hopfield提出了一种用于联想记忆（Associative Memory）的神经网络，称为Hopfield网络。Hopfield网络当时在旅行商问题上取得了最好的结果，并引起了轰动。1984年，Geoffrey Hinton提出了一种随机化版本的Hopfield网络，即玻尔兹曼机（Boltzmann Machine）。

真正引起神经网络第二个研究高潮的是反向传播算法。20世纪80年代中期，一种连接主义模型开始流行，即分布式并行处理（PDP）模型。反向传播算法也逐渐成为PDP模型的主要学习算法。这时，神经网络才又开始引起人们的注意，并重新成为研究热点。随后，Lecun等将反向传播算法引入了卷积神经网络，并在手写体数字识别上取得了很大的成功。反向传播算法是迄今较成功的神经网络学习算法。在深度学习中，主要使用的自动微分可以看作反向传播算法的一种扩展。

然而，梯度消失问题（Vanishing Gradient Problem）阻碍神经网络的进一步发展，特别是循环神经网络。为了解决这个问题，Schmidhuber采用两步来训练一个多层的循环神经网络：①通过无监督学习的方式逐层训练每层循环神经网络，即预测下一个输入；②通过反向传播算法进行精调。

1995—2006年，神经网络的流行度又开始降低，在此期间，支持向量机和其他更简单的方法（如线性分类器）在机器学习领域的流行度逐渐超过了神经网络。

虽然神经网络可以很容易地增加层数、神经元数量，从而构建复杂的网络，但其计算复杂度也会随之增加，当时的计算机性能和数据规模不足以支持训练大规模神经网络。20世纪90年代中期，统计学习理论和以支持向量机为代表的机器学习模型开始兴起，相比之下，神经网络的理论基础不清晰、优化困难、可解释性差等缺点更加凸显，因此神经网络的研究又一次陷入低潮。