第2章 人工神经网络计算

20世纪80年代中后期，最流行的一种连接主义模型是分布式并行处理（Parallel Distributed Processing，PDP）模型。它有3个主要特性：①信息表示是分布式的（非局部的）；②记忆和知识存储在单元之间的连接上；③通过逐渐改变单元之间的连接强度来学习新的知识。神经网络可以构造多样的网络结构和学习算法，在深度学习任务上，已经取得了很大的突破，尤其在自然语言处理和计算机视觉方面，表现出了非凡的学习能力。

在本章中，主要介绍人工神经网络的基本组成单元——非线性激活函数的神经元模型，以及通过大量神经元之间的连接组成的几种神经网络结构。神经元之间的连接权重就是需要学习的参数，可以通过梯度下降法来进行学习。另外，还对神经网络的学习规则、损失函数、正则化方法及模型评估方法进行阐述。