1.2　深度学习

1.2.1　机器智能的神经网络方法

人脑含有约860亿个神经元，还有大致850亿个非神经细胞。在大脑皮层（Cortex）约有160亿个神经元，小脑有690亿个神经元。人脑的神经元一般只与周围几千个神经元相连接，彼此能够传导电信号。

要让机器代替人脑工作，最直观的方法就是用机器来模拟人脑的工作行为。但是要模拟这些人脑工作的原理有难度。

首先，人脑作为一个系统，太复杂，涉及生物学、生理学、化学等学科知识；其次，至今人们还未彻底理解人脑的各个功能的工作机理。当然，确实有研究人员是沿着这个思路去实现机器智能的。

那是否还有别的思路呢？其实思路也挺多的，这里有一种称为人工神经网络（Artificial Neural Networks）的方法，最近在实践中被证明是有效的方法。这种方法又称为连接主义（Connectionism)，其核心思想是通过大量简单计算单元连接起来的网络来实现复杂的智能行为。

这种方法首先是用数学方法来抽象出单个神经元（Neuron）的功能，构建出单个人工神经元的模型。其次，在单个神经元建模的基础上，参考人脑中神经元的连接方式，构建人工神经网络。最后，通过输入数据样本给神经网络训练，调整神经网络的参数，使其完成具有某些智能的任务（如眼睛看、耳朵听等）。

1.2.2　人工神经元与人工神经网络

对于单个神经元的活动原理，目前已经有比较深入的研究。不论何种神经元，从功能上可以分为接收区域（Receptive Zone）、触发区域（Trigger Zone）、传导区域（Conducting Zone）和输出区域（Output Zone）。

这里给出人工神经元的数学抽象模型，也称为逻辑斯提回归单元（Logistics Regression Unit）。人工神经元模型如图1-2所示，这种结构又称为McCulloch-Pitts神经元。它将n个输入加权求和后，经过变换f(x)输出。逻辑斯提回归单元的f()函数就是逻辑斯提函数（Logistics Function）。

将这些单个人工神经元联网，形成复杂的人工神经网络结构，并可以不断扩大网络的层数（又称为深度）和人工神经元的数目，如图1-3所示。

以上架构人工智能的神经网络方法，就是典型的连接主义的方法，现在称为深度学习的方法，在有大量的训练数据和超大计算能力的情况下，在工业实践中被证明是有效的。

这里需要注意：深度学习使用的神经网络，本质上是一个函数变换的数学模型，和生物中的神经元与神经网络已经没有什么关系了。

基于人工神经网络的人工智能技术的发展，并非一帆风顺。过去经历了两次高潮和两次低谷。

随着1957年罗森布赖特提出了感知机（Perceptron）的概念，掀起了第一次人工神经网络的热潮。由于受当时计算机的计算能力限制，20世纪70年代进入了低谷。

1986年，随着霍普菲尔德神经网络与BP算法的提出，掀起了第二次人工神经网络的热潮。这次由于人工智能计算机的研制失败，20世纪90年代再次进入了低谷。

2006年，多伦多大学的Geoffrey Hinton提出了深度神经网络和训练方法。

2011年，深度神经网络在TIMIT语音识别上实现了突破。

2013年，深度神经网络在图像识别上取得了重大进展。

2013年，深度学习被列为《麻省理工学院技术评论》的十大突破性技术之首。

目前，人工神经网络正进入第三次热潮。回顾过去，人们发现主要原因是当时的计算机的计算能力不够，用于训练的数据样本量不足，造成期望与实际效果之间有较大差别。随着计算硬件技术的进步，云计算和网络所支持的计算能力的大规模提升，再加上基于大数据的机器学习的算法进步，基于神经网络的人工智能方法得到复兴。

1.2.3　神经网络的复兴

深度学习（Deep Learning）是深度神经网络（Deep Neural Networks)的另一个名称。深度学习的核心是深度神经网络的设计与训练，采用层级更深、参数规模更大的神经网络。

深度神经网络的兴起在于三位领军人物的不懈追求。他们是Geoffrey Hinton(多伦多大学教授)、Yoshua Bengio（蒙特利尔大学教授）和Yann LeCun（纽约大学教授），见图1-4。Geoffrey Hinton参与提出了反向传播算法BP，Yoshua Bengio提出了Autoencoder和机器翻译的GRU等方法，Yann LeCun提出了用卷积网络识别手写体的方法。

这次深度学习普及的引发点始于2012年，由Geoffrey Hinton指导博士生Alex Krizhevsky和Ilya Sutskever采用深度卷积网络（AlexNet），在ILSVRC-2012图像分类（Image Classification）挑战赛的突破性的成绩，使准确率大幅度提升。