第1章 深度学习的架构

1.1 如何区分人工智能、机器学习、深度学习

1.1.1 人工智能：从概念提出到走向繁荣

1956年的达特茅斯会议上，“人工智能”的概念被几名计算机科学家提出，当时的科学家们致力于能够创造出具有和人类智慧同样本质特性的机器，并将当时刚刚诞生的计算机作为工具为之不懈努力。从此之后，“人工智能”这个名词就开始反复出现在人们眼中，与此同时，科学家们也持续聚焦于这个领域。但从1956年往后的数十年中，外界对它的评价始终有好有坏，它既被一群人称作人类文明耀眼未来的预言，又同时被另一群人当成技术疯子的狂想而弃如敝履，这种情况一直持续至2012年［1］。2012年以后，得益于数据量的上涨、运算力的提升和深度学习的出现，其持续扩大的研究领域几乎包含了社会的各个层面，图1-1展示了人工智能研究的各个分支，包括自然语言处理、推荐系统、专家系统、机器学习、进化计算、模糊逻辑、计算机视觉等［1］。

图1-1 人工智能研究的各个分支

1.1.2 机器学习：一种实现人工智能的方法

机器学习通过“训练”大量数据，然后采用各种算法从这些数据中学习怎样达成目标要求。机器学习能够通过处理一系列数据，最终达到决策和预测事件的目的。这与以往传统软件程序截然不同，传统程序往往只为解决特定的程序［1］。

在学习方法上，机器学习算法可以分为有监督学习、无监督学习、半监督学习、强化学习、集成学习和深度学习等。

机器学习起源于人工智能，聚类、决策树、支持向量机、贝叶斯分类等是典型的传统算法。近些年来，传统的机器学习算法已经应用于多个实际领域，并熟练运用在诸如物体检测、人脸检测、指纹识别等商业领域中。可是随着技术愈发成熟，它的发展也变得异常困难，直至深度学习的诞生打破了这种局面。

机器学习看似与普通人毫无联系，但实际上我们每天在进行的网购就与其相关。用户在网购时，常常会出现推荐商品信息，这正是用户的收藏清单和之前的购物记录起了作用，网页根据这些信息从海量商品中分辨出哪些是用户愿意为之付款的心仪产品，这是一种鼓励产品消费的方法，利用这种决策模型，能够促进商家的销售量大幅上涨［1］。

1.1.3 深度学习：一种实现机器学习的技术

从根本上来说，深度学习不是一种独立的学习方法，深度神经网络的训练有时候也会使用到无监督或有监督的学习方法。然而随着深度学习的发展，一些特有的学习手段陆续被提出，越来越多的人将深度学习单独看作一种学习方法。

而与深度学习密切相关的深度神经网络其实并非一个全新的概念，可以将它看成是一个包含多个隐含层的神经网络结构。通过对神经元的连接方法和激活函数等方面做出适当的调整，从而提高整个深度神经网络的训练效果。在这个思想的基础上早年间曾出现过不少的训练想法，但由于当时训练数据量的不足以及计算能力的落后，这些客观原因致使最终的效果并不如意［1］。

随着近些年计算机技术的飞速发展，早年制约深度学习的种种问题得以解决，深度学习实现了种种看似不可能的任务，似乎“人工智能”正在真正地向我们走来。

1.1.4 人工智能、机器学习和深度学习的关系

人工智能、机器学习和深度学习这三者的范围是逐步缩小的，如图1-2所示，利用一个同心圆，能够让我们直观地看出它们三者之间的关系。

现在有一种流传甚广的说法，即“深度学习最终可能会淘汰掉其他所有机器学习算法”。这一方面是由于当下传统的机器学习方法在自然语言处理、计算机视觉等领域的应用还远远不如深度学习，另一方面也在于深度学习深受媒体喜爱，大量夸大的报道使深度学习的热度水涨船高。但深度学习目前的发展还远远未达到终点，它最终是否可以淘汰掉其他所有机器学习算法还需要时间的验证［1］。

图1-2 人工智能、机器学习和深度学习的关系