1.2 寒冬与热潮交替，人工智能发展的起伏

自1956年达特茅斯会议到2019年，人工智能已走过63年的发展历程，但其发展并非一帆风顺，而是几经起落。在这起起伏伏的巨浪中航行与求索，只有AI相关从业者才能真切了解其中况味——浪潮期的荣耀与机会和寒冬期的低落与困境。

1.2.1 回望图灵奖背后的坎坷

2019年3月27日，ACM公布了2018年图灵奖获得者，即深度学习三巨头——约书亚·本吉奥（Yoshua Bengio）、杰弗里·辛顿（Geoffrey Hinton）和杨立昆（Yann LeCun）。这三位获奖者在业内被称为“当代人工智能教父”，他们开创了深度神经网络（Deep Neural Network，示意图见图1.3）这个技术领域。这项关键的计算机工程技术，为深度学习算法的发展和应用奠定了基础。三位获奖者的介绍如下。

● 约书亚·本吉奥，55岁，加拿大蒙特利尔大学教授，魁北克人工智能研究所的科学主管（Scientific Director）；

● 杰弗里·辛顿，72岁，谷歌公司副总裁和工程会士（Engineering Fellow），加拿大Vector人工智能研究院首席科学顾问，多伦多大学名誉教授；

● 杨立昆，59岁，纽约大学教授，脸书公司（Facebook）副总裁兼首席AI科学家。

深度学习三巨头获得计算机界最高殊荣的背后，是一段经历了寒冬的艰辛之路，也是相关学者在人工智能学术道路上数十年来执着前行、永不言弃的时代缩影。

20世纪80年代，杰弗里·辛顿等人坐了若干年的冷板凳，直到21世纪AI的再度爆发才得以扬眉吐气。在这次浪潮中，杰弗里·辛顿提出新的神经网络模型“胶囊网络”（Capsule Network），试图找到解决深度学习缺陷的新方法。这位七旬老人熬过了AI最寒冷的冬天，并且认定下一个冬天不会到来。

辛顿早年的科研之路可谓坎坷至极。1973年，辛顿进入爱丁堡大学研究生院，师从克里斯托弗·龙格-希金斯（Christopher Longuet-Higgins）学习人工智能。当时正值人工智能的寒冬期，神经网络也受到了学术界轻视。

克里斯托弗是著名的理论化学家和认知科学家，曾培养出诺贝尔奖获得者。在辛顿师从克里斯托弗学习人工智能期间，其与导师的理念不尽相同：克里斯托弗坚持传统的逻辑人工智能理念，而辛顿则坚信基于神经元理论的神经网络一定是未来的发展方向。

“我的研究生生涯充满了坎坷，每周我们都会有一场争吵。”辛顿后来回忆，他一直在和导师做“交易”:“让我再做6个月的神经网络，我会向你证明它们是有效的。”但在6个月结束的时候，辛顿又说：“再给我6个月”，之后又说“再给我5年时间”。终于在20世纪80年代，辛顿成功了。

1986年，辛顿等人完成著名的论文《反向传播学习实验》（Experiments on Learning by Back Propagation），提出了影响后世人工智能发展的新神经网络方法。

不过，当时既没有足够的数据，也没有足够的计算能力，导致神经网络无法进行大规模训练，学术界和产业界对辛顿的神经网络依旧不感兴趣。辛顿参加学术会议时，经常坐在房间的角落里，得不到当时学术界大咖的垂青。

2012年，辛顿和他的两名学生发表论文，提出了深度卷积神经网络模型AlexNet，并在当年的ImageNet大规模图像识别竞赛中获得冠军。后来辛顿加入“谷歌大脑”，AlexNet也成为图像识别中最经典的模型之一，在产业界得到普遍应用。

更值得纪念的是，2015年，杰弗里·辛顿、杨立昆、约书亚·本吉奥这三位深度学习巨头在《自然》（Nature）杂志上共同发表了一篇名为《深度学习》（Deep Learning）的综述文章，讲述了深度学习为传统机器学习带来的变革，树立了人工智能在学术界的崭新丰碑。

辛顿等人所经历的坎坷，只是人工智能两落三起的一个缩影，让我们来回顾一下这段历史。

1.2.2 人工智能的第一次发展浪潮

1956年达特茅斯会议之后，人工智能迎来了第一次发展浪潮。在这之后的十余年间，计算机被广泛应用于数学和自然语言领域。研究者们在定理证明、人机对话方面做了一些工作，并进行了一些机器翻译的尝试。其中，1960年华裔美国数理逻辑学家王浩提出的命题逻辑的机器定理证明新算法，证明了集合论中的300多条定理。1957年，康奈尔大学的实验心理学家弗兰克·罗森布拉特（Frank Rosenblatt）发明并模拟实现了一种他称为“感知机”的神经网络模型，该模型可以完成一些简单的视觉处理任务，这在当时引起了轰动。

这些工作成果让很多研究学者看到了机器向人工智能发展的信心。当时甚至有很多学者认为：“20年内，机器将能完成人类能做到的一切。”但这一波浪潮本身都没有持续20年。

1.2.3 人工智能第一次低谷

20世纪70年代，第一波人工智能热潮逐渐退去，发展遭遇瓶颈。受技术发展的制约，当时的人工智能主要面临计算机性能不足、无法应对高复杂性问题以及数据量严重不足这三大瓶颈，因此无法解决任何实际的人工智能问题。此前，研究者们对人工智能的期待是具有人类儿童水平的认知，但在当时来讲，这一要求实在太高了。

由于缺乏技术突破，此前对人工智能研究项目提供资助的机构也逐渐停止相关资助。美国国家研究委员会（National Research Council, NRC）当时也对方向不明朗的AI研究感到失望，在拨款2000万美元后停止了资助。这种情况不只发生在美国，1973年，针对没有太多亮眼成绩的英国人工智能研究状况，著名数学家詹姆斯·莱特希尔（James Lighthill）也批评AI并未实现“宏伟目标”。现在我们通常认为1976年到1982年是人工智能的第一次低谷期。

1.2.4 人工智能迎来第二次发展浪潮

1980年，卡内基-梅隆大学为数字设备公司（Digital Equipment Corporation, DEC）设计了一套名为XCON的“专家系统”，它标志着人工智能迎来了第二次发展浪潮。XCON是一种采用人工智能程序的系统，可以简单理解为“知识库+推理机”的组合，是一套整合了当时DEC计算机配置方面专业知识的计算机智能系统。XCON可以按照订单需求自动选取DEC公司VAX系列计算机的零部件。这套系统在1986年之前每年能为DEC公司节省至少几百万美元的经费。

得益于该商业模式的成功，Symbolics、Lisp Machines、IntelliCorp、Aion等公司涌现了出来。在第二次人工智能浪潮期间，仅专家系统产业的价值就高达5亿美元。商业模式之外，国际竞争更是加速了专家系统的发展。1981年，日本在经过为期两年的广泛调查之后，决定投资1000亿日元，实施为期十年的“第五代计算机技术开发计划”，设想中的第五代计算机（五代机）将能够进行智能信息处理。日本的勃勃雄心给美国的计算机技术霸主地位带来了压力。美国国防部高级研究计划局（Defense Advanced Research Projects Agency, DARPA）也于1982年提出用10亿美元预算研究五代机。英国不甘落后，政府联合企业筹资逾5亿美元，于1983年开始实施第五代计算机的研究计划。苏联也成立了“计算机工程国际委员会”开发五代机。专家系统一时风光无限。

1.2.5 人工智能第二次低谷

不幸的是，这段繁荣并未持续太久，仅仅维持了7年，人工智能就陷入了第二次低谷，而这次低谷可以被称作“AI之冬”，也正是这次“冬天”让“深度学习技术之父”——辛顿等知名学者坐了数年冷板凳。

“AI之冬”一词是经历过1974年经费削减的研究者们提出的。当时他们注意到了人们对专家系统的狂热追捧，预言不久后人们将转向失望。事实被他们不幸言中，专家系统的实用性仅仅局限于某些特定情景。

到了20世纪80年代后期，DARPA的下属机构战略计算促进会（Strategic Computing Initiative）大幅削减对AI的资助。DARPA的新任领导认为AI并非“下一个浪潮”，拨款转为倾向于那些看起来更容易出成果的项目。另外，在技术方面，到1987年，苹果公司和IBM公司生产的个人计算机性能都超过了Symbolics等厂商生产的通用计算机。从此，专家系统风光不再。

1.2.6 人工智能重装上阵

20世纪90年代中期开始，随着AI技术，尤其是神经网络技术的逐步发展，以及人们对AI开始抱有客观理性的认知，人工智能技术进入了一个复苏期。1997年5月11日，IBM公司的计算机系统“深蓝”战胜了国际象棋世界冠军卡斯帕罗夫，又一次在公众领域引发了现象级的AI话题讨论。这是人工智能发展的一个重要里程碑。

2006年，辛顿在神经网络的深度学习领域取得突破，这是标志性的技术进步，人类又一次看到了机器在某些方面赶超人类的希望。

深度学习算法的迭代更新，加上近些年来全球数据爆发式的增长，以及计算能力的大幅提升，人工智能在全球范围内迎来了波澜壮阔的第三次浪潮。这一次人工智能浪潮与前两次浪潮有着明显的不同。基于大数据和强大计算能力的机器学习算法已经在计算机视觉、语音识别、自然语言处理等一系列领域中取得了前所未有的重大突破，基于人工智能技术的应用也开始走进千家万户。

人工智能技术开始大幅跨越科学与应用之间的“技术鸿沟”，图像分类、语音识别、知识问答、人机对弈、自动驾驶等人工智能技术实现了从“不能用、不好用”到“可以用”的技术突破，迎来了爆发式增长的新高潮。

昔日的冷板凳，终于被辛顿这样的人工智能拓荒者和耕耘者数十年如一日的执着追求“焐”热，而这种热度一旦超越某个界限就不会再轻易冷却。