第一节 探究安全问题的必要性与重要性

一、科学技术的不确定性

无论是牛顿经典物理学，还是爱因斯坦的相对论，寻求的都是确定性的科学。从认识论的角度看，传统西方哲学认为，只有完全固定不变的东西才能是实在的，只有确定的事物才内在地属于知识与科学所固有的对象。因此，我们总是在孜孜不倦地寻求确定性。但是，耗散结构理论的创立者普利高津（Ilya Prigogine）发现了自然科学中的时间箭头，强调不可逆性，宣称“科学不再等同于确定性”，“承认未来不被确定，我们得出确定性终结的结论”。当然，普利高津并不是要走一条完全不确定的科学道路，他的目标是要在确定性定律所支配的世界与由掷骰子的上帝所支配的世界之间寻求一条中间道路。相对于科学的不确定性，技术的不确定性更为明显，不确定性应该是现代高新技术的固有属性。从更广泛的历史角度看，20世纪的艺术、科学、经济、社会与环境都经历了从确定性转向不确定性的过程，确定性逐渐被不确定性消解。

科学技术的不确定性具体表现在以下几个方面。第一，科学技术本身具有内在的不确定性，而且这种不确定性并不会随着科技的发展而消失。由于认识对象的复杂性，以及人类认识主体的局限性，使得我们只能在一定程度上形成对认识对象的正确认知，特别是像人工智能技术这种涉及多种科学技术的高新技术尤其如此。汉森（Sven Ove Hansson）指出：“虽然新的信息（尤其是科学提供的信息）有时消除了原有的不确定性，但是它们也以表面上看更快的速度创造出新的不确定性。”科技发展过程中的不确定性已经引起了广泛的关注。我国政府于2017年7月发布的《新一代人工智能发展规划》指出：“人工智能发展的不确定性带来新挑战。……在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。”

第二，技术应用的不确定性。技术应用的不确定性可能源于技术本身的缺陷，或者使用者的不当使用以及滥用。人工智能技术开发者无法准确预测人工智能应用的所有场景，对其技术本身的缺陷也难以准确而全面地把握，导致技术缺陷可能在技术广泛应用之后才充分显现出来。由于目前人工智能技术处于快速发展时期，许多国家与企业都认为人工智能产业可能带来极大的经济效益，对经济利益的追求也可能使得技术研发者急于把并不成熟的技术产品投放市场。另外，由于使用者的知识局限或其他种种原因，可能会产生不当使用甚至滥用的情形。

第三，科技导致的社会后果的不确定性。一方面，即使人工智能技术在当前的使用是安全可靠的，但其可能导致的长期社会后果也可能存在安全隐患。比如，人们普遍担心人工智能快速发展并超越人类智能，由此产生的安全问题可能是灾难性的。另一方面，未来社会中人工智能可能会融入人类生活的方方面面，导致人类生产生活各方面的深刻变革，由此引起来的连锁反应是难以预测的。

从技术哲学的角度看，技术预测虽然得到较为广泛的应用，但预测也具有不确定性。罗森伯格（Nathan Rosenberg）认为，一项发明对未来的影响的不确定性源于多种因素，而且一种新技术被引入商业应用之后，不确定性也不会消失。新发明对未来影响的不确定性主要源于以下几种相互关联的因素：潜在的应用、互补性的发明、技术系统的整合、解决问题缺乏远见、通过“需要”（needs）测试，以及与已有技术之间的竞争等。

科学技术的不确定性并不必然导致安全问题，但这是安全问题产生的根源。既然不确定性是科学技术固有的，那么解决安全问题的途径并不是消灭不确定性，而是与之共存。也就是说，寻求一种科技与社会的共同进化机制，将不确定性限制在一定范围之内。正如王国豫指出的那样，“解决高科技的伦理问题，必须直面高科技的不确定性。在某种意义上我们甚至可以说，高科技的伦理就是关于不确定性的伦理”。

二、人工智能超越人类智能的可能性

毋庸置疑，人类的智能水平从整体上远远超越于其他生物智能，正是因为这一点，使得人类成为地球的统治者。因此，我们很自然地得出推论，如果人工智能超越了人类智能，人工智能很可能不再会听从人类的指令，反而会与人类争夺统治权，正如许多科幻电影与文学作品中所表现出来的那样。那么，人工智能会从整体上超越人类智能吗？

鉴于人工智能发展史上经历的若干曲折，另外，可能主要是基于对人工智能发展现状的理解，目前大多数人工智能专家对人工智能能否（至少是在短时期内）超越人类智能持谨慎甚至是否定态度。日本人工智能专家松尾丰（Yutaka Matsuo）认为：“人工智能征服人类、人工智能制造出人工智能——这种可能性在现阶段看来并不存在，只不过是凭空臆想而已。”在他看来，我们没有必要对人工智能征服人类感到忧心忡忡。清华大学计算机系邓志东教授认为，目前人工智能虽然取得了突破性进展，但仅仅是针对某个细分领域或特定应用场景的弱人工智能的革命性进展，离达到甚至超越人类智能的所谓强人工智能或“奇点”的到来，还为时甚远。西安交通大学人工智能与机器人研究所龚怡宏教授认为，尽管机器智能很可能在不远的将来在棋牌类竞赛中全面超越人类，但现有的机器学习框架并不能模拟出人类的想象力和创造力。因此，在当前情况下，机器智能全面超越人类智能的预测是不会成为现实的。当然，我们应该注意到，人工智能专家大都是强调从现阶段的技术水平来说，人工智能安全问题并不值得过于担心，但对于将来会如何，则难下定论。

科学家主要关注当前的现实问题，哲学家则需要更多地思考未来。我们可以从多个角度来考察人工智能超越人类智能的可能性问题。首先，从辩证唯物主义的角度看，人类对客观世界的认识是一个从相对真理向绝对真理永无止境的发展过程。虽然目前学界对智能及其实现方式的认识存在许多差异，但这正是体现了人类对智能认识的多样性，是人类实现对智能全面深入的理解的必经过程，并不意味着人类对智能的全面理解是不可能的。从这个角度看，科学家对人类智能的全面认识与实现，只是程度和时间的问题，而不是可能与不可能的问题。

已有不少学者从哲学、未来学等角度论证了人工智能发展进步的可能性与可行性。林德宏指出：“新技术革命的主要任务是解放人的智力，超越人的大脑的局限性。……不少科学家认为，电脑不仅能模拟人的逻辑思维，还可以模拟形象思维、模糊思维、辩证思维，人工智能将来可能全面超过人脑智能。”徐英瑾认为，我们可以在维特根斯坦（Ludwig Wittgenstein）哲学的启发下，在一种非公理化推理系统的技术平台上开发出具有不同配置形式的通用智能系统，并使之走向产业化和商业化。被微软公司创始人比尔·盖茨（Bill Gates）誉为“预测人工智能未来最权威的人”的库兹韦尔坚信，人工智能会超越人类智能，而且超越的速度会比人们预想的快得多。他认为，2045年是“奇点”到达的时期，这将是极具深刻性和分裂性的时间点，非生物智能在这一年将会10亿倍于今天所有人类的智慧。虽然库兹韦尔的观点受到一些学者的批评，但他的论证并非空穴来风，而且他的著作产生的广泛影响至少说明了他所思考的问题的极端重要性。

从科学技术史的角度看，许多预言不可能实现的科学技术，后来都变成了现实。比如，在飞机发明之前，一些著名的科学家与工程师都认为飞机不可能飞上天，让比空气重的机械装置飞起来纯属空想。但是，事实证明他们都错了。因此，当科学家对某些科学技术进行否定性的预测时，他们更应该谨慎行事。当然，要对某一项科学技术的发展及应用做出精确预言几乎是不可能的。但是，从相关技术的发展进步以及目前世界各国对人工智能重视的程度来看，人工智能在未来一段时期内极可能会有快速的发展。计算机的计算速度、存储容量的快速发展是有目共睹的，近些年发展起来的深度学习、云计算、类脑计算、大数据技术等也会推动人工智能的发展进步。

事实上，谷歌“阿尔法围棋”的胜利使得人们普遍相信人工智能必将取得更快的发展。据报道，在“阿尔法围棋”与李世石之间的“人机大战”之后不久，韩国政府宣布一项总投资约8.4亿美元的专项计划，用于加快人工智能产业的发展。世界上许多国家自然都不甘落后，希望抢占人工智能研发高地，科研经费与人员投入的增长肯定会持续相当长的一段时间。根据《乌镇指数：全球人工智能发展报告（2017）》中报道，2015年全球人工智能市场规模为1683.9亿元，预计2018年将逼近2700亿元，年复合增长率达到17%。2012-2016年，全球人工智能企业新增5154家，是此前12年的1.75倍。全球人工智能融资规模达224亿美元，占2000-2016年累积融资规模的77.8%。仅2016年的融资规模就达到92.2亿美元，是2012年的5.87倍，与2000-2013年累积融资规模相当。乌镇智库发布的《全球人工智能发展报告（2018）》指出，截至2018年，全球人工智能企业共计15916家，其中美国4567，中国3341，英国868，分列前三。截至2018年，全球人工智能企业共计融资784.8亿美元。2018年，中国人工智能企业融资规模达157.54亿美元。从这个角度看，想要阻止人工智能的发展几乎是不可能的。

三、人工智能产生危害的可能性与后果的严重性

虽然很多科学家对人工智能的发展持比较乐观的态度，但也有一些科学家对人工智能的未来表示担忧。比如，2014年底，英国广播公司报道，著名理论物理学家霍金（Stephen Hawking）表示：“人工智能的全面发展可能导致人类的灭绝。”霍金担心，人工智能也许会在将来的某一天赶上——甚至超过人类。包括比尔·盖茨在内的一些著名人士也对人工智能的未来表示了类似的忧虑。江晓原认为，人工智能会比人类更聪明；人工智能有失控和反叛的危险，但是人工智能的威胁还有更远期的，从最终极的意义来看，人工智能是极度致命的。

我们认为，即使人工智能整体上并未超过人类智能，但不加控制的片面的人工智能也可能给人类带来危害。就像波斯特洛姆（Nick Bostrom）提出的曲别针思想实验那样：如果一个人工智能被设置为管理工厂的生产，其最终目标是使曲别针的产量最大化。那么，人工智能很可能具有无法满足的胃口，去不断地获取物质和能力，走上首先将地球，然后将整个可观察宇宙的大部分都变成曲别针的道路。罗素（Stuart Russell）等人指出，如果我们给人工智能提出使人类痛苦最小化的目标，考虑到人类的生活方式，我们即使在天堂里也会发现受苦受难的方式，所以对人工智能来说最理想的措施就是尽快灭绝人类，因为没有人类就无所谓痛苦。因此，我们对人工智能提出要求时需要非常谨慎，尽管人类非常清楚对自己提出的目标不能仅仅从字面上来理解，但人工智能可能不会如此。

另外，互联网、物联网技术使得人工智能的安全问题更加复杂化。一方面，网络资源使得人工智能自身发展进化和可供使用的资源趋于无穷。另一方面，互（物）联网技术使黑客、病毒等人为因素对人工智能产品构成巨大威胁。即使人工智能尚不如人类智能，但网络技术极可能使我们对人工智能的依赖演变成灾难。比如，如果黑客控制了人们家里的儿童看护机器人、助老机器人或其他智能系统等，由此导致的后果将不堪设想。

从近几十年非常流行的风险社会理论的角度看，研究人工智能安全问题的必要性是不言而喻的。作为风险社会理论代表人物之一的贝克（Ulrich Beck）认为：“风险概念表明人们创造了一种文明，以便使自己的决定将会造成的不可预见的后果具备可预见性，从而控制不可控制的事情，通过有意采取的预防性行动以及相应的制度化的措施战胜种种副作用。”虽然风险社会研究的不同流派对风险的界定及防范等基本问题有各自不同的看法，但对高科技会导致风险的认识是高度一致的。因此，风险社会研究的理论成果对人工智能的安全问题研究颇有借鉴与启发意义。

总的来说，鉴于人工智能超越人类智能的可能性，以及人工智能产生危害的可能性与后果的严重性，加上科学技术本身内在的不确定性，这些因素足以构成我们研究人工智能安全问题的必要性。即使认为人工智能短时期内不会超越人类智能的科学家，也不能从根本上否认人工智能安全问题的重要性。人文社会科学研究本来就应该超越自然科学的发展，具有一定的前瞻性，从而避免“文化滞后现象”。