前言

人工智能（Artificial Intelligence，AI）是研究和开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学，有着漫长而曲折的发展过程。1956年，人工智能的概念首次被提出，之后，人工智能的发展经历了三次大的浪潮，分别是20世纪50年代末到70年代初：人工智能思潮赋予机器逻辑推理能力；20世纪80年代初到90年代初：专家系统使得人工智能实用化；21世纪初至今：深度学习加速人工智能普遍应用。人工智能的第三次浪潮较前两次有着本质的不同，具体表现为以大数据、强大算力和深度网络模型为标志的先进算法已在计算机视觉、语音识别、自然语言处理等领域取得突破性进展，基于人工智能技术的应用开始成熟。不仅如此，这一轮人工智能发展的影响范围不再局限于学术界，人工智能技术开始广泛嫁接生活场景，不断重构生产、分配、交换、消费等活动的各环节。人工智能正在深刻改变人类社会的技术水平、生产和生活方式、经济和产业结构乃至国家和社会安全的格局。人工智能作为一种通用使能技术，同其他技术一样，是一把“双刃剑”，在促进经济社会发展的同时，也暴露出大量的安全问题，引发了人们对人工智能安全问题的高度关注。

从一般的人造系统或工程系统的角度考虑，人工智能系统作为一种特殊的工程系统，同样具有其同类系统可能具有的安全问题。例如，作为机器人、无人驾驶系统，它可能具有结构、材料性质、环境适应性等安全问题。但是人工智能系统或“智能体”与其他系统的本质区别在于，其具有“智能”和“思维”，可以通过学习来获得知识，可以做出自主性决策，进而可以执行自主性行动。区别于其他同类技术或工程系统的普适性安全问题，本书所讨论的人工智能安全问题集中于人工智能系统由于具有学习能力、自主决策、自主行动等智能行为而产生的安全问题，既包括人工智能系统本身由于设计、制造、使用环境或受到攻击所产生的安全问题，也包括随着人工智能技术的发展和应用而衍生出来的对其他系统的安全影响和潜在威胁。从技术角度考虑，人工智能系统可以通过学习获得“知识”或者“技能”，并且可以自主地做出决策、执行行动，这既是人工智能系统相对于其他技术系统的优势，又是其区别于其他技术而产生特别的安全问题或隐患的原因。人工智能技术的本质特征是机器学习的可理解性、可解释性问题及鲁棒性问题，目标函数或奖励函数描述的不完备性问题及针对性对抗攻击等问题。

广义上，人工智能安全问题既包含人工智能系统作为一种人造系统（工程系统或信息系统）的安全问题，也包括人工智能技术的应用所造成的经济和文化的、法律和伦理的、国家和社会的安全问题，还包括由于人工智能系统具有思维和自我发展能力而可能形成的强大的智能所造成的对人类整体的安全威胁。这里，我们把人工智能的安全问题划分为内生安全问题和衍生安全问题两大类。内生安全问题既包含智能体的技术特点、缺陷、脆弱性等可能造成的智能体本身的安全问题（确切地说，该智能体作为具有特定功能的系统不能正确地发挥其特定的功能），也包括该智能体及工作环境的影响或受到其他系统的攻击而不能正确地发挥其特定功能的安全问题。衍生安全问题是智能体的应用对其他系统可能造成的安全问题，既包括由于智能体本身出现安全问题而对其他系统的安全性所造成的影响，也包含由于该智能体成功行使了特定功能而（可能）对其他系统的安全性所造成的影响。

人工智能安全风险主要来自技术和应用两个方面。一方面，人工智能作为融合多种学科的复杂科学，主要面临算法模型、数据安全、隐私保护、软硬件平台等风险；另一方面，随着人工智能应用的大规模普及，与网络攻击、伦理道德、国家和人身安全等相关的风险也在加大。为了满足人工智能安全需求，提高人工智能算法和应用安全水平，增强人工智能安全管理能力，需要从科学和技术、标准和规范、道德和伦理、政策导向和法律法规等诸多方面予以综合治理。

本书共9章。第1章介绍了人工智能的发展和应用及其安全性、人工智能安全的范畴，以及与人工智能安全治理有关的内容；第2章的内容是基于可信计算构建安全可信的人工智能计算环境，重点分析了如何针对人工智能系统的启动、运行、数据存储和数据交互过程进行安全防护；第3章从无人驾驶安全和多无人系统协同两方面介绍了无人系统中的人工智能安全；第4章介绍了基于类脑计算的强人工智能及其安全，从强人工智能的发展阶段/时间点预测和潜在安全问题等方面进行了分析，阐述了应对强人工智能的安全风险对策和风险预防策略；第5章介绍了智能制造和智能城市中的人工智能应用安全，阐述了目前的发展现状、应用场景等，并对存在的安全风险进行了分析，给出了安全技术体系及重点产业与应用发展方向；第6章介绍了人工智能技术在网络安全中的应用现状与趋势，以及人工智能应用可能引发的安全问题与应对措施，引出了一系列值得深入研究的内容；第7章对我国人工智能安全可控的产业生态建设现状进行了分析，总结了当前存在的主要问题，给出了建设自主可控的产业生态的实施方案；第8章介绍了和人工智能安全标准与风险评估预警有关的内容；第9章介绍了与人工智能法律和人工智能伦理问题有关的内容。

本书的成书过程得到了大量专家学者的指导和帮助，没有他们的贡献，难以使我们向广大读者呈现此书，我们衷心感谢他们对本书做出的贡献！感谢中国工程院设立针对人工智能安全和自主可控的重大项目，使我们有幸得以对这个问题进行研究并获得一些认识，这些成为本书内容的基础；感谢本书编委会各位专家对本书内容的指导和帮助；感谢刘志勇、陈磊、隋秀峰等为本书内容和结构组织做出的工作；感谢刘志勇、陈磊、田沄、范毓婷等对本书统稿所做的工作；感谢电子工业出版社徐静、王群等对本书编辑做出的辛勤工作和重要贡献！

人工智能技术发展快速，所涉及的问题深入而广泛。进行技术研发和应用的专家、学者数量众多，并且取得了大量的重要成果，正在呈现“百家争鸣、百花齐放”的良好局面。不同专家、学者难免有不同的学术观点、不同的学派风格，但“殊途同归”，大家都希望在促进人工智能发展的同时确保人工智能的安全。限于本书编著者的知识范围，难免以偏概全，甚至正误杂陈。本书只求抛砖引玉，在向读者介绍人工安全问题的方方面面的时候，也期望读者批评指正。

陈左宁

2022年6月