1.2.2 人工智能安全的分类
前面我们讨论了引发人工智能系统各类安全问题的内在因素。人工智能系统中广泛应用的机器学习算法的内在属性，是引起人工智能系统各类安全问题的内在因素。广义上，人工智能安全问题既包括人工智能系统作为一种人造系统（工程系统或信息系统）的安全性问题，也包括人工智能系统的应用造成的经济和文化的、法律和伦理的、国家和社会的安全问题，还包括由于人工智能系统具有思维和自我发展能力而可能形成的强大智能，从而造成对人类整体的安全威胁。研究这些安全问题的分类，分析其产生的原因、可能的影响范围，有助于增强对它们的认识，也有助于对它们进行识别、预防和控制。
人工智能安全问题可划分为两大类：一类是人工智能系统自身的安全缺陷，称为“内生安全”问题；另一类是人工智能系统的应用可能产生的外在的（对其他系统的）安全性影响或效果，称为“衍生安全”问题。我们称一个人工智能系统为一个智能体或人工智能行为体（AI Agent，AIA）。
1.2.2.1 人工智能内生安全
本节我们将从人工智能系统和运行环境、模型、算法、数据等环节分别介绍人工智能内生安全问题，这些问题既包括由于智能体自身的脆弱性而形成的安全问题，也包括（在对抗环境中）智能体由于遭受外部攻击而形成的安全问题。
1.人工智能系统和运行环境安全
1）框架/组件引发的内生安全问题
人工智能框架提供人工智能系统中常用的函数和功能，可以供不同的开发者复用，为人工智能的开发编程提供有力的工具。业界已经推出许多人工智能框架，如TensorFlow、Caffe、PaddlePaddle等。这些开放的人工智能框架引用了第三方库函数。这些框架的整体和其组件（包括引用的库函数）并未经过充分的安全评测，存在软件漏洞甚至后门等安全隐患。CVE（Common Vulnerabilities＆Exposures）公共漏洞披露库中就记录了多种来源于 TensorFlow、Caffe 等的安全漏洞[10]。2020年，360安全研究院AIVUL团队报告了TensorFlow中的24个风险级别不同的漏洞[54]，这些漏洞可能引起系统错误或被攻击者利用而形成系统安全问题。
2）运行环境引发的内生安全问题
在进行机器学习或智能判断、决策与控制的系统中，在软硬件不同的层面，都可能有与安全性相关的脆弱环节，使攻击者能够通过脆弱环节对智能系统实施攻击。云计算架构上有着大量的用户，可以通过机器学习的方式进行建模训练和智能推理，而这些用户又共享了分布式计算体系中的大量软硬件资源，包括主机、软件栈、存储资源、计算框架等。这些资源容易遭受攻击，从而对于模型训练和智能推理产生安全风险。在分布式计算平台的联邦学习结构中，多个成员在分布式系统上协作训练和推理，恶意参与者可能会进行模型攻击而造成系统的安全隐患[17，72]。在多个智能体协作的环境中，系统安全存在特别的问题。例如，多智能体系统的各协作成员之间需要通过通信进行协调训练或行动，通信系统的不安全性会成为系统的不安全因素。另外，多个智能体的联合学习和决策需要协同和演化，个体学习和决策在全局上的不协调可能造成系统的非一致性和失误，形成系统的安全威胁[55]。在多个参与者协作的联邦学习中，虽然隐私数据可以存放在本地以防止隐私泄露，但还是有可能被攻击者构造的学习算法窃取其成员及记录等私有信息[56-58，71，72]。
2.模型安全
机器学习模型的不透明性、脆弱性均是影响人工智能安全的重要因素。不适当的目标函数会导致机器学习系统不能获得正确的模型，从而导致智能体无法实现设计者所期望的某些功能；建模的不透明性可能导致机器学习模型进行错误决策，形成安全问题；建模对动态变化的环境的适应性（鲁棒性）也是影响系统安全的原因；训练好的模型在对外服务的过程中，可能会被对抗性技术手段盗取和恶意利用。
在对抗环境中，攻击者还可能进行模型窃取攻击[59]和后门攻击[50，60]等。模型窃取攻击是指攻击者通过窃取神经网络模型而进行的攻击。在将机器学习作为一项服务开放给使用者的系统中，攻击者能够在不了解模型参数及训练信息的情况下，通过访问为机器学习提供服务的系统黑盒子，对模型进行窃取。被窃取的模型进而能够为攻击者提供模型和功能参数信息，形成安全隐患。后门攻击是在模型内插入后门的一种攻击手段。因为模型自身具有不透明性、不可解释性，所以被插入的后门不易被找到，但攻击者可以选择时机启动后门。
3.算法安全
如前所述，机器学习的可理解性和可解释性、鲁棒性及目标函数或奖励函数描述的不完备性等人工智能算法的内在属性均会导致人工智能系统的安全隐患。另外，算法的复杂性也可以导致人工智能安全隐患。计算的时间复杂度高意味着对于大数据量的机器学习，需要花费巨大的时间和空间代价（占用计算资源和延长执行时间）；对于动态变化的情况，则需要计算机经常性地处理变化的信息，学习新的动态模型。这种代价可能导致机器学习系统无法满足大量数据处理和动态变化的要求，从而生成错误的学习结论[18]。
4.数据安全
训练数据的不完整可能导致机器学习算法难以找到反映实际环境与应用要求的正确模型。训练中所用数据的规模、质量（准确性、真实性、全面性）、数据分布特性等都会影响训练结论的准确性，进而影响智能体策略和行为的正确性。训练模型应对数据分布特征变化的鲁棒性，也是影响系统稳定性的重要原因[18]。
训练数据对于安全的重要作用使得数据成为对抗环境中攻击与防御的研究热点。在对抗环境中，攻击者能够进行闪避攻击[51]和药饵攻击[50，61]等。闪避攻击是指通过在正常的训练样本中掺入人工难以发现的少量样本数据，改变样本数据集，形成对学习系统的攻击。闪避攻击可以采用对抗数据生成的方式或利用传递性进行黑箱攻击的手段进行，大多用于推理阶段。药饵攻击通过向训练数据集注入虚假信息（药饵），使训练系统生成错误的模型，从而达到攻击的目的。药饵攻击一般用于训练阶段，破坏训练系统所生成的模型。
5.对抗环境中隐私数据的窃取
分布式计算环境中不同用户共享资源的特征，使得攻击者可能通过共享的资源（如软件栈、计算框架等），获取其他用户的隐私数据并用于模型攻击；在具有竞争关系的多个用户参与的计算环境中，如联邦学习，多个用户可能需要共同参与模型训练（共享学习），而参与共享学习的用户用来进行训练的数据是他们的私密数据，在这种共享学习环境中，用户的私密数据可能被其他参与者窃取[17，41，58，62]。
1.2.2.2 人工智能衍生安全
人工智能系统的衍生安全问题，涉及技术和工程系统、国民经济、社会保障、金融服务、医学卫生、军事及国家安全等方面，是人工智能技术开发与使用中需要认真对待的重要课题。
1.人工智能系统存在安全隐患，可能引发安全事件
算法不完善、数据不完整等问题，往往使得人工智能系统存在各种安全缺陷，即使通过权威的安全评估，也难以使这些缺陷彻底表露。如此一来，人工智能系统在投入实际应用时，就很容易由于自身缺陷而导致各种事故，造成人身安全攻击、财产损毁、环境破坏等问题。当前，拥有高度移动能力和破坏能力的人工智能体造成重大安全事故的情况尤为突出。一个典型的汽车安全事故是，2018年3月，由 Uber 经营的自动驾驶汽车在美国亚利桑那州坦佩市附近撞了一位女子，并致其身亡。研究分析指出，其原因是自动驾驶汽车“看到”了这名女子而并未刹车，也并未生成故障警告信号。短短四天以后，又出现了另一起自动驾驶汽车的安全事故：一辆使用自动驾驶系统的 Tesla Model S 汽车因撞到高速公路的混凝土隔离墙上，而导致驾驶员身亡。如1.1.1节提到的，此前（2016年）就已经出现一辆使用自动驾驶系统的 Tesla Model S 汽车因撞上一辆大卡车而致驾驶员身亡的事故。这说明高速移动体的人工智能安全隐患有可能造成重大安全事故。另外，机器人外科医生致人死伤事件也频繁发生，而且机器人安全故障可能导致次生事故。以上都是由人工智能系统本身的故障导致的安全事故，称为衍生安全事故。国际上有一个对人工智能系统事故进行统计和报道的人工智能事故数据库（Artificial Intelligence Accident Database，AIID）。AIID 的资料表明，截至2021年1月5日，智能体已衍生了百种千例的安全事故，包括自动驾驶汽车致人死亡、工业机器人致人死伤、医疗事故致人死伤、伪造政治领导人演说、种族歧视、传播不健康内容等。
2.人工智能给国民经济和社会治理带来巨大冲击
人工智能技术的衍生安全不一定是由人工智能系统本身的故障引发的，即使人工智能系统本身按照设计者的意图正常工作，也会（也已经）形成诸多安全挑战，其中包括对国民经济和社会治理带来的巨大冲击。当前，人工智能技术已经应用于医学仪器与医学诊断、工业生产过程自动控制、重要设施智能监控、公共交通出行、财政与金融等众多领域，并且正在协助人们完成一部分原本只能人工完成的工作任务。在国民经济方面，人工智能通过感知、理解、分析、趋势预测，协助人们以更加经济、便利的方式工作，从而减少了对有一定经验的工作人员的雇用，能够降低劳动力成本及减少各种相关支出；在社会职业构成上，随着人工智能技术的进展，各种智能机器和系统开始慢慢取代人工，进行部分烦琐、重复的生产作业或体力劳动等。但是，在人工智能为人类提供福利的同时，一部分人开始担心自己的工作将被智能机器取代，导致人们对失业的恐惧。由此带来的大批失业者，也将导致社会劳动组织和职业结构急剧变动，形成社会的不稳定因素[26-29]。在人类思维等智能活动方面，随着人工智能技术的发展，智能机器会逐步变得更加“聪明”，人们会更加依赖智能机器，这可能在某种程度上导致部分人的认知能力变差[31，35]。
3.人工智能发展带来法治、伦理安全问题
人工智能系统的发展和应用不会带来对法治、伦理的冲击。人工智能恶意应用（如隐私盗取、欺诈）会造成广泛的社会安全问题（如网络和信息系统、金融、公共安全等），需要专门的技术规范、法制和政策。人工智能通过机器学习算法，可以对视频、图像进行修改，可以制造虚假新闻，可以进行人身攻击，扰乱公众视听，从而对社会稳定造成威胁[63，64，69]。利用从各种渠道收集的信息，智能系统可以进一步分析出被攻击者的偏好或者监控被攻击者的活动，进而对被攻击者进行威胁、讹诈或行为控制[35]。信息技术的发展使人们的各种活动暴露于各种传感设备的监控之下，而机器学习技术则可以通过对大数据的学习和分析获得已有技术难以获得的信息，使各类社会实体和个人的隐私安全受到极大威胁，隐私保护不但成为机器学习技术的热点课题，而且成为法律和伦理规范方面的重要挑战。为此，国务院制定的《新一代人工智能发展规划》明确提出，将加强对滥用信息、侵害个人隐私、违反道德伦理等行为的处罚。由于人工智能技术使机器具有自主决策、自我演化、自主行为等能力，人工智能伦理问题变得日益突出。如何使人工智能行为体与人类相容、遵循正确的伦理准则和规范，不但成为人工智能技术研究的重要方向，而且成为社会伦理关注的重要议题[21-23，31，35]。
4.人工智能技术发展对国际政治、军事、国际治理体系等产生潜在冲击
人工智能技术在对抗环境中的强大能力诱发了人们将人工智能作为攻击性手段的行为，也激发了人们利用人工智能技术保护己方安全的热情。人工智能技术被用于网络攻击、情报窃取、舆论战，被用以制造虚假情报，干预对方的政治事务，如抹黑著名政治人物的形象，乃至干涉国家领导人的选举。人工智能技术也被用于研制精确控制的杀伤性武器，用以攻击对方政治、军事要员，或攻击重要设施。例如，2018年8月，委内瑞拉玻利瓦尔共和国时任总统马杜罗在阅兵典礼上遭受装载爆炸物的无人驾驶直升机的袭击；2019年9月，数架无人机空袭了沙特阿美集团的两处重要石油工厂，包括位于阿布盖格的世界上最大的原油净化工厂。美国、英国、俄罗斯、法国等均在人工智能军事应用、智能武器和无人系统的研发上给予大量投入，引发人工智能军备竞赛的潜在风险。基于人工智能技术的致命性自主武器的研发给未来世界带来巨大的安全、伦理等方面的冲击。2018年7月，在国际人工智能联盟大会上，来自90多个国家的2400多位人工智能领域的专家、学者，联合签订了《致命性自主武器宣言》，承诺他们不参与致命性自主武器的开发、研制和交易。人工智能技术的发展对国际政治、军事及国际治理的冲击引发了各领域相关人士的重大关切[29-31，67，68]。
5.智能体一旦失控将危及人类安全
如果智能体同时拥有行为能力和破坏力、人们无法理解的决策能力、可进化成自主系统的进化能力，则不能排除其摆脱人类掌控并威胁人类安全的风险。而智能体失控所带来的衍生安全问题，无疑将成为人们在开发人工智能系统的过程中最为关注的重大课题。于是人们开始认真地思索，人工智能技术的发展是否会使智能机器超越人类的思维，从而引发智能爆炸。2017年4月，在全球移动互联网大会上，霍金表示：“简要来讲，我觉得强大的人工智能的崛起，要么是人类历史上最佳的事，要么是最糟的……未来，人工智能可以发展出自我意志，一种与我们冲突的意志……人工智能也有可能是人类文明史的终结，除非我们懂得怎样避免风险。”阿西莫夫给出了机器人不能伤害人类的3个准则。在这个基础上，在阿西洛马举行的Beneficial AI大会上，机器人和人工智能领域的专家形成了《阿西洛马人工智能原则》[65，66]，希望以此保障人工智能的发展不会危害人类。著名的人工智能专家Stuart Russell提出了创造更安全的人工智能的3条原则（3Principles for Creating Safer AI）。如何保证人工智能的发展为人们带来的是福祉而不是危害，达到人工智能与人类的和谐共处，是人工智能发展中必须解决的一个挑战性问题[31，35，70]。
随着网络空间中的活动（经济、金融、教育、医疗服务、文化娱乐等领域）日益增多，安全问题日益突出；抵御网络空间的威胁，增强网络空间的安全性，是网络空间治理的重大需求。人工智能技术是为网络空间安全治理赋能的重要技术手段，基于人工智能技术的网络空间安全引发高度的重视和大量的社会投入[67]。机器学习技术被广泛地用于网络风险量化与分析、网络入侵检测和预防、网络威胁发现和渗透测试、用户行为分析、网络安全自动化等场景中。在对抗环境中，采用人工智能技术抵御人工智能技术的攻击，是提高各类应用系统安全性的重要技术路线。人工智能技术作为一种“双刃武器”，在对抗环境中，攻击方可以采用人工智能技术，基于对方的薄弱环节实施某些攻击，而同时利用人工智能技术可以更有效地分析攻击的技术特征，并采取识别、防御和对抗手段[2，30，31，40，67]。在研究人工智能安全问题的同时，我们同样需要注重人工智能技术本身所具有的为安全赋能的功能，加强为安全赋能的人工智能技术的研究和发展。