1.2 AI模型的安全

AI算法听起来好像遥不可及，但是在图像分类、语音识别和自然语言处理等领域，AI已经相当成熟。以图像分类来说，主流的算法已经可以达到99%以上的准确率。退役的美国网军司令曾经说过，世界上只有两种网络，一种是已经被攻破的，一种是不知道自己已经被攻破的。作为一个软件系统，AI算法或者说机器学习模型也是可以被欺骗的。一个经典案例就是针对图像分类模型的攻击，通过对熊猫照片的微小修改，人的肉眼几乎察觉不出任何变化，但是机器却会被欺骗，误判为长臂猿（见图1-3）。

图1-3 精心处理的熊猫图片可以被机器学习模型识别为长臂猿

获得美国麦克阿瑟天才奖的Dawn Song教授及其团队在这方面做了非常深入的研究，她们可以通过人眼无法识别的微小修改欺骗机器学习模型，把众人都识别为同一个人（见图1-4）。

图1-4 微小的改变可以把众人都识别为同一个人

本质上机器学习模型是在多维特征向量层面，通过样本学习、迭代计算出分类结果，精心构造的微小调整也可以对分类结果产生显著影响。以图1-5为例，X的取值为（2, -1,3, -2,2,2,1, -4,5,1），但是只要稍微修改成（1.5, -1.5,3.5, -2.5,1.5, 1.5, -3.5,4.5,1.5），分类结果为1的概率就可以从5%提升为88%。诸如这类针对AI模型的攻击也是AI安全的重要领域。

图1-5 特征向量微小变化也可以对分类结果产生巨大影响（图片来自Stanford CS231n 2016）