1.3.2 现实安全问题

本节介绍几个与人工智能数据与模型安全相关的真实案例，以此来警示相关问题可能会给社会以及个人所带来的危害，说明人工智能安全研究的重要性。

● 微软机器人Tay遭投毒攻击导致其发表歧视性言论：2016年3月25日，微软在其公司Twitter账户上推出了一款名为Tay的人工智能聊天机器人。Tay最初被寄予的期望是能够积极正向地与Twitter上的年轻人进行交流。然而，在上线不到24小时，Tay就由于受到网友的恶意投毒攻击，学会了发表恶意和歧视性言论，如支持纳粹主义、反对女性主义等言论，引起了大量Twitter用户的不适。这一结果直接导致微软在上线当天就关闭了Tay。

● RealAI基于对抗样本设计的眼镜成功解锁多款安卓手机：2021年年初，一则关于基于对抗样本设计的手机解锁技术的消息引发了大众关注。据清华大学人工智能研究所成立的RealAI公司的研究显示，攻击者基于一张照片和对抗样本所设计的特殊眼镜可以在15分钟内解锁19款安卓手机以及金融领域的人脸识别系统。一旦人脸识别系统被攻破，将会给用户隐私、财产安全等带来巨大损失。

● 针对自动驾驶的对抗攻击案例：自动驾驶作为人工智能应用的典范，其安全性受到了研究者的广泛关注。Eykholt等人在其发表在CVPR 2018上的论文中展示了一种针对道路标志的物理对抗攻击，该攻击对路牌等重要交通标志牌添加不起眼的对抗贴纸，即使在不同拍摄角度、距离、光照等情况下，也能成功误导深度学习模型对路牌做出错误的识别，例如将“停止”标识识别为“45公里限速”。Eykholt等人提出的对抗攻击方法只是针对摄像机的攻击，Cao等人则是更进一步完成了对摄像机（形状改变）和雷达（点云改变）的同时攻击，可以让汽车“看不见”3D打印的对抗物体。

● 数据篡改与生成技术伪造虚假视频内容：2017年，一名外国网友将色情视频中的女主角篡改为某知名女明星，给女性文娱工作者带来巨大的困扰与担忧。国内也发生过类似事件，2019年网上一段关于某女明星遭换脸为另外一位女明星的视频在各大社交媒体中广泛传播，引起了大众讨论。换脸技术甚至一度被应用到了政治领域，奥巴马、特朗普、普京等均有相关的虚假换脸视频被传出，其中美国前总统奥巴马的虚假视频在Youtube上的观看量高达960万次。在2022年俄乌冲突中也出现了一起伪造乌克兰总统呼吁全国人民放下武器的虚假讲话视频，给本就紧张的俄乌局势带来更多的不确定性。基于人工智能的数据篡改与伪造具有门槛低、成本低、效率高、传播性高等特点，一旦被恶意使用，将会引发严重的负面社会影响，严重时甚至会危害社会稳定。

在本书中，我们将部分隐私性问题（如隐私攻击、数据窃取和模型窃取）归纳为安全性问题，因为这些问题本身往往涉及多个方面（隐私和安全）。除了安全问题，数据和模型还可能会存在更广泛的可信性问题，如公平性问题、可解释性问题、隐私性问题等。例如，亚马逊人脸识别系统Rekognition将美国国会议员中的28人误判为罪犯，引发了公平性担忧；英国智能交通监控系统将行人衣服上的字母误识别为车牌号并开罚单；由于模型的不可解释性，《自然》子刊的一项研究发现新型冠状病毒感染诊断模型根据X光片上的医院编码预测新型冠状病毒感染而不是根据实际的病理特征。此外，在人工智能系统构建的任何一个环节，如数据采集、模型训练或模型部署等，均存在潜在的安全问题。随着各类攻击技术的发展，攻击所需要的成本也越来越低，其所带来的危害却越来越大，影响范围也越来越广。与此同时，相信随着防御技术的不断提高，很多现有安全问题也都会在不久的将来得到很好的解决。