3.3 人工智能安全所处位置及外部关联

3.3.1 人工智能安全性、可靠性和可控性的关系

2018年10月，习近平总书记在中共中央政治局第九次集体学习时强调：“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。”可见，“安全性”并不能代替“可靠性”和“可控性”，三者的关系如下。

人工智能的安全性主要关注的是人工智能自身的内生安全问题和引发的衍生安全问题。可靠性指的是人工智能系统在一定时间内、在一定条件下无故障地执行预定功能的概率。可见，安全性和可靠性之间并无依赖关系，一个安全的人工智能系统未必可靠，一个可靠的人工智能系统也未必安全。可控性指的是人工智能系统必须在人类的管控之下工作，在发现其失控时必须有行之有效的防控手段。由此可见，可控性关注的重点不在于人工智能系统是否安全和可靠，而是关注一旦出现风险时如何防控。

3.3.2 人工智能安全与法律、政策和标准的关系

人工智能技术的进步，需要在法律、政策和标准的相互作用下良性互动。人工智能安全发展离不开法律和政策的保护以及标准规范的支撑。在法律法规层面，需要在相关立法中确立人类优先的原则、制定相关的法律条例、限制人工智能被恶意利用等。在政策制度层面，需出台政策，明确人工智能产品设计指南、伦理审查办法、安全监管办法、重要场景下智能算法公平性/透明性/可解释性规定、安全问题可追责制度、数据来源保护条例、隐私数据保护条例等。在标准规范层面，人工智能产品及零配件的制造商需遵守人工智能安全的相关标准和规范来研发智能系统，减少人工智能产品漏洞，遵守人工智能产品安全评测标准，统一人工智能系统间的通信协议，从而提升人工智能系统的安全性和兼容性。

一个安全的人工智能产品，也无法防止被别有用心者恶意利用，法律法规则可以有效威慑这种恶意利用行为，保护人工智能安全发展；一个未必安全的人工智能产品，如果没有经过严格的安全评测就进入市场很可能会带来安全问题，政策制度则可以强制设置市场准入条件；安全合规的人工智能产品，如果没有按照一致的标准规范进行设计，就如同计算机都不按照统一的TCP/IP协议联网，必然导致互联网无法运转一样。有标准规范的制约才能保证人工智能生态环境良性发展。

3.3.3 人工智能安全与伦理之间的关系

人工智能安全与伦理之间的关系常常容易引起混淆和争议。如果一辆在高速公路上行驶的自动驾驶汽车识别出前方有一群正在违章横穿公路的儿童，此时，自动驾驶汽车应该继续前行，还是紧急转向使得车内的人（未犯错）陷入未知危险中，或是紧急刹车从而导致汽车可能被追尾?这显然不是一个单纯的安全问题。自动驾驶算法设计必须遵守社会伦理准则，但存在争议的伦理道德观点会让人们陷入两难境地，对人工智能系统追求清晰的伦理准则是相当有挑战的。

因此，人们在设计人工智能算法时，不能仅仅考虑功能和性能的可满足性，还必须保证人工智能系统遵守国际或本国认可的伦理准则。特别是，人们在设计可自主学习的人工智能算法时，还要考虑如何培养人工智能系统自主做出合乎人类伦理准则（例如，机器人永远不准伤害人类）的决策，这就要求设计者必须将伦理准则嵌入到人工智能系统之中。

由上述分析可见，人工智能安全与伦理两者之间应该存在一个交集。这个交集是，对于可自主学习的人工智能系统，必须为其嵌入伦理准则，以防止人工智能系统带来的衍生安全问题。

3.3.4 人工智能安全评测与防控

人工智能安全主要考虑如何避免自身脆弱性、如何避免危害其他领域，也就是侧重从个体层面提升安全性，而安全评测和防控则是从外部视角保障人工智能系统的安全性，防止其因自身或外部原因造成危害，也就是侧重从外部视角提升可控性。这就好比一座大楼的防火问题，在楼道内禁止堆放易燃物属于个体层面的安全机制；外部的有关部门对大楼消防安全进行定期检查就是外部视角的“安全评测”；然而，最严格的安全评测也无法绝对避免起火，一旦起火后，可快速赶到现场灭火的消防人员和消防设备就是外部视角的“防控措施”。

总体来看，人工智能相关的法律法规、政策制度、伦理道德准则都包含了若干可提升人工智能安全性的内容（当然也不仅包含服务于安全的内容），人工智能的安全评测、防范控制则是纯粹服务于提升人工智能安全性的。例如，法律可禁止具有破坏力的机器人随意被生产和使用；政策可推出具有破坏能力的机器人必须安装有“保险箍”这一准入制度；伦理规范可强制要求算法设计时遵守“人类优先”原则；安全评测需从技术角度评估人工智能产品安全等级；防范控制需要考虑以上安全措施都失效时应采取的其他措施。