徐 明 

杭州电子科技大学网络空间安全学院

2018年10月29日，印尼狮航JT610航班在起飞13分钟后坠入爪哇海海域，机上189人全部遇难。仅仅过了不到5个月的时间，2019年3月10日，埃塞俄比亚航空的ET302航班也在起飞不久后失事，157名乘客和机组人员无一生还。短短半年时间，同一机型波音737 MAX 8两次空难皆在起飞阶段失事，基本确定均因为迎角传感器故障或机动特性增强系统过度反应导致飞行员与自动驾驶导航系统恶性对抗最终使得飞机失速坠毁。这两起空难事故引发我们对人工智能的再思考：人工智能给我们带来效率和便利性的同时引入多少安全隐患？如何应对人工智能引入的安全隐患？

一、人工智能引入安全隐患问题原因

首先，人工智能引入的伦理问题。核心是人工智能系统是否有权力去自主决定，特别是会导致人身危险、伤亡或者重大财产损失的领域，以及由于智能算法鲁棒性问题或失控而引入安全风险的伦理问题。

其次，作为人工智能发展核心的算法和数据都可能有潜在的安全问题，这会导致人工智能决策的风险。从算法角度来看，一方面算法是程序员或开发团队的意志和思想体现，可能会有意或无意暗含歧视或偏见，一旦它被广泛应用所产生的负面影响将难以估量。另一方面算法的代码都是由人编写，因此无法确保程序完全安全、可靠、可控和可信。从数据角度来看，人工智能系统依赖于大数据，数据在获取、加工、存储和使用等环节都存在着一定的数据质量和完整性问题而影响算法的判断正确性。

第三，人工智能技术往往会带来隐私安全问题。当前以深度学习加大数据为主要模式的人工智能系统需要大量的数据来训练学习算法，这过程中必然会产生隐私泄露的风险。

最后，技术正确的人工智能技术也存在被滥用的问题。例如在速度和精确度人力无可匹敌的人工智能武器装备一直是全世界有争议的话题。著名科学家霍金和谷歌CEO皮查伊都对人工智能技术可能被滥用表示深深的担忧。

二、人工智能带来的安全风险

首先是人工智能可能会给国家安全来带来风险。人工智能可以通过变革军事、信息和经济上的优势来影响国家安全。人工智能技术进入军事领域几乎是不可阻挡的趋势，而人工智能技术与生俱来的军民两用特性则要求必须调和好商业与国家安全之间的利益。另外可以通过人工智能技术制作具有欺骗性的假时事新闻并大量在社交平台散发来制造舆论影响政治的安全与社会秩序的稳定。

其次是人工智能可能会给社会安全带来风险。犯罪分子借助人工智能技术将会衍生出新型犯罪形态、行为、手段和方法，甚至出现无法辨识是机器犯罪还是人犯罪的尴尬局面。已经出现的汽车自动驾驶的车祸和波音737 MAX 8两次空难都说明，人工智能技术如果没有彻底解决安全可靠性问题，将会危及社会公共安全和人身安全。

最后，人工智能可能会给网络安全带来风险。网络攻击智能化趋势也给网络安全保护提出更高要求。人工智能技术应用到网络攻击和渗透活动，将使得网络攻击活动更加难以预警和防范，关键信息基础设施也将会面临更大的安全风险威胁。如人工智能技术运用到木马病毒将会出现难以防御的超级病毒木马，传统应对方法将不足以制止这些恶意程序传播扩散的速度。

三、应对人工智能安全风险的对策建议

人工智能的安全风险取决于技术发展及其安全可控的程度，短期风险可以预见，长期风险受制于现有认知能力难以预测和判断。因此，一方面要积极推动人工智能技术研发和应用；另一方面，要为人工智能的发展应用强化监管，规划一条安全边界，防止其被恶意滥用，给人类社会造成不可逆转的伤害。

首先加强人工智能安全风险的研究。要树立正确的安全观，科学对待人工智能带来的安全风险。研究掌握人工智能在研究、开发和应用过程中会出现哪些风险，并从法律、政策、技术和监管等方面进行有效防控管控。

其次要确保人工智能系统中人与机器之间是协作关系，而且人应该拥有绝对优先控制权。对于汽车的自动巡航，驾驶员一踩刹车就可以解除。而对于更加复杂的民航客机而言，如果解除了自动驾驶状态，则自动驾驶系统应当彻底停止工作，完全由驾驶员指挥飞机。只保留传感的功能，而不能再自动执行。也就是说，可以把故障信息传输到仪表盘，由驾驶员做出判断，而不是自动调整飞机的运行状态。

第三，加强人工智能立法研究和法律规范的完善。人工智能理论、方法、技术及其应用引发社会关系、结构和行为方式的变化，产生不可预知的安全风险和新的法律问题。完善相应的法律法规，重点防控人工智能行为主体及其行为的异化。从当前的情况看，人工智能法律研究应重点聚焦在人工智能产品主体，如智能机器人的法律地位、行为的法律属性以及法律责任如何确定等方面。在立法方面应加强对人工智能技术应用可能出现的法律问题的前瞻性研究探索。

第四，加强人工智能安全风险防控体系建设。按照趋利避害原则，处理好人工智能发展应用与安全防控的关系，既要促进人工智能发展应用，又要推动其在安全、可靠和可控的轨道上前行。要加强对人工智能安全防控体系建设的战略规划部署，围绕人工智能安全风险点，借鉴已有经验，有步骤地推进人工智能安全综合防控体系建设。对人工智能应用于涉及的人身财产安全或国计民生领域的要强化算法代码的公开或专家评审制度。

最后加强人工智能产品服务的安全监管。要及时制定人工智能安全产品和服务技术标准规范，规范和引导产品研发推广。加强对人工智能安全产品和服务的市场监管执法和相关产品上市前的安全测试。对有安全缺陷的产品和服务要依法处理，对造成危害后果的要依法追究法律责任。要积极运用人工智能技术提高安全监管能力，善于运用人工智能技术改进和加强安全监管执法，提高安全监管执法的能力和效率。另外，加强人工智能技术研发的管控。人工智能的快速发展引起了国际社会对于道德伦理和隐私等问题的关注和担心，应当为人工智能技术研发划出“红线”，设置禁区，禁止研究开发危害人类生存安全的人工智能技术和产品，防止人工智能技术的滥用。