模型也是资产，AI或将成攻防焦点

美国旧金山时间4月24日下午，RSA Conference 2023正式公布创新沙盒本年度冠军，人工智能安全厂商HiddenLayer一举夺魁。本文将从创新沙盒冠军HiddenLayer出发，进一步解读探讨AI安全。

背景

人工智能安全厂商HiddenLayer成为了最后的获胜者，不禁让笔者想到2018年的Big ID，场景是如此相似。

2018年4月15日RSA大会开幕，而一个月后的5月25日，通用数据保护条例GDPR将要生效，数据合规大棒将要落下，所有企业对数据安全的需求非常迫切，而主打帮助客户满足数据合规的BigID就成为呼声最高的决赛选手，而BigID当年也不负众望夺冠。今年OpenAI基于大语言模型的ChatCPT和GPT-4吸引了全世界各个行业的关注，人工智能达到了前所未有的期望高度，在一些赛前的投票中，听闻主打AI攻防的HiddenLayer关注最多，此次夺冠也可谓是情理之中。

表1 历年创新沙盒冠军

AI安全将成为新的赛道

安全行业向来以细分赛道多而著称，网络安全、终端安全、应用安全、云计算安全、物联网安全等等。而本次创新沙盒花落HiddenLayer，也是RSAC创新沙盒第一次把冠军颁发给AI安全。这在印证一个趋势：AI安全将会成为一个独立的赛道。而这个赛道的出现背后，则是人工智能平民化、产业化。

过去来看，每次随着新技术的出现，安全同行会考虑两个问题，第一是这种新技术的自身安全，第二是如何使用新技术赋能安全。通常而言，人们往往会先考虑第一个问题，以解决其带来的新风险，再利用新技术的新特性来帮助安全企业自己提升能效。其中原因是直接、新增业务机会的吸引力大于降本增效。比如云计算出现后，我们一定是先论证访问控制、入侵检测等机制如何应用于云环境，设计并实现虚拟化安全、云原生安全解决方案；然后再考虑使用云计算敏捷弹性的特性去重构现有的安全原子能力。其他如区块链、SDWAN等技术莫不如此。

图1 人工智能的发展

然而，人工智能却是例外，从上世纪六十年代开始出现了三次起伏[1]，有爆发期，也有人工智能之冬。但普遍意义的人工智能时代并没有到来，即便在Google的Alpha go击败了围棋冠军，也只是说明了人工智能在特定领域具有超越人类的能力，但棋类运动、自然语言和图像识别等领域的成功并不能解决人类面临的所有问题，逻辑推理、领域知识、精确决策都不是彼时人工智能擅长之处。从落地角度来看，很多公司是看着图像和文本领域的效果不错就拍脑袋上AI，而算法工程师的日常工作就是选模型、调参数，如何挖掘人工智能真正起作用的原理却很少思考，最后效果不好自然也就用不起来，因而很多领域的人工智能应用得到广泛应用，但实际效果一般。结果来看，这些人工智能的模型价值并不高。

当然，人工智能的攻防一直是学术上的热点，如2013年就有研究通过对抗学习可以将一张增加了噪声的大熊猫照片骗过AI，使其认为长臂猿。绿盟科技也在2022年通过“CCF-鲲鹏基金”资助了人工智能欺骗与防御的课题，有不错的成果。

尽管如此，AI攻防在产业应用主要是在互联网巨头，独立产品的商业化落地还尚在早期，所以HiddenLayer宣称之前没有一家安全公司是专注于模型安全。

而HiddenLayer的夺冠，将会带动AI自身安全的产业。随着大语言模型和通用领域的人工智能产业爆发，之后必然还有大量的初创公司基于对现有AI模型的攻防推出自己的AI安全产品，这个细分赛道将会形成。

人工智能安全也可利用既有攻防基础

从学术上看，人工智能攻防主要是站在机器学习的视角，通过对抗样本、对抗学习等技术欺骗模型或提高模型的健壮度、可解释性。似乎这些技术与传统攻防关系不大，对应的人工智能安全产品是一个内嵌于模型的紧耦合产物，所以其产品化本身难度就很大。但是HiddenLayer却独辟蹊径，从基础的安全理论和攻防技法入手，将高大上的AI安全讲解为以现有安全技术人员听得懂的形式。

例如，HiddenLayer将模型和训练集也定义为企业中的一类资产，既然是资产就有脆弱性，也需要进行资产管理，更需要安全防护，所以从必要性上就能打动客户。其次，它在防护框架方面提出了MLDR，复用了检测和响应的概念，这样模型的防护就能与EDR、NDR、MDR对等，甚至可以放置于XDR中，形成对企业AI资产的全生命周期防护。

做到了概念和框架上的自恰和兼容，具体战法上与传统攻防兼容是最不容易的。比如AI攻防在技术层面有成员推理、数据投毒、模型绕过、模型注入等，这些技术无论是从原理上还是从技术栈上跟传统安全攻防是不太一样的，如何能让客户理解并接受呢？幸运地是Mitre ATT&CK给出了针对机器学习的ATLAS矩阵[3]，该矩阵枚举了诸多针对AI的攻击所使用的技战术，比较规范地给出了每种技术的使用场景和应对手段。而HiddenLayer则将其能力给出了ATLAS的覆盖度，以证明自己在AI攻防领域的全面、成熟和专业程度。

从企业CISO角度来看，HiddenLayer能给出面向企业的AI资产梳理、风险发现和检测响应系统比较完整的方案，从防护理念、架构和产品来看都能兼容已建设的安全体系，也确实能解决企业上线AI引擎后知识产权保护、数据保护等一系列的风险。

总结

大语言模型热潮来临，人工智能已经像云计算一样被产业所认可，基于人工智能的通用性应用将无处不在。攻击者若想牟利，除了传统的网络攻防外，还会针对人工智能挖掘其弱点，对抗学习和对抗样本将会是攻击者手中武器库之一。未来人工智能的模型和训练集将会与IT系统、云主机一样，成为攻击者的目标。

HiddenLayer本次夺冠，能看出传统企业对于上AI既迫切又担心，而GPT的成功也是为HiddenLayer夺冠推了最大一把力。希望HiddenLayer能抓住GPT这波热潮，快速复制成功案例，将AI安全这个赛道走好走宽。

而对于广大的安全从业者而言，除了学习网络攻防技术之外，人工智能技术和人工智能对抗技术恐怕也要是技能栈中基础之一。

国内公司也在做相关工作，比如绿盟科技天枢实验室一直从事可信人工智能（XAI）的研究，以提高模型的鲁棒性和可解释性，以抵御对抗机器学习的攻击。2022年，“基于XAI的规则知识抽取引擎”获中国信通院2022可信AI案例和可信人工智能优秀实践案例。我们也会继续深入研究和孵化创新，如读者对此感兴趣，也可参与我们开源的可信人工智能项目XAIGen。