原创 | “攻击性AI”的网络安全威胁

【摘要】人工智能并不总是被用来做好事。特别是，网络攻击者可以使用AI来增强他们的攻击和扩大他们的行动。微软(Microsoft)、普渡大学(Purdue)和本-古里安大学(Ben-Gurion University)、佐治亚理工学院、新加坡南洋理工大学等大学的研究人员最近发表了一项调查，探讨了这种“攻击性人工智能”（offensive AI）对组织的威胁。调查确定了攻击对手可以用来支持其攻击的不同能力，并根据严重程度对每种能力进行排名，提供对攻击对手的深度洞察。

这项调查考察了现有的关于攻击性人工智能的研究，以及来自MITRE、IBM、空客、博世、日立、富士和华为等公司的回应，确定了攻击对手使用人工智能的三个主要动机：覆盖率、速度和成功率。人工智能使攻击者能够通过破坏机器学习模型的训练数据来“毒害”机器学习模型，并通过侧信道分析窃取凭证。它可以用于漏洞检测、渗透测试和证书泄漏检测等人工智能方法的武器化。安帝科技摘编部分关键内容供大家学习参考。 

前言

网络攻击活化的今天，能源、效能、政府机构、医疗和金融等机构一直都是网络攻击的重点目标。这些网络攻击都是由经验丰富的黑客手动实施的。近年来，人工智能(AI)的发展迅猛，这使得软件工具的创造成为可能，这些软件工具有助于实现预测、信息检索和媒体合成等任务的自动化。在此期间，学术界和工业界的成员利用AI来改善网络防御状况和威胁分析。然而，AI是一把双刃剑，攻击者可以利用它来改进他们的恶意活动。

最近，人们做了很多工作来识别和减轻对基于AI的系统的攻击(对抗性机器学习)。然而，一个具有人工智能能力的对手能做的远不止毒害或愚弄机器学习模型这么简单。对手可以改进他们的战术来发动攻击，这在以前是不可能的。例如，通过深度学习，可以通过模仿上级的面孔和声音来执行高效的鱼叉式网络钓鱼攻击。也有可能通过网络、限制命令和控制(C&C)通信，使用自动化执行横向移动来提高隐形能力。其他能力包括使用人工智能来发现软件中的零日漏洞，自动化逆向工程，有效地利用侧通道，构建真实的假角色，并以更高的效率执行更多的恶意活动。

一、何为攻击性AI？

攻击性AI有两种形式:使用AI的攻击和攻击AI。例如，对手可以(1)使用AI来提高攻击的效率(例如，信息收集、攻击自动化和漏洞发现)或(2)使用AI的知识来对防御者的AI产品和解决方案进行漏洞利用(例如，逃避防御或在产品中植入木马)。后一种形式的攻击性人工智能通常被称为对抗性机器学习。

一是使用AI技术的网络攻击；虽然有很多在网络攻击中使用的AI任务，但最为常见的不外乎是预测、生成、分析、获取和决策。

预测。这是根据以前观察到的数据做出预测的任务。常见的例子有分类、异常检测和回归。攻击性目的预测的例子，比如基于动作识别智能手机上的按键，选择攻击链中最薄弱的环节以及定位可利用的软件漏洞。

生成。这是创造符合目标分布内容的任务，在某些情况下，这需要人类的现实主义。攻击性AI使用生成的例子包括篡改媒体证据、智能口令猜测和流量整形以避免检测。深度伪造是这类攻击性人工智能的另一个例子。深度伪造是一种由DL模型创建的可信媒体。该技术可以通过模拟受害者的声音或面部来实施网络钓鱼攻击。

分析。这是从数据或模型中挖掘或提取有用见解的任务。攻击性AI分析的一些例子是使用可解释的人工智能技术来识别如何更好地隐藏人工制品(例如，在恶意软件中)，以及在组织中聚集或嵌入信息来识别资产或目标，用于社会工程。

检索。这是寻找与给定查询匹配或语义上类似的内容的任务。例如，在攻击中，检索算法可以用来跟踪一个被破坏的监控系统中的一个对象或个人，通过对社交媒体帖子进行语义分析，找到心怀不满的员工(作为潜在的内部威胁者)，并在侦察阶段收集开源情报(OSINT)期间对冗长的文件进行总结。

决策。制定战略计划或协调行动的任务。攻击性人工智能的例子是使用群体智能来操作一个自治的僵尸网络和使用启发式攻击图来规划对网络的最优攻击。

二是直接针对AI的网络攻击，即对抗性机器学习；网络攻击者基于自身的AI知识，可利用机器学习的漏洞来破坏ML的机密性、完整性和可用性。典型的手法有修改训练数据、修改测试数据、分析模型的响应、修改训练代码、修改模型参数等。

修改训练数据。在这里，攻击者修改训练数据以损害模型的完整性或可用性。拒绝服务(Denial of service, DoS)投毒攻击是指攻击者降低模型的性能，直至其不可用。后门中毒攻击或木马攻击是指攻击者教模型识别触发行为的不寻常模式(例如，将样本分类为安全)。这种攻击的无触发版本会导致模型在不向样本本身添加触发模式的情况下错误分类测试样本。

修改测试数据。在这种情况下，攻击者修改测试样本，使它们错误分类。例如，改变恶意电子邮件的字母，使其被误认为是合法的，或改变图像中的几个像素，以逃避面部识别。因此，这些类型的攻击通常被称为逃避攻击。通过修改测试样本来增加模型的资源消耗，攻击者也可以降低模型的性能。

分析模型的响应。在这里，攻击者向模型发送大量精心设计的查询，并观察响应，以推断关于模型的参数或训练数据的信息。为了了解训练数据，有隶属关系推理、去匿名化和模型反演攻击。为了学习模型的参数，有模型窃取/提取、盲点检测、状态预测。

修改训练代码。在这种情况下，攻击者通过修改用于训练ML模型的库(例如，通过一个开源项目)来执行供应链攻击。例如，一个受损(训练)函数插入了一个后门。

修改模型参数。在这个攻击向量中，攻击者访问一个经过训练的模型(例如，通过一个模型Zoo或安全漏洞)，并篡改其参数来插入一个潜在的行为。这些攻击可以在软件或硬件级别上执行(又称故障攻击)。

根据场景的不同，攻击者可能不完全了解或访问目标模型:

白盒(完全了解)攻击:攻击者知道目标系统的一切。对于系统防御者来说，这是最糟糕的情况。虽然在实践中不太可能发生，但这个设置很有趣，因为它为攻击者的性能提供了一个经验上限。

灰盒(有限了解)攻击:攻击者对目标系统(如学习算法、体系结构等)只有部分了解，但对训练数据和模型参数一无所知。

黑盒(零了解)攻击:攻击者只知道模型被设计用来执行的任务，以及系统一般使用的是哪种特征(例如，恶意软件检测器是否经过训练，可以执行静态或动态分析)。攻击者还可以以黑盒的方式分析模型的响应，以获得对某些输入的反馈。

二、攻击性AI的影响

传统的对手使用手工工作、通用工具和专家知识来达到他们的目标。相比之下，具有人工智能能力的对手可以利用人工智能自动化其任务，增强其工具，并逃避检测。这些新能力会影响网络攻杀链。

首先，让研究人员讨论一下为什么对手会考虑在进攻一个组织时使用AI。

进攻性人工智能的三大动因。在研究人员的调查中，研究人员发现对手使用人工智能攻击一个组织有三个核心动机：覆盖率、速度和成功率。

覆盖率。通过使用人工智能，对手可以通过自动化来扩大其操作规模，从而减少人力劳动，增加成功的机会。例如，AI可以用来自动制造和发起鱼叉式钓鱼攻击，根据从OSINT收集的数据进行提炼和推理，同时维持对多个组织的攻击，并在网络中获得更多资产以获得更强的立足点。换句话说，人工智能使对手能够以更小的劳动力以更高的精度攻击更多的组织。

速度。有了AI，对手可以更快地达成目标。例如，机器学习可用于帮助提取凭证，在横向移动时智能地选择下一个最佳目标，监视用户获取信息(例如，对窃听的音频执行语音到文本)，或在软件中查找零日漏洞。通过更快地到达目标，对手不仅可以节省其他冒险活动的时间，还可以减少自己在防御者网络中的存在时间。

成功率。通过增强AI的操作，对手将增加其成功的可能性。即可以用来(1)通过最小化或伪装网络流量(如C2流量)使操作更秘密，利用防御者人工智能模型如ML-based入侵检测系统(IDS)的漏洞,(2)识别攻击机会良好的社会工程攻击目标和新颖的漏洞,(3)启用更好的攻击向量，如在鱼叉式钓鱼攻击中使用深度伪造(deepfakes)，(4)规划最优攻击策略，(5)通过自动机器人协调和恶意软件混淆加强网络的持久性。

研究人员注意到，这些动机并不相互排斥。例如，使用人工智能来自动化钓鱼活动可以增加覆盖率、速度和成功率。

人工智能威胁代理。很明显，一些具有人工智能能力的威胁代理将能够执行比其他代理更复杂的人工智能攻击。例如，国家行为者可以潜在地启动智能自动僵尸网络，而黑客激进分子可能也很难做到这一点。然而，研究人员多年来观察到，人工智能已经变得越来越容易使用，甚至对新手用户也是如此。例如，网上有各种各样的开源深度造假技术，即插即用。因此，随着人工智能技术的普及，某些威胁因子之间的复杂性差距可能会随着时间的推移而缩小。

新的攻击目标。除了传统的攻击目标，具有AI能力的对手也有新的攻击目标:

破坏。对手可能想要利用其对AI的了解来对组织造成破坏。例如，它可能希望通过毒害其数据集来改变性能，或者在模型中植入木马以供后期利用，从而改变组织产品和解决方案中的ML模型。此外，对手可能想要对AI系统执行对抗性机器学习攻击。例如，在监视中逃避检测，或使财务或能源预测模型偏向对手。最后，对手也可以使用生成AI以现实的方式添加或修改证据。例如，修改或栽植监控录像、医疗扫描或财务记录中的证据。

间谍活动。有了人工智能，对手可以提高其间谍组织和提取/推断有意义信息的能力。例如，它们可以使用语音到文本算法和情感分析来挖掘有用的音频记录或通过声学或运动侧通道窃取凭证。人工智能还可以用于从加密的网络流量中提取潜在信息，并通过组织的社交媒体跟踪用户。最后，攻击者可能希望利用群体智能实现一个自主的持久立足点。

信息盗窃。具有人工智能能力的对手可能想要窃取目标组织训练的模型，用于未来的白盒对抗性机器学习攻击。因此，一些数据记录和专有数据集可能作为训练模型的目标。特别是，客户和员工的音频或视频记录可能会被窃取，以制造令人信服的深度假模仿。最后，通过人工智能逆向工程工具，知识产权可能成为目标。

新的攻击能力。通过研究人员的调查，研究人员已经确定了33个进攻性AI能力(OAC)，直接提高对手的能力，以实现攻击步骤。这些OAC可以分为七个类别:(1)自动化，(2)活动弹性，(3)证书盗窃，(4)漏洞利用开发，(5)信息收集，(6)社会工程，和(7)隐身。这些能力中的每一个都可以与前述介绍的三个激励因素相关联。

图1

在图1中，研究者展示了OACs并映射了它们对网络杀伤链的影响(MITRE企业ATT&CK模型)。图中的一条边表示指定的OAC提高了攻击者实现给定攻击步骤的能力。从图中可以看到进攻AI影响着进攻模型的各个方面。

这些能力可以通过以下两种方式之一实现:

基于人工智能的工具是在对手的武器库中执行特定任务的程序。例如，一个用于智能预测口令、模糊恶意代码、规避的流量整形、操纵人物等的工具。这些工具通常以机器学习模型的形式出现。

人工智能驱动的机器人是自动机器人，可以执行一个或多个攻击步骤，无需人工干预，或与其他机器人协调，有效地实现自己的目标。这些机器人可能使用群智能和机器学习的组合来操作。

三、AI的直接网络威胁

一些组织告诉研究人员，他们认为开发、社会工程和信息收集是最具威胁性的人工智能技术。他们尤其担心人工智能被用于模仿，比如深度造假来实施钓鱼攻击和逆向工程，这可能会让攻击者“窃取”专有算法。此外，他们还担心，由于人工智能的自动化过程，对手可能会从一些缓慢的隐蔽行动转变为许多快节奏的行动，以击垮防御者，增加他们的成功机会。

但这些担忧并没有刺激国防投资。数据认证初创公司Attestiv对企业进行的一项调查显示，只有不到30%的企业表示，他们已经采取措施减轻深度伪造攻击的影响。尽管有“深度伪造检测挑战”(Deepfake Detection Challenge)和微软(Microsoft)的“视频验证器”(Video Authenticator)等创新，但随着生成技术的不断改进，打击深度伪造可能仍具有挑战性。

事实上，研究人员预计，随着机器人获得了令人信服的深度伪造网络钓鱼呼叫的能力，网络钓鱼活动将变得更加猖獗。他们还表示，未来几年，攻击性人工智能在数据收集、模型开发、培训和评估等领域的应用可能会增加。

为了避免这些威胁，研究人员建议企业专注于开发后处理工具，以保护软件在开发后不被分析。他们还建议将安全性测试、保护和模型监控与MLOps集成起来，这样组织就可以更容易地维护安全的系统。MLOps是“机器学习”和“信息技术操作”的组合，是一门新的学科，涉及数据科学家和IT专业人员之间的合作，目的是将机器学习算法产品化。

研究人员写道:“随着人工智能的快速发展和开放的可及性，研究人员预计将看到对组织的攻击策略发生明显的转变。”“人工智能将使对手能够同时更频繁地瞄准更多组织。因此，攻击对手可能会选择用数千次击败防御者响应团队的尝试，来获得一次成功的机会。事实上，当攻击对手开始使用AI支持的机器人时，防御者也将被迫使用机器人自动化防御。让人类保持在控制和决定高层战略的循环中是一项现实的和伦理的要求。然而，需要进一步的讨论和研究，以形成安全、令人满意的政策。”

研究人员对工业界和学术界对AI对组织的威胁认识进行了调查统计。总的来说，学术界认为人工智能对组织的威胁比对整个行业的威胁更大。有人可能会说，这种差异是因为工业界倾向于更加实际和立足于当前，而学术界则考虑潜在的威胁，从而考虑未来。

令人惊讶的是，学术界和工业界都认为使用AI隐身是最不具威胁性的OAC类别。尽管有大量的研究表明IDS模型是如何脆弱的，但IDS规避方法被认为是智能扫描之后第二大可攻破的OAC。这可能与对手无法在实际网络中评估其基于人工智能的规避技术有关，因此存在检测风险。

总的来说，工业界和学术界对于最具威胁性的OACs存在一些分歧。在33个OAC中，最具威胁的10个排名如下:

四、小结

攻击性AI的威胁，工业界和学术界存在不同的认识。可以理解为什么对组织的最高级别威胁与社会工程攻击和软件分析(漏洞检测和逆向工程)有关。这是因为这些攻击超出了防御者的控制。例如，人是最薄弱的环节，即使经过安全意识培训。然而，对于深度伪造，就更难以减轻这些社会工程攻击。同样的道理也适用于软件分析，在软件分析中，ML已经证明自己可以很好地处理语言，甚至编译二进制文件。学术界最关心生物识别的原因是它几乎只使用ML，学术界很清楚ML的缺陷。

相信不久的将来，进攻性AI事件将会增加，但只是在攻击模型的前面和后面(侦查、资源开发和影响——例如篡改记录)。这是因为目前AI无法有效地自主学习。因此，不太可能在不久的将来看到僵尸网络能够自主且动态地与各种复杂系统(比如一个组织的网络)交互。因此，由于现代的对手在组织网络上的信息有限，他们行动受限，数据收集、模型开发、培训和评估均发生在离线攻击中。特别地，注意到DL模型非常大，并且需要大量的资源来运行。这使得它们在传输到网络或现场执行时易于检测。然而，随着DL的增加，模型的足迹将变得不那么异常。预计不久的将来，网络钓鱼活动将变得更加猖獗和危险，因为人类和机器人被赋予了发出令人信服的深度虚假网络钓鱼活动的能力。

AI是一把双刃剑。本身用于安全的人工智能技术也可以被用于攻击。有些技术有双重用途。例如，ML研究拆卸、漏洞检测和渗透测试。有些技术可以被重新利用。例如，它不是使用可解释的 AI 来验证恶意软件检测，而是用于隐藏人工制品。有些技术是可以逆转的。例如，内部检测模型可以用来帮助掩盖轨迹和避免检测。为了帮助提高人们的意识，建议研究人员注意他们的工作成果的影响，即使是防御技术。一个警告是，“剑”可以干好事，也可干坏事，这取决于持剑者。例如，生成AI(深度造假)更适合攻击者，但异常检测更适合防御者。

作者 | 北京安帝科技有限公司