网络安全行业的任何地方——会议舞台、贸易展厅或头条新闻——业内最大的公司都声称,生成人工智能将改变你所知道的关于保护网络和智胜黑客的一切。无论是微软的Security Copilot、谷歌以安全为中心的大型语言模型、Recorded Future的威胁情报分析师AI助手、IBM新的AI驱动的安全产品,还是来自Veracode的用于发现代码缺陷的全新机器学习工具,科技公司都在争先恐后推出他们最新的网络安全人工智能产品。 在上个月的RSA大会上——旧金山网络安全专业人士的名人聚会——你在展厅地板上走几英尺就会撞到一位推销他们公司新的AI产品的销售人员。从耸人听闻的广告,到夸夸其谈的推销,再到国家安全高级官员更有条理的谈话,每个人都在谈论人工智能。相对冷静、客观的看法是,生成人工智能的防御性网络安全应用还处于起步阶段。

近年来机器学习的快速发展使人工智能的潜在能力显而易见。不太明显的是该技术将如何在安全环境中有效部署,以及它是否会实现其最大支持者承诺的重大突破。 

在十几次采访过程中,研究人员、投资者、政府官员和网络安全高管绝大多数表示,他们正以怀疑和兴奋的心情关注生成式人工智能的防御潜力。他们的怀疑源于一种怀疑,即营销炒作歪曲了该技术的实际功能,并且认为AI甚至可能引入一组新的、人们知之甚少的安全漏洞。

但这种怀疑被真正的兴奋所掩盖和缓和。通过按实际口语而不是代码处理人类语言,自然语言处理技术可以使人类和机器以新的方式进行交互,并带来不可预知的好处。网络安全公司SentinelOne研究部门SentinelLabs高级主管胡安·安德烈斯·格雷罗-萨德 (Juan Andres Guerrero-Saade)表示:“这是我们看到人机交互发生根本性转变的时刻之一,计算机更适合我们自然做事的方式。” 

对于网络安全行业的资深人士来说,围绕AI的大肆宣传让人感觉似曾相识。生成人工智能(可以复制人类语音并与用户交互的工具)的最新进展引起了公众的关注,但在过去十年中,网络安全公司广泛部署了支撑它的机器学习技术。机器学习工具已经为防病毒、垃圾邮件过滤和网络钓鱼检测工具提供支持,而“智能”网络防御的概念——一种使用机器学习来适应攻击模式的防御——已经成为网络安全行业的营销主题。 

网络安全公司Protect AI的首席信息安全官戴安娜·凯利(Diana Kelley) 说:“这些机器学习工具非常擅长说这是一种人类无法在所有这些海量数据中找到的模式。”

在网络安全环境中,机器学习工具主要位于后台,为基本功能提供支持,但生成式人工智能的革命可能会改变这一点。这在很大程度上是由于行业领导者OpenAI发布其生成AI产品的积极性。

近年来,随着技术的进步,像谷歌这样的AI老牌企业在许多技术进步方面的先驱使当今的生成式AI工具成为可能,但对于将其产品推向市场犹豫不决。相比之下,OpenAI使其AI工具更容易获得,并构建了流畅的用户界面,使使用他们的语言模型变得异常容易。微软已将数十亿美元的投资和云计算资源投入到OpenAI的工作中,现在正在将这家初创公司的大型语言模型集成到其产品中,从而使OpenAI能够接触到庞大的客户群。 

这让竞争对手开始追赶。在他最近在谷歌开发者大会上发表的主题演讲中,公司首席执行官桑达尔·皮查伊(Sundar Pichai)多次提到某个版本的“人工智能”,以至于他的表演变成了一个即时传播的视频,将他对这项技术的数十次引用剪辑在一起。 

由于人工智能公司是科技行业中为数不多的几个在经济放缓的情况下仍然吸引风险投资的公司之一,今天的初创企业很快就声称他们也在将生成人工智能纳入他们的产品。在上个月的RSA会议上,与会投资者被声称将AI用于网络安全环境的公司的宣传所淹没,但很多时候,生成的AI搭配似乎只是空话。

“我们在展会上看到的是,很多人在ChatGPT上拍打前端并说,'嘿,看看这个很酷的产品,'”风险投资公司Gallos的网络安全投资者William Kilmer说,来描述他在RSA参加的大量推介会,并略微声称使用了生成式AI。 

随着公司急于吸引资本和客户,生成人工智能的现实很容易在营销文案中被掩盖。SentinelLabs的Guerrero-Sade认为:“我们这里面临的最大问题是营销、喂养营销、喂养营销。” “此时,人们准备打包,并说安全问题已经解决——走吧!这些都不是真的。”

因此,将炒作与现实区分开来对投资者、技术专家、客户和政策制定者来说是一个严峻的挑战。

白宫最高网络安全顾问安妮·纽伯格(Anne Neuberger)将生成式人工智能视为在防御计算机系统方面做出重大改进的机会,但认为该技术尚未充分发挥其潜力。

正如Neuberger所见,生成式AI可以用来清理旧代码库,识别开源存储库中缺乏专门维护人员的漏洞,甚至可以用来以人们难以编写的形式语言生成可证明安全的代码。她认为,运行广泛的端点安全系统并有权访问它们生成的数据的公司能够很好地训练有效的安全模型。 

“归根结底,有很多机会可以加速网络安全和网络防御,”Neuberger告诉CyberScoop。“我们想要做的是确保在进攻和防守之间的追逐中,防守的移动速度要快得多。尤其是这种情况,因为可以使用大型语言模型比以前更快地生成恶意软件。”

但另一方面,在安全敏感的上下文中有效地实施大型语言模型面临着重大挑战。Neuberger在担任国家安全局官员期间表示,当该机构开始使用语言模型来补充分析师的工作、进行语言翻译以及优先考虑人类分析师应该检查的情报时,她亲眼目睹了这些障碍。

清理数据以使其可用于机器学习需要时间和资源,一旦该机构推出模型供分析师使用,一些人就会抵制并担心它们可能会被取代。Neuberger说:“人们花了一段时间才接受这种模型可以进行分类并赋予它们更有效的作用。”

对于像Guerrero-Saade和其他接受CyberScoop采访的网络安全从业者来说,生成人工智能的一些最令人兴奋的应用在于逆向工程,即理解软件试图做什么的过程。恶意软件研究社区迅速接受了生成人工智能的使用,并且在ChatGPT发布后的一个月内发布了一个插件,将聊天机器人与软件反汇编工具IDA Pro集成在一起。即使拥有多年的逆向工程经验,Guerrero-Saade仍在从这些工具中学习,例如当他参加最近的培训时,并没有完全理解所有内容并依靠ChatGPT 开始。 

纽约研究助理教授哈蒙德·皮尔斯(Hammond Pearce)表示,当ChatGPT作为一种“胶合逻辑”发挥作用时,它真正发挥作用,在这种“胶合逻辑”中,它充当彼此不相关的程序或与人类无关的程序之间的翻译器。“并不是说ChatGPT本身并不令人惊奇,因为它确实很棒,但它是ChatGPT与其他技术的结合……当新产品开始问世时,这真的会让人们惊叹不已。”

目前,生成人工智能的防御性网络安全应用还处于起步阶段。也许最著名的此类产品——Microsoft的Security Copilot——在征求反馈意见时,仍对公司的少数客户进行私人预览。使用它需要集成到Microsoft安全堆栈并运行公司的其他安全工具,例如Intune、Defender和Sentinel。 

Copilot提供了一个类似于ChatGPT的输入系统,并允许用户查询一个大型语言模型,该模型同时使用OpenAI的GPT-4和微软关于安全警报、事件和恶意代码的模型。目标是通过为分析师提供一种工具来节省他们的时间,该工具可以快速解释他们正在检查的代码或事件,并能够快速吐出分析产品——包括接近最终的幻灯片。 

微软副总裁兼公司AI安全架构师Chang Kawaguchi将当前一代机器学习与人类语言一起工作的能力——即使是安全等技术性很强的主题——视为“阶跃功能变化”。Kawaguchi的同事在演示Copilot时收到的最一致的反馈是:“哦,天哪,感谢您为我们生成PowerPoint。就像,我讨厌我工作的那一部分。”

“我们不可能用上一代机器学习做到这一点,”Kawaguchi告诉CyberScoop。 

尽管它们很聪明,但今天的机器学习工具仍然非常容易犯傻。即使在Microsoft的Copilot YouTube演示中,该公司的推销员也在煞费苦心地强调其局限性,并指出该模型引用了Windows 9——一款不存在的软件——作为它如何传达虚假信息的示例。 

随着它们的部署越来越广泛,安全专家担心生成式人工智能工具可能会引入新的、难以理解的安全漏洞。“现在没有人应该相信这些大型语言模型是可靠的,”加州大学伯克利分校人工智能安全计划主任杰西卡.纽曼说。

Newman将大型语言模型比作“指令跟随系统”——这意味着它们可以根据指令进行恶意行为。这类攻击——被称为“快速注入”——使模型容易以难以预测的方式被操纵。此外,纽曼指出,人工智能系统还存在典型的安全漏洞,容易受到数据中毒攻击或对其底层算法的攻击。 

解决这些漏洞特别困难,因为大型语言模型的性质意味着我们通常不知道它们为什么会输出给定的答案——即所谓的“黑匣子”问题。就像一个黑盒子,我们看不到大型语言模型的内部,这使得他们的工作难以理解。虽然语言模型正在迅速发展,但提高其可解释性的工具并没有以同样的速度前进。 

“制造这些系统的人无法可靠地告诉你他们是如何做出决定的,”纽曼说。“在处理变革性技术时,这些先进人工智能系统的黑匣子性质是前所未有的。”

这使得安全关键系统的操作员——例如,在能源行业——对大型语言模型的部署速度深感担忧。“我们对LLM在网络物理世界中的采用和部署速度感到担忧,”西门子能源副总裁兼工业网络和数字安全全球负责人Leo Simonovich说。

Simonovichn说,在运营技术领域——运行关键机器和基础设施的计算机——人工智能的采用一直很缓慢,“这是正确的”。“在我们的世界中,我们已经看到出于安全目的对AI的真正犹豫,特别是将AI驱动的IT安全应用程序引入OT空间。”

随着语言模型的部署越来越广泛,安全专业人员也担心他们缺乏合适的语言来描述他们的工作。当LLM自信地输出错误信息时,研究人员开始将此类陈述描述为“幻觉”——这个术语将远离人类的计算机系统拟人化。 

LLM的这些特性可能会导致人机之间不可思议的交互。《实用网络安全架构》一书的作者凯利,她问过各种LLM,她是否写过一本书。LLM不会描述她确实写过的书,而是会描述一本她没有——但很可能——写的关于零信任的书。

“那是巨大的幻觉吗?或者这只是很好的旧数学概率?这是第二个,但很酷的术语是幻觉。” 凯利说。“我们必须考虑我们如何谈论它。”

最近,微软进行了一项研究,其中他们谈到了GPT-4如何学会像人一样思考 。这份155页的报告分析了语言模型如何在人类层面处理各种任务。研究人员还测试了GPT-4对人类心理和逻辑的理解程度,并进行了一系列带有有趣查询的实验。报告认为,认为GPT-4可以被视为通用人工智能系统的早期(但还不够)版本,因为它具有广泛而深入的能力。