专题 | 实时进化的 AI 网络安全,安全大数据是关键

VSole2021-08-23 20:49:31

在网络安全领域,将人工智能技术融入安全产品已成为数字时代下安全发展的新趋势,两者的有效结合能够加强网络风险的自动化预测、识别、响应、处置能力。但人工智能技术需有效融入安全产品,对网络风险进行自动化的预测、识别、响应、处置,AI 算法和模型必须获取到海量且多维的安全大数据,不断地进行“训练”和“验证”,才能进行有效的“思考”和作出最优的“决策”,得以实时进化,方能具备真正的智能安全。

一、安全大数据的特点

网络安全领域的大数据不同于普通大数据,它的获取渠道、获取难度、数据关注维度都有自己鲜明的特点。传统的消费领域大数据,关注的更多是企业、个体的商业和生活行为,透过交易特征、消费偏好、行动轨迹等,去判断背后的交易喜好、生活和消费习惯,从而变现商业价值。这涉及很多个人隐私,也成为“大数据之殇”,成为监管的重点。

1. 不同于普通大数据,不涉及用户隐私

安全大数据不关注上述商业行为和个人隐私,而更关注那些网络“作恶者”在网络上的行为,更关注安全风险和异常。如关注哪些数据是恶意攻击行为,是否在做黑产交易,是否为分布式拒绝服务攻击(DDoS)攻击,是否为爬虫行为等。

2. 关注“安全治理、安全风险”

安全大数据更加关注与网络空间安全治理、网络安全风险相关的大数据,关注黑客、行为、资产。涉及网络安全风险相关的数据,对于运营主体的数据安全、合规性、资产安全、业务安全都是非常重要的参考和响应处置的依据。

3. 安全大数据关注的细分维度

在实际中,安全大数据可分为以下三个方面。攻击行为数据,如攻击的具体类型,攻击者习惯使用的平台、工具,语言等,从而对攻击者的攻击行为进行相应判断。攻击者画像数据,主要是攻击留下的痕迹等多维数据信息,据此判断攻击者的类型,对攻击者进行画像,这需要多维数据作为参考,进行综合分析,辅助一定时间的数据积累。资产数据,通过网络空间测绘或漏洞扫描可以获取到互联网的资产数据,也可以获得企业内部的已知或未知的网络资产数据。

二、安全大数据的获取渠道

安全大数据从哪里获取?对于本地化部署的网络安全解决方案,由于安全设备部署在用户现场,只能在用户本地根据客户需求和许可,对数据进行采集、分析,无法获取到真正的安全大数据。而且,仅仅单个用户的安全数据,量级较小、维度单一,不利于机器学习算法和模型的优化和调优。

对于互联网企业和 SaaS 部署的安全企业,由于安全产品部署在云上,所有部署其 SaaS 安全产品的用户,其安全数据(如攻击行为、活动轨迹、IP 信息、资产信息等)都会直接同步到云端数据中心,形成海量安全大数据,并不断投喂给机器学习算法模型进行实时分析,从而进一步自动调整算法,让安全能力实时进化提升。

目前,能够获取安全大数据的主要渠道有:云测绘、云监测、云防御和安全探针类的云端设备和平台。

1. 云测绘:全球网络空间测绘获取的大量 IP资产数据

网络空间资产测绘对象主要集中在 IPv4、IPv6、域名、暗网等方面,以知道创宇的网络空间资产测绘项目 ZoomEye (钟馗之眼)为例,迄今为止收集了超 30 个亿的 IPv6 地址并进行测绘。

获取数据的核心能力包括很多细节,如此多的数据需要部署大量的探测节点,那么就存在各种“对抗”的问题,节点会被“禁止”等,而解决这些问题正是获取数据能力的体现。ZoomEye 通过全球部署的 1000+ 节点对全球网络空间资产进行 7×24 小时不间断资产测绘,通过十几年的积累,目前拥有100 亿网络空间测绘数据。

2. 云监测:覆盖全球的安全风险监测数据

云监测可以理解为全球黑客信息的搬运工,通过软件即服务(SaaS)的部署方式,云监测可持续不断监测到全球最新的网络攻击、漏洞数据、黑客指纹数据、威胁情报等数据信息。以知道创宇的云监测产品图谱为例,其中有对网络流量数据进行监测的 NDR 流量监测产品;对网络空间的威胁监测及收集威胁数据的产品;监测收集黑客指纹数据的全球黑客追踪系统;监测漏洞数据的 ScanV Max、WebSOC 等,这些产品形成了具有大覆盖范围的云监测矩阵,产生了源源不断的安全数据。

3. 云防御:在线防护业务系统产生的真实攻防大数据

通过 SaaS 形式为客户部署 Web 应用防火墙(云WAF),不仅可对客户实施贴身防护,同时安全厂商自然获得了大量真实的攻防数据,这些数据进入到云端大数据平台进行融合,攻防信息可同时分发给所有的云端客户,当受到同样类型攻击时,可有效进行阻断和防护,做到“一网攻击、全网防御”。

从云测绘、云监测、云防御系列组合得到的攻防大数据,与 AI 算法和模型相结合,可被用于对异常风险的发现和自动化处置。通过数据生产引擎、AI 智能分析引擎,基于场景优化的深度学习的神经网络技术和算法,可对异常行为进行特征分析,如异常的登录、偏离度较大的异常行为等。同时,针对不同业务场景收集网络攻击情报,根据安全大数据生成不同的风险策略模型,将其同步到实时攻击行为特征的策略模型中,当识别到遭遇同一特征模型的风险时,可做到即时识别并拦截。

在安全大数据 +AI 技术的互相促进下,源源不断的安全大数据可让网络安全体系更具“弹性”。越来越智能的网络安全体系,可更加灵敏的感知异常、自动化响应和快速处置,让网络具备较强的运营连续性、组织韧性和良好的业务弹性。

(本文刊登于《中国信息安全》杂志2021年第6期)

网络安全大数据
本作品采用《CC 协议》,转载必须注明作者和本文链接
新冠情让网络安全威胁态势变得更加严峻,网络钓鱼攻击在过去一年平均增长了70%,数据泄露的平均成本于今年上升至21659美元,企业组织都在想寻求更好的方法来维护网络安全数据分析因此有了用武之地。
数据是指大型复杂的结构化或非结构化数据集。数据技术使组织能够生成、收集、管理、分析和可视化数据集,并为诊断、预测或其他决策任务提供见解。处理数据的关键问题之一是采用适当的数据治理框架,这样可以:①以所需的方式管理数据,以支持有效机器学习的高质量数据访问;②确保该框架规范存储和处理在相关监管框架内以可信赖的方式收集来自供应商和用户的数据。提出了一个数据治理框架,指导组织在相关的规则框架
随着能源互联网的发展,电力信息网络系统架构也在不断变化,使电力信息网络安全面临着新的挑战。研究基于网络流水印的多点协同追踪和多层次的网络威胁协同阻断技术,由此设计高效的水印嵌入和检测算法,通过节点的协同配合,实现对安全威胁的实时追踪,同时针对不同的安全威胁,设计多层次的连接干扰和网络阻断技术,实现网络威胁的弱化和阻断。提出了跨域协同入侵追踪架构,解决了跨域网络入侵路径的快速重构。提出了基于时隙质心
随着数据、人工智能和云计算等信息技术的发展,安全防护形势也越来越严峻,IT 架构和服务模式不断发生变化,传统的安防体系面临着诸多问题。在继承传统的安全防护体系的基础上,提出了将数据相关技术融入到安防体系中,并从数据接入层面、数据融合分析层面、数据服务层面出发,通过数据等技术手段构建了安全数据中台,完善了安全防护技术体系。实践证明,该体系在结构上能够有效弥补传统安全防护架构的不足。
了解数据服务
2023-12-12 10:52:30
了解数据服务
从全球视野来看,当前的世界并不是一个安全的世界,攻防的博弈一直都在,并且愈演愈烈。我们知道,网络空间已成为继陆、海、空、天之外的第五空间,维护网络安全成为事关国家安全的重大问题。美国等西方发达国家频繁炒作“中国网络威胁言论”,但实际上作为拥有最强大网络武器库、最先进网络基础设施的国家,美国一直依靠其强大的网络攻击能力,对包括中国在内的多个国家持续进行网络攻击,西工大事件的爆发就是一个实例佐证。发达
范渊,杭州安恒信息技术股份有限公司董事长,毕业于美国加州州立大学,获得计算机科学硕士学位,曾在美国硅谷国际著名安全公司从事多年的技术研发和项目管理,对在线应用安全、数据库安全和审计有深入的研究,主编《智慧城市与信息安全》一书。
2023年7月6日,公安部召开“公安心向党 护航新征程”系列主题新闻发布会。其中,公安部牵头建立的网络安全等级保护制度,已经成为网络安全领域的基本制度。公安部积极参与制定数据分类分级保护、数据安全风险评估、监测预警和应急处置、数据安全审查等工作制度,健全完善数据安全制度体系。
在智慧电力快速发展的背景下,电力行业数字化转型进入跨越式的发展,新的应用不断涌现,整体网络规模逐渐扩大。物联网、云平台和数据中台等新型数字基建平台的建设,使网络边界从物理边界向物理和虚拟边界混合的模式演变。为保障电力生产、经营管理和客户服务等重要业务的正常开展,依据国网公司信息安全管理要求,国网上海市电力公司(SMEPC)构建了综合防线,覆盖互联网大区、管理信息大区和生产控制大区。
VSole
网络安全专家