基于关联分析的主机日志审计研究

VSole2021-11-02 07:06:37

在当前复杂的国际政治经济局势下,网络安全受到党和国家的高度重视。人民银行管理运行的众多业务系统是金融行业关键基础设施,关系到国计民生,是国家网络安全重点保护对象。探索将关联分析技术用于人民银行重要业务系统主机日志分析,能精准、高效判别内外部的异常行为,有利于风险事件的预警、控制,保障人民银行业务系统的连续、稳定运行。

习总书记在网络安全和信息化工作会议上强调,没有网络安全就没有国家安全。人民银行管理运行的重要业务系统,如支付系统、征信系统、国库会计核算系统等,是影响经济社会运行、关系国计民生的重要金融基础设施,是国家网络安全保护的重中之重。其主机日志是网络安全审计的重要对象,在多项制度、规范中予以了明确规定。《中国人民银行网络安全管理规定》(银发〔2019〕169号)、《中国人民银行信息技术审计规范》(银办发〔2014〕47号)明确要求保存相关设施、系统的日志,并定期检查、审计、分析。《金融业网络安全等级保护实施指引》(银发〔2020〕275号)明确规定了二级、三级、四级保护对象应对重要用户行为和安全事件进行审计,审计记录包括:用户、行为或者事件类型、成功与否、日期和时间等。基于这些信息开展分析是主机安全审计的重要方法,可以协助管理人员对主机的安全状况进行综合评估。探索将关联分析技术用于人民银行重要业务系统主机日志分析,能精准高效判别内外部的异常行为,提高风险预警效率与防范能力,保障人民银行重要业务系统的连续、稳定运行。

当前主机日志分析现状

一般主机系统有三种日志:系统日志、安全日志和应用程序日志。系统日志记录了操作系统组件产生的事件,包括系统组件操作、应用程序崩溃及数据丢失、驱动程序等;安全日志记录了各种类型的账户登录信息、服务信息、访问信息、策略变更信息、特权使用信息及进程追踪信息等;应用程序日志则记录了与应用程序运行相关的事件。人民银行设备、系统众多,积累了海量日志数据,当前的主机日志审计方法横向关联不足,往往难于精准、高效地界定正常行为、异常行为和入侵行为。国内外利用日志数据进行安全审计的研究性成果和提供日志数据收集、审计功能的商业化产品,如SNARE系统、Haystack项目、IDES、汉邦强审计系统等,未能充分挖掘日志数据的价值,也存在一定的局限性,例如:

(1)过度依赖系统管理员和领域专家的经验建立审计规则。(2)用于分析的日志数据来源单一,还是基于条目式日志数据进行分析,没有建立日志和事件的对应关系,无法挖掘事件和非法行为之间的关系。(3)日志分析的智能性不高,自适应能力低。

关联分析技术

数据挖掘能够在海量数据中发现有价值的信息,从而为分析、判断、决策提供支持。关联分析是众多数据挖掘技术的其中一种,运用该技术能够找到一些对主机行为性质进行正确判断的规则或模型。常用的关联分析算法有Apriori、FPTree、Eclat、灰度关联法等。

关联分析目的是从已知的事务集中,挖掘数据项集之间的关联规则,保证其支持度和置信度大于用户预先指定的最小支持度和最小置信度(称为阈值)。此处支持度可理解为某事件A和B同时发生的概率,置信度可理解为在事件A已经发生的情况下,事件B发生的概率。高于阈值的可用于发现日志数据之间的关联关系,解释了不同审计事件之间的关联,对发现主机异常行为意义重大,低于阈值的规则可能反映噪声、异常或少数情况等。关联分析一般分为两大步:发现频繁项集和发现关联规则。

步骤一:发现频繁项集。是指找出不小于用户设定的最小支持度m的项目子集。一般来说,只需关心那些不被其他频繁项集所包含的最大频繁项集的集合。发现所有的频繁项集是形成关联规则的基础。

步骤二:发现关联规则。是指通过用户给定的最小置信度,在每个最大频繁项集中寻找置信度不小于用户设定的最小置信度的强关联规则。

主机日志审计实例分析

1.日志预处理。不同来源的日志格式并不统一,应使用通用格式规范化,这是进行日志分析和关联的基础。为方便论述,本文以人民银行某业务系统windows主机系统日志,使用关联分析Apriori算法为例展开分析。

日志数据是系统进程产生的单条日志,用户在主机上执行某个操作可以产生一条日志也产生多条日志,因此用户的行为事件与日志之间具有对应关系,部分事件与日志之间的对应关系如表1所示。

表 1 主机操作事件与日志 ID 的映射表(部分)

建立这种对应关系后,日志格式可以变换为新的主机事件格式。在对主机日志数据预处理的过程中,一方面可以大大降低日志的条目数量,另一方面可以把这些日志变为用户行为或者系统行为,从而能够更加准确的表达主机安全状态,提高日志数据的可读性,为主机安全审计提供良好的帮助。

2.日志关联分析。主机上采集的日志数据在被预处理为主机操作事件以后,再将无用的事件进行过滤,对主机事件进行时间排序,对重复的事件进行归并。预处理完毕的日志数据使用关联分析方法发现事件的频繁模式、相关性、因果关系等,专家对这些挖掘结果进行评估和解释后可用于主机用户行为分析与预测、主机用户的异常行为检测、攻击行为的发现、主机的安全评估等。

利用Apriori算法对数据进行关联规则挖掘,首先要将数据转化为事务数据库。为了获得更好的候选项,将支持度设为15%,将置信度设为45%。

3.关联规则使用。通过以上挖掘的关联规则,可知用户Nuser一般在上午登录,经常进行文件类和文档类操作。而用户Administrator通常是在晚上登录,经常进行用户类操作。分析这些用户历史行为,可对用户身份进行初步判断,用户Nuser是一个普通用户,用户Administrator是一个管理员账户。事务说明Nuser在下午登录,进行删除系统日志类的操作,明显与用户Nuser的通常行为不符,可被认为是异常行为,需要重点审计。

总 结

通过对主机日志进行关联分析,挖掘各种关联规则,进而揭示数据集的不同规律,这些规律可被定义为主机安全审计规则,用这些审计规则与正在发生的主机事件进行比较,可以从中发现主机潜在风险,达到主机安全审计的目的。


网络安全关联分析
本作品采用《CC 协议》,转载必须注明作者和本文链接
摘要:随着“十四五”数字化转型的进一步推进以及北斗、5G、工业物联网、人工智能等新科技在智慧油储中深入应用,属于国家关键信息基础设施范畴内的智慧油储面临新的网络安全与数据安全的严峻挑战。针对日益严峻的网络安全态势,采用主动防御的策略以及SOAR与AI等技术,辅以诱捕措施,有效抵御外部针对油储关键信息的网络攻击,切实保护了关键生产要素的数据安全,保障了油储的正常生产运行。
今天所讲的话题,是从技术的角度探讨网络安全如何从时序大数据实时智能处理技术上的应用。时序数据 我们先来看一下,数据是怎么来的?原来人类社会是二元的,即人类社会和物理空间,因为有了互联网、移动互联网、物联网,随时随地产生了很多的数据,这些数据放在信息空间里,就带来了很多问题,包括网络空间的安全问题。
在当前复杂的国际政治经济局势下,网络安全受到党和国家的高度重视。人民银行管理运行的众多业务系统是金融行业关键基础设施,关系到国计民生,是国家网络安全重点保护对象。探索将关联分析技术用于人民银行重要业务系统主机日志分析,能精准、高效判别内外部的异常行为,有利于风险事件的预警、控制,保障人民银行业务系统的连续、稳定运行。
基于威胁情报的网络安全监测预警体系在原有能力的基础上,建立网络空间威胁的“情报档案库”,一方面,利用情报全网共享机制达到“一点发现问题,全网风险屏蔽”的防御效果,利用情报库的关联分析机制增强网络威胁的趋势预测,解决由于局部区域的分析检测能力不足导致的“看不见”“看不准”“研判不明”的问题;另一方面,监测预警体系数据经过分析提炼,补充“情报档案库”,针对不同区域、不同时间的数据关联分析,持续地形成具
2022 年,中国网络安全的创新方向依然较为碎片化,与用户现阶段网络安全的刚性需求密切相关。可喜的是,推出这些创新方向产品的大多数是安全创业公司,虽然产品与解决方案的成熟度依然需要时间,但未来可期。
本文件规定了网络安全监测的基本要求,给出了网络安全监测框架和实施指南。适用于系统或网络安全监测的实施,网络安全监测产品的设计开发,网络安全监测服务的提供等。
将从流量中提取的协议结构化数据提交给消息队列,供大数据处理子系统和安全检测分析子系统获取。基于网络的入侵检测主要依靠特定的检测规则,存在规则被绕过和无法调查溯源的弱点。在上述安全检测的基础上,系统提供对恶意攻击事件和威胁行为的进一步分析、调查功能,这部分主要包括协议数据统计与查询、可视化告警事件调查、交互式安全分析
本文在国家及监管单位对网络安全的监管和指导要求与烟草行业网信工作发展规划相结合的背景下,从四川中烟工业有限责任公司(以下简称:四川中烟)全公司网络安全监管运营体系建设的角度,阐述如何通过把各工厂IT环境中的安全设备、重要服务器设备日志、数据进行采集,并上传至公司进行统一配置,实现全面监控、实时告警、流量分析等。从公司统筹规划开展安全运营建设工作,既有效降低企业安全运维成本,又使企业安全事件应急响应
随着《数据安全法》等一系列法律法规的颁布实施,我国网络空间的法律法规秩序体系逐步完善,网络安全工作迈入了新时代。
网络流量分析是安全威胁检测的一个重要研究方向。当前流量分析主要采取事件特征信息与特征库匹配的方式,然而该方式存在特征库组织简单和更新不及时的缺点。此外,持续攻击技术更新快,容易规避现有规则,从而导致检测的漏报和误报率较高。为此提出并设计了一种网络流量安全智能分析系统。该系统能够自动学习网络流量的特征,智能地识别出异常并进行深度分析,从而可以准确快速定位问题并提高安全防护能力。
VSole
网络安全专家