一种网络安全中的告警数据提纯的方法与流程

1.本发明涉及网络信息安全技术领域，尤其是一种网络安全中的告警数据提纯的方法。


背景技术：

2.入侵检测系统(ids，intrusion detection systems)是为了检测系统中入侵者的非授权使用行为和系统合法用户的滥用行为，以及发现系统中由于软件错误、认证模块失效和不适当的系统管理而引起的安全性缺陷。在系统运行过程中，ids将告警上报给网络管理员，管理员通过告警中的网络信息制定防御策略，防止入侵行为带来更大的损失。因此，大型机构通常在网络中部署ids以保护网络系统安全。
3.ids依赖专家知识构建的检测规则发现攻击行为，不合理的检测规则是导致冗余告警主要原因。网络中部署的新系统没有及时在ids中更新相应的检测规则，在过时的ids检测规则下，新部署的系统对机密文件的访问而产生的流量进行了错误的判定，产生了冗余告警。此外，入侵者可能使用某一种攻击手段如口令爆破对任意主机反复进行登录尝试，ids告警会密集产生大量冗余告警并上报给管理员。大量的冗余告警增加网络管理人员手工进行筛选和识别一次完整的攻击行为的难度，给网络管理员造成了大量的负担，影响研判的准确性，削弱了网络管理员应对入侵的反应能力。
4.大型机构的内部网络的拓扑结构异常复杂，一段时间内可能遭受来自多个入侵者的攻击，攻击者也可能通过尝试多种攻击手段对机构内部不同区域尝试不同的攻击。在一次完整的网络攻击场景中，ids告警具有以下特征：(1)攻击者进行多次攻击尝试时，ids告警会密集产生大量冗余告警并上报给管理员，增加了网络安全运营人员研判处置的负担，影响了研判效率。(2)攻击者为实现攻击目标，通常会实施横向移动攻击，因此受攻击设备的ids告警存在网络ip地址聚集的特性。综合分析受攻击设备的告警，对于了解攻击者的攻击手段，实现告警的研判处置具体重要意义。
5.因为大型机构网络拓扑复杂，网络联通关系混杂，设备台账信息滞后，且与攻击相关的真实告警被混在在大量冗余告警中，当网络的不同区域遭受网络攻击时，ids告警相互交织，很难通过设备台账准确区分不同区域遭受的网络攻击类型，为告警的分析带来的巨大挑战。
6.为了方便网络管理人员从海量告警中高效的研判，就需要一种网络安全中的告警数据提炼方法。
7.现有的技术方案针对上述问题仍有许多缺陷，例如为了削减冗余告警，一般通过规则匹配的方式。比如检验ids上报的告警是否满足规则库中的规则，如不满足，那么该条告警将被丢弃，反之将会入库并分发到网络管理人员进行研判。该方案需要根据系统的迭代随时更新规则库，每当网络环境发生变化，都需要安全专家去更新规则库，这是一个劳动密集的过程。此外规则库的匹配与规则的数量成正比，随着规则不断的更新，规则库的规模将逐渐壮大，这将消耗大量的计算资源。
8.中国专利cn101247269a一种自动发现判定冗余告警的关联规则的方法,该技术方案的流程为：(1)根据历史告警中存在的告警种类，将历史告警拆分为若干告警子集，每个子集对应一种告警种类，对任意两个告警子集统计出这两个告警子集的支持度和置信度，直至所有两两组合的告警种类的支持度和置信度计算完成；(2)根据预设的支持度阈值和置信度阈值，筛选出符合条件告警分类规则到系统之中。该专利需要大量的专家知识作为支持，如果告警种类数量增加，数据库中的告警分类规则都需要更新，因此该方法拓展性不强；此外规则数量随着告警种类数量的增加，相应新的规则也将被添加到规则库中，导致随着系统的更新规则库的规模也将快速增长，而对告警进行规则匹配时需要使用规则库中每一条规则依次匹配，那么计算耗时将会显著增加，减缓对系统对告警反应和处理速度；此外大型机构网络环境下，基于规则的告警数据提炼方法不能对不同网络区域产生的告警进行划分，导致不同网络区域产生的告警混杂在一起，影响网络管理人员的研判效率。


技术实现要素：

9.本发明是为了避免上述现有技术所存在的不足之处，提供一种网络安全中的告警数据提纯的方法，针对海量的ids告警，通过减少冗余告警，区分不同网络ip空间的ids告警，方便网络管理人员能够完整的识别一次完整的攻击行为，增强网络研判处置能力。
10.为了实现本发明目的，本发明采用的技术方案是：一种网络安全中的告警数据提纯的方法，包括以下步骤：
11.接收原始告警：接收到来自ids的原始告警；
12.告警社区划分：原始告警使用社区发现算法根据ip地址对原始告警进行社区划分；
13.告警提炼压缩：针对每个社区的告警使用统计冗余算法进行告警的提炼压缩。
14.优选的，所述原始告警为包含源ip地址和目的ip地址信息的告警。
15.优选的，所述告警社区划分的方法为：
16.基于源ip地址和目的ip地址构建ip连接图；
17.利用社区发现算法将连接图中顶点划分社区，每个社区计算出一个模块度值，使用迭代的贪心算法进行优化，使各个社区的模块度值达到最大，得到划分好的社区图，此时依据社区边的分布对原始告警进行分组。
18.优选的，所述模块度为：
[0019][0020]
其中，c代表的是某一社区，m是连接图中的边的数量，∑in是社区c内的边的权重之和，∑tot表示与社区c内的节点相连的边的权重之和，所述边包括内部边和外部边。
[0021]
优选的，所述贪心算法的优化方法包括以下步骤：
[0022]
(1)在初始化阶段，将连接图中的每个节点作为一个独立的社区，使初始情况下社区的数量与节点个数相同；
[0023]
(2)针对每个节点，依次尝试把节点遍历分配到其每个邻居节点所在的社区中，计算分配前与分配后的模块度变化δq，选择使得δq最大的分配方案；
[0024]
(3)重复步骤(2)，直到整个连接图中移动任何节点都不能改善总的模块度为止，形成社区图；
[0025]
(4)对步骤(3)得到的社区图，将所有在同一个社区的节点视作一个新节点，社区内节点之间的边的权重转化为所述新节点的环的权重，两个新节点之间边的权值为相应两个社区之间各边的权值的总和；
[0026]
(5)重复步骤(1)-(4)，直至算法稳定。
[0027]
优选的，所述社区发现算法包括但不限于louvain社区发现算法。
[0028]
优选的，所述统计冗余算法包括但不限于rmsr算法。
[0029]
优选的，利用所述rmsr算法对告警提炼压缩的方法包括以下步骤：
[0030]
首先根据告警的源ip地址和目的ip地址将告警信息切分为多个告警流，保证在同一个告警流中，所有的告警信息都具有相同的源ip地址和目的ip地址；
[0031]
根据告警流中的告警类型与其对应的数量计算统计向量，如果某告警流中含有某类型的告警数量达到阈值ε
er
，那么就将该条告警流滤除；
[0032]
挑选出每条告警流中告警类型的统计值超过阈值ε
atr
的告警类型，通过以下公式计算告警流中的超出阈值ε
atr
的告警类型的冗余值φ。
[0033][0034]
其中，n代表所有的告警流中，有n条告警流，这n条告警流满足条件：该告警流告警种类数量超过阈值ε
er
。mj代表前述n个告警流中告警类型j的数量高于阈值ε
atr
的告警流的数量，α
ij
代表第i个包含类型j的告警流中告警类型j的数量占整个告警流中告警信息总和的百分比。其中ε
atr
与ε
er
的值将根据网络系统进行灵活调整。最后剔除冗余值φj超过阈值ε
rdc
的告警类型；
[0035]
进行上述步骤之后，冗余告警信息将被剔除，得到元告警序列alert
meta
＝{mas1,mas2,mas3…
}，元告警序列用于帮助网络管理员研判。
[0036]
本发明的有益效果是：(1)本发明使用了社区发现算法和rmsr算法对数据进行预处理，通过以上步骤能够得到的告警序列，同一告警序列只包含同一区域的告警，因此避免了不同区域攻击行为的告警相互间干扰给网络管理人员带来决策上的影响，剔除了无用的冗余告警，提高了网络管理人员的告警研判效率。
[0037]
(2)本发明用于提炼在大型机构复杂网络环境下不同区域间攻击行为产生的告警，得到高质量的告警，消除不同攻击行为告警相互干扰给网络管理人员带来的影响。
附图说明
[0038]
图1是本发明的流程示意图；
[0039]
图2是本发明的社区发现算法的结构示意图。
具体实施方式
[0040]
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
[0041]
具体的，作为本实施例中的一种可选实施方式，如图1-2所示，本发明公开了一种
网络安全中的告警数据提纯的方法，首先通过系统接收到来自ids的原始告警；然后使用社区发现算法对告警进行社区划分，将告警基于ip地址划分成为多个社区，最后针对每个社区的告警利用统计冗余算法剔除每个社区内的冗余告警，达到提升告警质量的目的。
[0042]
在大型机构网络环境中，由于攻击的横向移动，受攻击设备的ids告警存在网络ip地址聚集的特性，本发明使用包含源ip地址和目的ip地址信息的告警构建ip连接图，连接图上的每一个节点代表一个ip地址，两个顶点相连的一条连接边代表包含有两个顶点所代表的ip地址的告警。使用社区发现算法依据ip地址对连接图划分为多个社区；依据划分情况，将对应的告警分别按照划分完成的社区抽取出来分类，使用rmsr算法对提取出的每类告警分别进行提炼处理，目的是以移除冗余信息。
[0043]
首先基于社区发现算法进行告警信息划分(告警社区划分)。具体的，基于源ip地址和目的ip地址构建ip连接图。ip连接图中的每一个顶点代表一个ip地址，相连的两个顶点所连接的边包含这两个顶点ip地址的告警，边的权重代表包含这两个顶点ip地址的告警数量。
[0044]
在本实施例中，使用louvain社区发现算法对告警信息进行划分，由于大型机构中网络攻击ip地址聚集的特性，通过社区划分，可以利用ip地址聚集的特性提炼出高度相关的告警。louvain算法是高效的社区发现算法，利用louvain算法将ip连接图g中顶点(即ip地址)划分社区，每个社区计算出一个模块度值，使用迭代的贪心算法进行优化，使得各个社区的模块度值达到最大，最后得到连接图g
′
即最后划分好的社区图，此时依据社区边的分布对原始告警进行分组。具体的，定义模块度q：
[0045][0046]
其中，c代表的是某一社区，m是连接图中的边的数量，∑in是社区c内的边的权重之和，∑tot表示与社区c内的节点相连的边的权重之和，所述边包括内部边和外部边。社区划分的过程就是优化每个社区的q达到最大值，算法的优化过程如下：
[0047]
(1)在初始化阶段，将连接图g中的每个节点i看成一个独立的社区，使初始情况下社区的数量与节点个数相同；
[0048]
(2)针对每个节点i，依次尝试把节点i遍历分配到其每个邻居节点所在的社区中，计算分配前与分配后的模块度变化δq，选择使得δq最大的分配方案；
[0049]
(3)重复步骤(2)，直到整个连接图中移动任何节点都不能改善总的模块度为止，形成社区图g
′
；
[0050]
(4)对步骤(3)得到的社区图g
′
，将所有在同一个社区的节点视作一个新节点，社区内节点之间的边的权重转化为所述新节点的环的权重，两个新节点之间边的权值为相应两个社区之间各边的权值的总和；
[0051]
(5)重复步骤(1)-(4)，直至算法稳定。
[0052]
最后，对告警提炼压缩。在本实施例中，使用统计冗余算法(reduction method based on statistical redundancy)rmsr算法来剔除冗余的告警。由于rmsr算法能够基于统计学对冗余信息进行剔除，所以针对上述步骤划分后的告警，使用rmsr算法按照统计得告警类型所占比例剔除冗余告警。具体的，rmsr算法分为三步骤：
[0053]
首先根据告警的源ip地址和目的ip地址将告警信息切分为多个告警流，保证在同一个告警流中，所有的告警信息都具有相同的源ip地址和目的ip地址；
[0054]
然后根据告警流中的告警类型与其对应的数量计算统计向量，如果某告警流中含有某类型的告警数量达到阈值ε
er
，那么就将该条告警流滤除；
[0055]
接着挑选出每条告警流中告警类型的统计值超过阈值ε
atr
的告警类型，通过以下公式计算告警流中的超出阈值ε
atr
的告警类型的冗余值φ。
[0056][0057]
其中，n代表所有的告警流中，有n条告警流，这n条告警流满足条件：该告警流告警种类数量超过阈值ε
er
。mj代表前述n个告警流中告警类型j的数量高于阈值ε
atr
的告警流的数量，α
ij
代表第i个包含类型j的告警流中告警类型j的数量占整个告警流中告警信息总和的百分比。其中ε
atr
与ε
er
的值将根据网络系统进行灵活调整。最后剔除冗余值φj超过阈值ε
rdc
的告警类型；
[0058]
最后，进行上述步骤之后，冗余告警信息将被剔除，得到元告警序列alert
meta
＝{mas1,mas2,mas3…
}，元告警序列用于帮助网络管理员研判。
[0059]
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

技术特征：
1.一种网络安全中的告警数据提纯的方法，其特征在于，包括以下步骤：接收原始告警：接收到来自ids的原始告警；告警社区划分：原始告警使用社区发现算法根据ip地址对原始告警进行社区划分；告警提炼压缩：针对每个社区的告警使用统计冗余算法进行告警的提炼压缩。2.根据权利要求1所述的网络安全中的告警数据提纯的方法，其特征在于：所述原始告警为包含源ip地址和目的ip地址信息的告警。3.根据权利要求2所述的网络安全中的告警数据提纯的方法，其特征在于：所述告警社区划分的方法为：基于源ip地址和目的ip地址构建ip连接图；利用社区发现算法将连接图中顶点划分社区，每个社区计算出一个模块度值，使用迭代的贪心算法进行优化，使各个社区的模块度值达到最大，得到划分好的社区图，此时依据社区边的分布对原始告警进行分组。4.根据权利要求3所述的网络安全中的告警数据提纯的方法，其特征在于：所述模块度为：其中，c代表的是某一社区，m是连接图中的边的数量，∑in是社区c内的边的权重之和，∑tot表示与社区c内的节点相连的边的权重之和，所述边包括内部边和外部边。5.根据权利要求3所述的网络安全中的告警数据提纯的方法，其特征在于：所述算法的优化方法包括以下步骤：(1)在初始化阶段，将连接图g中的每个节点i作为一个独立的社区，初始情况下社区的数量与节点个数相同；(2)针对每个节点i，依次尝试把节点i遍历分配到其每个邻居节点所在的社区中，计算分配前与分配后的模块度变化δq，选择使得δq最大的分配方案；(3)重复步骤(2)，直到整个连接图中移动任何节点都不能改善总的模块度为止，形成社区图g
′
；(4)对步骤(3)得到的社区图g
′
，将所有在同一个社区的节点视作一个新节点，社区内节点之间的边的权重转化为所述新节点的环的权重，两个新节点之间边的权值为相应两个社区之间各边的权值的总和；(5)重复步骤(1)-(4)，直至算法稳定。6.根据权利要求1或2所述的网络安全中的告警数据提纯的方法，其特征在于：所述社区发现算法包括但不限于louvain社区发现算法。7.根据权利要求1所述的网络安全中的告警数据提纯的方法，其特征在于：所述统计冗余算法包括但不限于rmsr算法。8.根据权利要求7所述的网络安全中的告警数据提纯的方法，其特征在于：利用所述rmsr算法对告警提炼压缩的方法包括以下步骤：首先根据告警的源ip地址和目的ip地址将告警信息切分为多个告警流，保证在同一个告警流中，所有的告警信息都具有相同的源ip地址和目的ip地址；
根据告警流中的告警类型与其对应的数量计算统计向量，如果某告警流中含有某类型的告警数量达到阈值ε
er
，那么就将该条告警流滤除；挑选出每条告警流中告警类型的统计值超过阈值ε
atr
的告警类型，通过以下公式计算告警流中的超出阈值ε
atr
的告警类型的冗余值φ。其中，n代表所有的告警流中，有n条告警流，这n条告警流满足条件：该告警流告警种类数量超过阈值ε
er
。m
j
代表前述n个告警流中告警类型j的数量高于阈值ε
atr
的告警流的数量，α
ij
代表第i个包含类型j的告警流中告警类型j的数量占整个告警流中告警信息总和的百分比。其中ε
atr
与ε
er
的值将根据网络系统进行灵活调整。最后剔除冗余值φ
j
超过阈值ε
rdc
的告警类型；进行上述步骤之后，冗余告警信息将被剔除，得到元告警序列alert
meta
＝{mas1,mas2,mas3…
}，元告警序列用于帮助网络管理员研判。

技术总结
本发明涉及一种网络安全中的告警数据提纯的方法，该方法首先接收到来自IDS的原始告警，然后对原始告警使用社区发现算法根据IP地址对原始告警进行社区划分，最后针对每个社区的告警使用统计冗余算法进行告警的提炼压缩。本发明对IDS上报的海量告警数据按照遭受网络攻击的区域划分为多组，并剔除各组冗余告警，得到高质量的告警序列，减少了由于不同网络区域间告警相互干扰对网络管理人员决策的影响，方便网络管理人员高效的研判告警，能够辅助网络管理员更好的应对潜在的威胁，在安全领域具有重要的意义。有重要的意义。有重要的意义。


技术研发人员：陈志军
受保护的技术使用者：北京国保晟达科技有限公司
技术研发日：2023.05.23
技术公布日：2023/8/9