过滤软件虚假关联的神经网络模型训练方法以及存储介质
未命名
09-08
阅读:94
评论:0

1.本技术涉及计算机识别技术领域,特别是涉及一种过滤软件虚假关联的神经网络模型训练方法、恶意软件识别方法、计算机设备、存储介质和计算机程序产品。
背景技术:
2.随着计算机技术的普及,恶意软件越来越多也越来越复杂,传统的专家识别事倍功半,非常消耗高质量的人力资源;即使使用恶意软件扫描器,也由于计算量等原因,仅能有效应用于研究使用或只对部分群体开放。而后,随着机器学习分类器在实践中被广泛应用于检测安卓恶意软件,恶意软件的检测成功率达到一个新的高度。尽管取得了成功,但在恶意软件检测中应用机器学习的一个新兴问题是应用环境的变化。
3.虚假关联被认为普遍存在于恶意软件样本特征集中,在恶意软件识别领域,有着通过建立模型池并进行在线学习来增强模型性能的方法但是这仅是种结构化方法,并没有提升模型自身的稳定性或是提出一种全新的模型。另一种方法是改良特征提取方式,拥有较好的时间耐受性,但是该方法专注的并不是模型稳定性,更多的是克服时间偏移部分。这些方法对于恶意软件内部普遍存在的虚假关联也没有有效的应对手段。
技术实现要素:
4.基于此,有必要针对上述技术问题,提供一种能够解决消除恶意软件虚假关联时计算量高的问题并通过多层优化器实现平衡优化提高软件虚假关联过滤的精度的过滤软件虚假关联的神经网络模型训练方法、恶意软件识别方法、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面,本技术提供了一种过滤软件虚假关联的神经网络模型训练方法,所述方法包括:
6.基于所获取的软件样本数据集的接口级特征,构建特征矩阵;
7.以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化;所述伪关联度基于所述特征矩阵确定;
8.基于网络优化器以及权重优化器,对所述神经网络模型进行优化;所述网络优化器以及权重优化器基于优化后的所述样本全局权重生成。
9.在其中一个实施例中,所述以降低特征之间的伪关联度为优化目标对所述软件样本数据集的全局权重进行优化包括:
10.基于所述特征矩阵,获取特征间的协方差;
11.基于所述协方差,对所述软件样本数据集的样本全局权重进行优化。
12.在其中一个实施例中,所述第一优化器用于提高所述软件样本数据集的权重优化速度,所述基于所述协方差,对所述样本数据集的样本全局权重进行优化还包括:提高所述第一优化器的学习率,使得所述样本全局权重的方差到达设定阈值。
13.在其中一个实施例中,所述基于网络优化器以及权重优化器,对所述神经网络模
型进行优化包括:
14.基于优化后的所述样本全局权重以及所述神经网络模型的训练集交叉熵,构造所述网络优化器的第一损失函数;
15.基于特征间的协方差以及所述神经网络模型的校验集交叉熵,构造所述权重优化器的第二损失函数;
16.基于所述样本全局权重,指导所述第一损失函数和第二损失函数进行双层迭代,对所述神经网络模型进行训练和优化。
17.在其中一个实施例中,所述基于所述第一损失函数和第二损失函数进行权重双层迭代,对所述神经网络模型进行训练和优化包括:
18.基于所述第一损失函数以及优化后的所述样本全局权重,获取所述网络优化器的第一网络梯度值;
19.基于所述第一网络梯度值以及所述第二损失函数,获取所述权重优化器的第二权重梯度值;
20.将所述第二权重梯度值作为新的所述样本全局权重代入所述第一损失函数,进行权重迭代优化。
21.在其中一个实施例中,所述基于所获取的软件样本数据集的接口级特征,构建特征矩阵包括:
22.基于所获取的软件样本数据集的接口级特征,构建知识图谱;
23.利用聚类算法划分所述知识图谱,获取所述知识图谱的低维特征集;
24.基于所述低维特征集,获取所述知识图谱的柔性特征,构建特征矩阵,所述柔性特征为表示所述接口级特征中某一类特征的集群特征。
25.第二方面,本技术还提供了一种恶意软件识别方法,所述方法包括:
26.基于第一方面的过滤软件虚假关联的神经网络模型训练方法,生成神经网络模型;
27.将待识别的软件数据集输入所述神经网络模型,并基于所述神经网络模型过滤所述软件数据集中的虚假关联,识别恶意软件。
28.第三方面,本技术还提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以上述第一方面或者第二方面的内容。
29.第四方面,本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以上述第一方面或者第二方面的内容。
30.第五方面,本技术还提供了一种计算机程序产品,所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面或者第二方面的内容。
31.上述过滤软件虚假关联的神经网络模型训练方法、恶意软件识别方法、计算机设备、存储介质和计算机程序产品,通过所获取的软件样本数据集的接口级特征,构建特征矩阵;以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化;基于网络优化器以及权重优化器,对所述神经网络模型进行优化,实现了对软件样本中存在的虚假关联的平衡过滤,解决了由于软件样本数据集计算量庞大导致的虚假关联过滤
效果差的问题,提升了软件在完全未知分布下的识别精度。
附图说明
32.图1为一个实施例中过滤软件虚假关联的神经网络模型训练方法的应用环境图;
33.图2为一个实施例中过滤软件虚假关联的神经网络模型训练方法的流程示意图;
34.图3为一个实施例中s204步骤的流程示意图;
35.图4为一个实施例中s202步骤的流程示意图;
36.图5为一个实施例中s206步骤的流程示意图;
37.图6为一个实施例中s506步骤的流程示意图;
38.图7为一个示例实施例中过滤软件虚假关联的神经网络模型训练方法的场景示意图;
39.图8为一个示例实施例中软件样本过滤虚假关联前后的输出模型;
40.图9为一个实施例中计算机设备的内部结构图。
具体实施方式
41.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
42.本技术实施例提供的过滤软件虚假关联的神经网络模型训练方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统106可以存储服务器104需要处理的软件样本数据。数据存储系统106可以集成在服务器104上,也可以放在云上或其他网络服务器上。在终端102上,基于所获取的软件样本数据集的接口级特征,构建特征矩阵,利用服务器104,以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化;所述伪关联度基于所述特征矩阵确定,并基于网络优化器以及权重优化器,对所述神经网络模型进行优化,所述网络优化器以及权重优化器基于优化后的所述样本全局权重生成。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、智能电视、智能手表等。服务器104可以是独立的服务器或者是多个服务器组成的服务器集群。
43.在一个实施例中,如图2所示,提供了一种过滤软件虚假关联的神经网络模型训练方法,以该方法应用于图1的应用环境为例进行说明,包括以下步骤:
44.s202,基于所获取的软件样本数据集的接口级特征,构建特征矩阵。
45.其中,接口级特征指的是api级特征,包括package name(包名)、method name(方法名)、permission(权限)等。
46.具体地,普通的机器学习恶意软件识别算法不进行任何增强时,难以应对未知的应用环境,许多实验样本集中学习到的虚假关联由于分布环境产生巨大变化难以继续生效,而通过接口级特征可以强化神经网络模型对于软件底层代码变动的识别能力。
47.s204,以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化。
48.其中,所述伪关联度指的是软件样本特征之间虚假关联的程度,由所述特征矩阵
确定。
49.可选地,在一个实施例中,如图3所示,s204以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化包括以下步骤:
50.s302,基于所述特征矩阵,获取特征间的协方差。
51.s304,基于所述协方差,对所述软件样本数据集的样本全局权重进行优化。
52.具体地,为了降低特征间的伪关联度,将特征间的协方差作为优化目标参数,通过计算样本特征间的协方差获取非线性条件下的样本全局权重,实现对样本全局权重的优化。
53.s206,基于网络优化器以及权重优化器,对所述神经网络模型进行优化。
54.其中,网络优化器以及权重优化器基于优化后的所述样本全局权重生成。
55.具体地,将权重优化器的损失函数交叉熵作为平衡优化参数,同时利用网络优化器,让样本全局权重随着神经网络训练过程进行再优化,使最终的神经网络模型具备更高更稳定的预测精度。
56.上述过滤软件虚假关联的神经网络模型训练方法中,基于所获取的软件样本数据集的接口级特征,构建特征矩阵;以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化;基于网络优化器以及权重优化器,对所述神经网络模型进行优化,最终得到一个全局快速优化与平衡训练优化的互补神经网络模型,实现对软件样本特征矩阵中存在的虚假关联的平衡过滤,并解决了过滤特征矩阵虚假关联的计算量大带来权重优化效果差的问题,提升了软件在完全未知分布下的识别精度。
57.在一个实施例中,如图4所示,s202基于所获取的软件样本数据集的接口级特征,构建特征矩阵包括以下步骤:
58.s402,基于所获取的软件样本数据集的接口级特征,构建知识图谱。
59.其中,知识图谱可以将特征结构化,得到机器可读的统一结构化表现形式,天然具有图的各种特征,展示各种关联信息。
60.s404,利用聚类算法划分所述知识图谱,获取所述知识图谱的低维特征集。
61.s406,基于所述低维特征集获取所述知识图谱的柔性特征,构建特征矩阵。
62.其中,所述柔性特征为表示所述接口级特征中某一类特征的集群特征。
63.具体地,基于接口级特征,构建知识图谱,利用聚类算法划分知识图谱,得到一个具有弹性且计算量适中的低维特征集,并且对于每一个样本,根据其apk文件提取出的特征字段作为柔性特征,构建特征矩阵。
64.在上述实施例中,通过所获取的软件样本数据集的接口级特征,构建知识图谱,利用聚类算法划分所述知识图谱,获取所述知识图谱的低维特征集,并基于低维特征集,获取知识图谱的柔性特征,最后构建得到特征矩阵,这样的特征矩阵不会轻易被技术换代影响,具有较高的稳定性。
65.在一个实施例中,s304基于所述协方差,对所述软件样本数据集的样本全局权重进行优化还包括:提高所述第一优化器的学习率,使得所述样本全局权重的方差到达设定阈值。其中所述第一优化器用于提高所述软件样本数据集的权重优化速度。
66.具体地,权重的优化速度与优化器的学习率有关,学习率越高优化速度越快。而传统意义上,优化器的学习率会维持在一个较低水平的值从而保证输出结果的收敛稳定,因
此通常情况下,为了实现样本数据集特征矩阵的虚假关联过滤,会将特征矩阵拆分成多个小矩阵(即batch)逐一进行权重的优化,在保证较低学习率的条件下来减小计算量,并且在现有技术中该方法多数应用在图像样本数据集中。而在面对恶意软件样本数据集时,由于其计算量更庞大复杂,通过矩阵拆分来减小计算量的效果不佳,若盲目提高学习率则会导致收敛不稳定,虚假关联过滤的精度差。因此为了实现在较高水平的学习率的情况下仍能减小计算量,并且最终实现高精度的虚假关联过滤,在本实施例中,不划分特征矩阵,而是通过提高第一优化器的学习率,控制样本全局权重的方差到达设定阈值,实现样本全局权重的初步优化,为后续步骤中通过平衡优化训练神经网络模型提供了虚假关联的初步过滤。也正是由于在后续步骤中通过校验集交叉熵实现平衡优化,才能实现本实施例中在维持较高水平的学习率时仍能减小计算量。
67.在一个实施例中,如图5所示,s206基于网络优化器以及权重优化器,对所述神经网络模型进行优化还包括以下步骤:
68.s502,基于优化后的所述样本全局权重以及所述神经网络模型的训练集交叉熵,构造所述网络优化器的第一损失函数。
69.具体地,利用优化后的样本全局权重以及所述神经网络模型的训练集交叉熵,构造神经网络模型的网络优化器的第一损失函数,第一损失函数中交叉熵的每一部分都受样本全局权重的加权影响。
70.s504,基于特征间的协方差以及所述神经网络模型的校验集交叉熵,构造所述权重优化器的第二损失函数。
71.具体地,从特征矩阵训练集中随机分割出一部分构成校验集,校验集和训练集的分布特征相同,利用校验集的交叉熵以及特征间的协方差,构造神经网络模型的权重优化器的第二损失函数,对样本全局权重进行再优化。
72.s506,基于所述样本全局权重,指导所述第一损失函数和第二损失函数进行双层迭代,对所述神经网络模型进行训练和优化。
73.具体地,在一个实施例中,如图6所示,s506基于所述样本全局权重,指导所述第一损失函数和第二损失函数进行双层迭代,对所述神经网络模型进行训练和优化还包括以下步骤:
74.s602,基于所述第一损失函数以及优化后的所述样本全局权重,获取所述网络优化器的第一网络梯度值。
75.具体地,在神经网络训练第一个epoch时,将s304中得到的初步优化后的样本全局权重代入第一损失函数,计算得到网络优化器的第一网络梯度值。
76.其中,一个epoch表示将所有特征矩阵数据送入神经网路中,完成了一次向前计算和反向传播的过程。随着训练epoch的数量的增加,样本全局权重更新迭代的次数不断增多,不断更新输出曲线的拟合度。
77.s604,基于所述第一网络梯度值以及所述第二损失函数,获取所述权重优化器的第二权重梯度值。
78.具体地,将第一网络梯度值代入第二损失函数中,计算得到权重优化器的第二权重梯度值。
79.s606,将所述第二权重梯度值作为新的所述样本全局权重代入所述第一损失函
数,进行权重迭代优化。
80.在上述步骤s602-s606中,通过网络优化器和权重优化器进行样本全局权重的双层迭代,使得权重的改变与神经网络模型的识别精度不再隔离,实现整个过滤软件虚假关联的神经网络模型的强化训练以及权重的平衡优化。
81.在一个示例实施例中,如图7所示,介绍了一种过滤软件虚假关联的神经网络模型训练方法,并将得到的神经网络模型应用于恶意软件识别,包括以下步骤:
82.s10:获取软件样本数据集的api级特征,构建知识图谱,并利用聚类算法划分知识图谱,得到一个具有弹性且计算量适中的低维特征集,对每一个样本,根据其apk文件提取出柔性特征并使用one-hot向量来表示,构成一个one-hot特征矩阵。
83.s20:利用协方差公式计算one-hot特征矩阵特征间的协方差:
[0084][0085]
其中,a和b表示矩阵,i和j分别表示矩阵的行和列,ω表示样本的权重,每个样本的初始权重均为1,n表示样本的个数,u和v为傅里叶随机函数。用z表示one-hot特征矩阵,利用上述求得的特征间协方差,计算one-hot特征矩阵的
[0086]
其中,arg min表示求取样本全局权重的最小值,r
+
表示正实数,mz表示one-hot特征矩阵的维度,f表示傅里叶变换,表示特征间协方差,令i<j用于避免重复计算。同时提高第一优化器的学习率,使样本全局权重ω
*
的方差到达设定的阈值,实现样本全局权重的初步优化。初步优化后各个样本的权重值分别为ω0=1.01324,ω1=0.45233,ω2=0.99545,ω3=1.11236,
……
,ωn=0.36478。
[0087]
s30:基于样本全局权重ω
*
,构造神经网络模型网络优化器训练集的第一损失函数loss(net):
[0088]
loss(net)=crossentropy(net(z),y)
·
ω
*
[0089]
其中,net表示神经网络,z表示one-hot特征矩阵,y表示样本恶意标签,y=1表示恶意样本,y=0表示非恶意样本,crossentropy(net(z),y)表示第一损失函数交叉熵,其中每一部分都被样本全局权重ω
*
加权影响。
[0090]
基于特征间的协方差,构建神经网络模型权重优化器校验集v的第二损失
[0091]
其中,k1和k2表示损失参数,crossentropy(net(z),v)表示第二损失函数交叉熵,
表示特征间的协方差。
[0092]
s40:在神经网络训练第一个epoch时,先将s20中求得的样本全局权重的初始优化结果代入第一损失函数loss(net),得到神经网络net,对神经网络net求梯度得到net0;将net0代入第二损失函数loss(ω
*
),得到再次优化后的样本全局权重ω
*
并求其求梯度得到再将代入神经网络训练的第二个epoch中,继续进行迭代权重的训练和优化,使得样本全局权重的改变与神经网络模型不再隔离,最后完成整个神经网络的强化训练与权重的平衡优化。
[0093]
s50:基于得到的神经网络模型,输入待识别的软件数据集,进行虚假关联的过滤,识别恶意软件。
[0094]
其中,图8为软件样本过滤虚假关联前后的输出模型,其中,横坐标表示神经网络迭代的次数,纵坐标表示真实关联的正确率(即虚假关联过滤的精度),val_ac为已知分布环境下的软件样本关联度,test-ac为未知分布环境下的软件样本关联度。其中,图8中的(a)图为在未进行虚假关联过滤时,将特征矩阵输入神经网络模型中得到的输出模型,伴随着对原分布内样本的学习,未知分布内的样本呈先上升后下降的趋势,意味着神经网络模型先学习到真实关联,而后又学习到了大量的虚假关联;图8中的(b)图为在进行s20得到了初始优化后的样本全局权重,此时对虚假关联的过滤是粗放的,意味着经过一次权重优化过滤了一部分的虚假关联,学习到更多的真实关联;图8中的(c)图为样本全局权重经过迭代训练优化后,过滤了软件样本中大量的虚假关联,无论是在分布已知的校验集精度还是分布未知的测试集精度,平衡优化后都具有更高的精度。
[0095]
在上述实施例中,通过提高第一优化器的学习率,控制样本全局权重的方差到达设定阈值,并设置除了训练集交叉熵以外的校验集交叉熵、全样本集的协方差等多个优化目标,并使用多层优化器实现样本权重与网络权重的交替优化,使得最终模型拥有更高的实时预测精度与稳定预测精度。
[0096]
基于同样的发明构思,本技术实施例还提供一种用于实现上述所涉及的过滤软件虚假关联的神经网络模型训练方法的恶意软件识别方法,包括以下步骤:
[0097]
s1:基于过滤软件虚假关联的神经网络模型训练方法,生成神经网络模型。
[0098]
s2:将待识别的软件数据集输入所述神经网络模型,并基于所述神经网络模型过滤所述软件数据集中的虚假关联,识别恶意软件。
[0099]
在上述恶意软件识别方法中,应用了因果学习理论,针对大量的软件样本数据集进行虚假关联过滤,让机器学习趋于只能学习到稳定真实的因果关系,从而在真实应用场景的样本分布环境中也能拥有更高的恶意软件识别精度。
[0100]
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的
步骤或者阶段的至少一部分轮流或者交替地执行。
[0101]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output,简称i/o)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储软件样本数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种过滤软件虚假关联的神经网络模型训练方法。
[0102]
本领域技术人员可以理解,图9中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0103]
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
[0104]
步骤1:基于所获取的软件样本数据集的接口级特征,构建特征矩阵;
[0105]
步骤2:以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化;所述伪关联度基于所述特征矩阵确定;
[0106]
步骤3:基于网络优化器以及权重优化器,对所述神经网络模型进行优化;所述网络优化器以及权重优化器基于优化后的所述样本全局权重生成。
[0107]
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0108]
基于所述特征矩阵,获取特征间的协方差;
[0109]
基于所述协方差,对所述软件样本数据集的样本全局权重进行优化。
[0110]
在一个实施例中,处理器执行计算机程序时还实现以下步骤:提高所述第一优化器的学习率,使得所述样本全局权重的方差到达设定阈值。
[0111]
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0112]
基于优化后的所述样本全局权重以及所述神经网络模型的训练集交叉熵,构造所述网络优化器的第一损失函数;基于特征间的协方差以及所述神经网络模型的校验集交叉熵,构造所述权重优化器的第二损失函数;基于所述样本全局权重,指导所述第一损失函数和第二损失函数进行双层迭代,对所述神经网络模型进行训练和优化。
[0113]
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0114]
基于所述第一损失函数以及优化后的所述样本全局权重,获取所述网络优化器的第一网络梯度值;基于所述第一网络梯度值以及所述第二损失函数,获取所述权重优化器的第二权重梯度值;将所述第二权重梯度值作为新的所述样本全局权重代入所述第一损失函数,进行权重迭代优化。
[0115]
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
[0116]
基于所获取的软件样本数据集的接口级特征,构建知识图谱;利用聚类算法划分所述知识图谱,获取所述知识图谱的低维特征集;基于所述低维特征集,获取所述知识图谱
的柔性特征,构建特征矩阵,所述柔性特征为表示所述接口级特征中某一类特征的集群特征。
[0117]
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0118]
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0119]
需要说明的是,本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0120]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
[0121]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0122]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
技术特征:
1.一种过滤软件虚假关联的神经网络模型训练方法,其特征在于,所述方法包括:基于所获取的软件样本数据集的接口级特征,构建特征矩阵;以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化;所述伪关联度基于所述特征矩阵确定;基于网络优化器以及权重优化器,对所述神经网络模型进行优化;所述网络优化器以及权重优化器基于优化后的所述样本全局权重生成。2.根据权利要求1所述的过滤软件虚假关联的神经网络模型训练方法,其特征在于,所述以降低特征之间的伪关联度为优化目标对所述软件样本数据集的全局权重进行优化包括:基于所述特征矩阵,获取特征间的协方差;基于所述协方差,对所述软件样本数据集的样本全局权重进行优化。3.根据权利要求2所述的过滤软件虚假关联的神经网络模型训练方法,第一优化器用于提高所述软件样本数据集的权重优化速度,其特征在于,所述基于所述协方差,对所述样本数据集的样本全局权重进行优化还包括:提高所述第一优化器的学习率,使得所述样本全局权重的方差到达设定阈值。4.根据权利要求1所述的过滤软件虚假关联的神经网络模型训练方法,其特征在于,所述基于网络优化器以及权重优化器,对所述神经网络模型进行优化包括:基于优化后的所述样本全局权重以及所述神经网络模型的训练集交叉熵,构造所述网络优化器的第一损失函数;基于特征间的协方差以及所述神经网络模型的校验集交叉熵,构造所述权重优化器的第二损失函数;基于所述样本全局权重,指导所述第一损失函数和第二损失函数进行双层迭代,对所述神经网络模型进行训练和优化。5.根据权利要求4所述的过滤软件虚假关联的神经网络模型训练方法,其特征在于,所述基于所述样本全局权重,指导所述第一损失函数和第二损失函数进行双层迭代,对所述神经网络模型进行训练和优化包括:基于所述第一损失函数以及优化后的所述样本全局权重,获取所述网络优化器的第一网络梯度值;基于所述第一网络梯度值以及所述第二损失函数,获取所述权重优化器的第二权重梯度值;将所述第二权重梯度值作为新的所述样本全局权重代入所述第一损失函数,进行权重迭代优化。6.根据权利要求1所述的过滤软件虚假关联的神经网络模型训练方法,其特征在于,所述基于所获取的软件样本数据集的接口级特征,构建特征矩阵包括:基于所获取的软件样本数据集的接口级特征,构建知识图谱;利用聚类算法划分所述知识图谱,获取所述知识图谱的低维特征集;基于所述低维特征集,获取所述知识图谱的柔性特征,构建特征矩阵,所述柔性特征为表示所述接口级特征中某一类特征的集群特征。7.一种恶意软件识别方法,其特征在于,所述方法包括:
基于权利要求1至6任一项的过滤软件虚假关联的神经网络模型训练方法,生成神经网络模型;将待识别的软件数据集输入所述神经网络模型,并基于所述神经网络模型过滤所述软件数据集中的虚假关联,识别恶意软件。8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项或权利要求7所述的方法的步骤。
技术总结
本申请涉及一种过滤软件虚假关联的神经网络模型训练方法以及存储介质,所述方法包括:基于所获取的软件样本数据集的接口级特征,构建特征矩阵;以降低特征之间的伪关联度为优化目标对所述软件样本数据集的样本全局权重进行优化;所述伪关联度基于所述特征矩阵确定;基于网络优化器以及权重优化器,对所述神经网络模型进行优化;所述网络优化器以及权重优化器基于优化后的所述样本全局权重生成。采用本方法实现了对软件样本中存在的虚假关联的平衡过滤,解决了由于软件样本数据集计算量庞大导致的虚假关联过滤效果差的问题,提升了软件在完全未知分布下的识别精度。了软件在完全未知分布下的识别精度。了软件在完全未知分布下的识别精度。
技术研发人员:杨雨晨 秦湛
受保护的技术使用者:浙江大学杭州国际科创中心
技术研发日:2023.04.25
技术公布日:2023/9/7
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/