基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法

1.本发明涉及一种基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，属于深度学习和网络安全技术领域。


背景技术：

2.物联网是指将各种信息传感器，如射频识别、红外感应器、激光扫描器等种种装置与互联网结合起来形成的巨大网络。物联网被称为是继互联网和移动通信网之后的世界信息产业的第三次浪潮。目前，物联网在各行业中得到广泛应用，遍及智能交通，智能家居、农业生产、医疗保健等多个领域；与此同时，物联网应用程序安全也越来越受到重视。
3.近年来，针对物联网的恶意软件攻击屡见不鲜
4.恶意软件又称恶意代码，通常指的是在用户的操作系统中威胁用户计算机安全、信息安全、损害用户利益的软件。有效缓解恶意软件是信息安全领域的一项长期努力。拦截未知的恶意软件极其变种，是一项艰巨的任务，传统的恶意软件家族分类方法主要有：静态分析、动态分析、混合分析。恶意软件程序在其设计的特定平台上执行。物联网设备主要在linux操作环境上运行，与windows可执行pe文件(如.exe、.obj、.dll等)类似，linux环境具有elf文件(如.elf、.o、.so等)作为可执行文件，同时大多数物联网设备都具有不同的cpu指令集架构(arm、mips、x86等)。由于物联网设备的多样性，各种类型的物联网硬件和软件难以建立统一的标准，同时物联网设备缺乏足够的计算资源和存储空间，导致反汇编和配置适合物联网恶意软件运行的动态分析环境十分困难，基于windows系统的安全方案难以在物联网设备上实施，这对于物联网的快速发展是一个巨大挑战。
5.物联网恶意软件的分类方法主要分为静态分析和动态分析。在静态分析中，通常基于文件结构、原始字节码等低级特征和控制流图、操作代码、字符串等高级特征，基于高级特征的分析方法，只能支持检测相同架构的物联网恶意软件，不能满足多平台物联网恶意软件的检测需求。低级特征可以直接从二进制文件结构本身获得，虽然低级特征分析可以满足跨平台进行恶意软件分类的需求，但浅层卷积神经网络和机器学习的方法准确率较低，而复杂模型准确率较高，但往往需要依赖庞大的计算和存储资源，难以在物联网环境中使用。动态分析是在一个孤立的环境中监视恶意软件在运行的行为，此方法将网络活动、系统调用、文件操作、注册表修改等作为重点特征。虽然动态分析方法相对最为准确，但物联网的异构环境使得需要为不同环境开发不同的分析工具，且动态分析消耗的计算资源和存储空间相较于静态分析也更大，同时耗时过长是恶意软件动态分析一直以来的劣势。


技术实现要素：

6.本发明所要解决的技术问题是提供一种在存储和计算资源有限、平台异构的物联网环境中进行恶意软件家族分类的基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法。
7.本发明采用如下技术方案：
8.本发明一种基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，采用如下步骤：
9.步骤s1：构建物联网恶意软件数据库；
10.步骤s2：数据预处理，将物联网软件数据库中的恶意软件做可视化处理，制作为物联网恶意软件图像数据集；
11.步骤s3：构建两个以上教师模型并使用预处理后的数据集训练；
12.步骤s4：构建一个轻量化卷积神经网络作为学生模型；
13.步骤s5：使用数据集、教师模型的蒸馏损失来共同训练学生模型；
14.步骤s6：将测试集中的数据放入训练好的学生模型进行识别。
15.本发明方法在步骤s4中，
16.所述轻量型卷积神经网络使用深度可分离卷积、分组卷积和通道重排，深度可分离卷积包括：逐通道卷积和逐点卷积；
17.逐通道卷积即使用卷积核对输入特征按照通道进行卷积，以获得空间信息，随后将逐通道卷积的输出特征图作为下一层的输入特征图，进行逐点卷积，即逐点卷积利用1
×
1卷积核对逐通道卷积的输出特征图进行卷积，以获得不同通道间的信息，
18.标准卷积的参数数量和乘法计算量计算公式如下：
19.p1＝dk×dk
×m×n20.c1＝dk×dk
×m×n×df
×df
21.深度可分离卷积的参数数量和乘法计算量计算公式如下：
22.p2＝dk×dk
×
m+m
×n23.c2＝dk×dk
×m×df
×df
+m
×n×df
×df
24.标准卷积与深度可分离卷积参数量与乘法计算量对比如下：
[0025][0026][0027]
公式中：p1、c1分别表示标准卷积的参数量和乘法计算量，p2、c2分别表示深度可分离卷积的参数量和乘法计算量，dk表示卷积核的长和宽相同，dk×dk
表示卷积核尺寸，df×df
表示特征图尺寸，df为特征图边长，m和n分别表示输入通道数和输出通道数；
[0028]
所述分组卷积对输入特征图按通道分组，卷积核只对同组的输入特征图进行卷积操作，再将各组输出结果进行连接，得到最终输出特征图；
[0029]
分组卷积过程的参数量采用如下公式：
[0030][0031]
公式中：p3表示分组卷积的参数量，g为所分组数，分组卷积的参数量为普通卷积的1/g；
[0032]
所述通道重排的具体步骤如下：
[0033]
步骤401.将具有g
×
k通道的输出特征转化为g行k列的矩阵；
[0034]
步骤402.对矩阵进行转置操作，得到k行g列的矩阵；
[0035]
步骤403.将矩阵降维到一维，再次分为g组，作为下一层的输入特征；
[0036]
其中：g为所分组数，k＝m/g为每组的通道数。
[0037]
本发明方法的步骤s5具体为：
[0038]
s501.将步骤s2中生成的物联网软件图像数据集作为学生模型的训练集，用教师模型在引入温度参数t后产生的softmax输出作为软标签，学生模型在与多教师模型相同温度t条件下的softmax输出和多个教师模型中得到的软标签的交叉熵作为l
mkd
，具体公式如下：
[0039][0040][0041][0042][0043]
公式中：vi为教师模型的logits，zi为学生模型的logits，和分别指教师模型和学生模型在温度t的条件下的软化输出，l
soft
为学生模型与单一教师模型在温度t下得到的软标签的交叉熵，n为总标签的数量，qi为在知识蒸馏过程中不同教师模型所占的权重，l
mkd
为学生模型与多个不同权重的教师模型在温度t下得到的软标签的交叉熵；
[0044]
s502.学生模型在引入温度参数t＝1的条件下的softmax输出和ground truth的交叉熵损失函数就是loss函数的第二部分l
hard
，其公式如下：
[0045][0046][0047]
公式中，l
hard
表示学生模型不引入知识蒸馏技术，正常训练的损失，cj指在第j类上的ground truth值，cj∈{0,1}，正标签取1，负标签取0；
[0048]
s503.知识蒸馏采用软硬标签加权结合的交叉熵损失函数来训练学生模型，参数q为蒸馏损失比例，总体加权函数形式如下：
[0049]
loss＝q
×
l
mkd
+(1-q)
×
l
hard
[0050]
公式中，loss表示学生模型如何训练的总损失，q
×
l
mkd
+(1-q)
×
l
hard
表示影响总损失函数的两个部分的权重，q
×
l
mkd
表示教师模型输出软标签的影响，(1-q)
×
l
hard
表示学生模型自身判断类别的能力。
[0051]
本发明方法的步骤s1具体为：
[0052]
s101.利用物联网蜜罐iotpot收集物联网软件；
[0053]
s102.将获取的物联网软件上传至virustotal网站获取软件标签；
[0054]
s103.将软件按virustotal分析结果将恶意软件按照恶意软件家族进行分类。
[0055]
本发明方法步骤s2具体为：
[0056]
s201.读取物联网软件的二进制比特串；
[0057]
s202.将其分割成若干个长度为8比特的子串，将所有子串存为二维数组，若所述二维数组的宽w与高h的乘积大于等于物联网软件字节数，二维数组中尾部剩余字节用0填充；
[0058]
s203.将所述数组中的二进制数转换为十进制；
[0059]
s204.将每个数组中的十进制数一一对应像素点映射为灰度图；
[0060]
s205.将图片剪裁为224
×
224大小；
[0061]
s206.将数据集按照6:2:2划分训练集、验证集和测试集。
[0062]
本发明方法的深度可分离卷积是对标准卷积的轻量化改进，参数量和乘法计算量有明显下降，在标准卷积中，卷积核大小为长
×
宽
×
通道数，而深度可分离卷积相当于把传统卷积过程拆解，先用卷积核大小为长
×
宽
×
1的逐通道卷积获得空间信息，再用卷积核大小为1
×1×
通道数的逐点卷积获得通道间的信息。
[0063]
本发明所述通道重排在分组卷积后进行的操作，用来打乱原特征图通道顺序，在不增加计算量的前提下，使不同组的特征之间能够互相交流。
[0064]
本发明积极效果如下：本发明方法采用的教师模型和学生模型模型小，精度高，适用于物联网环境，教师模型的训练实验在真实物联网恶意软件数据集上进行。本发明学生模型通过轻量化卷积神经网络的深度可分离卷积、分组卷积和通道重排，在维持可观准确率的同时尽可能减少参数量，做到简洁高效。同时学生模型通过多教师知识蒸馏训练，准确率进一步提高。
[0065]
本发明模型小，同时准确率高，能够胜任恶意软件家族分类工作，实现了物联网环境下恶意软件家族分类任务中模型大小和准确率的良好平衡。
附图说明
[0066]
图1是本发明的方法流程图；
[0067]
图2是本发明数据预处理流程图；
[0068]
图3是本发明学生模型的基本结构图。
具体实施方式
[0069]
下面结合附图对本发明作进一步详细的说明：
[0070]
如图1、2所示，基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法包括如下步骤：
[0071]
步骤s1：构建物联网软件数据库；
[0072]
s101.利用物联网蜜罐iotpot收集物联网软件；
[0073]
s102.将获取的物联网软件上传至virustotal网站获取软件标签；
[0074]
s103.将软件按virustotal分析结果分为良性软件和恶意软件，恶意软件进一步按照恶意软件家族进行分类，最终物联网数据集包括跨越如mips、x86、superh等不同架构的4个恶意家族共11499个样本；
[0075]
步骤s2：数据预处理，将物联网软件数据库中的恶意软件做可视化处理，制作为物联网恶意软件图像数据集；
[0076]
s201.读取物联网软件的二进制比特串；
[0077]
s202.将其分割成若干个长度为8比特的子串，将所有子串存为二维数组，若所述二维数组的宽w与高h的乘积大于等于物联网软件字节数，二维数组中尾部剩余字节用0填充；
[0078]
s203.将所述数组中的二进制数转换为十进制；
[0079]
s204.将每个数组中的十进制数一一对应像素点映射为灰度图；
[0080]
s205.将图片等比例放大或缩小到224
×
224大小；
[0081]
s206.将数据集按照6:2:2划分训练集、验证集和测试集；
[0082]
步骤s3：构建两个以上教师模型并使用预处理后的数据集训练；
[0083]
教师模型的选择，主要考虑模型对于恶意软件家族分类的准确率，以及模型结构，经比较最终选择vgg-16和resnet-34作为本实施例的教师模型。
[0084]
在教师模型的训练中，本实施例实验在kaggle云平台开展，设备型号为：ubuntu 20.04.4系统，intel(r)xeon(r)cpu@2.20ghz和nvidia tesla p100 pcie 16gb。采用python3.7语言编程，通过神经网络框架pytorch来创建和训练神经网络。在神经网络关键参数的设置方面，epochs＝50，batch_size＝128，optimizer＝adam，learning rate＝0.001；
[0085]
步骤s4：构建一个轻量化卷积神经网络作为学生模型；
[0086]
所述轻量型卷积神经网络使用深度可分离卷积，包括：逐通道卷积、逐点卷积。逐通道卷积即使用卷积核对输入特征按照通道进行卷积，以获得空间信息。随后将逐通道卷积的输出特征作为下一层的输入特征，进行逐点卷积，即利用1
×
1卷积核对逐通道卷积的输出特征进行卷积，以获得不同通道间的信息。
[0087]
标准卷积的参数数量和乘法计算量计算公式如下：
[0088]
p1＝dk×dk
×m×n[0089]
c1＝dk×dk
×m×n×df
×df
[0090]
深度可分离卷积的参数数量和乘法计算量计算公式如下：
[0091]
p2＝dk×dk
×
m+m
×n[0092]
c2＝dk×dk
×m×df
×df
+m
×n×df
×df
[0093]
公式中：p1、c1分别表示标准卷积的参数量和乘法计算量，p2、c2分别表示深度可分离卷积的参数量和乘法计算量，dk×dk
表示卷积核尺寸，df×df
表示特征图尺寸，m和n分别表示输入通道数和输出通道数。
[0094]
所述轻量型卷积神经网络使用分组卷积，分组卷积对输入特征图按通道分组，卷积核只对同组的输入特征进行卷积操作，再将各组输出结果进行连接，得到最终输出特征。
[0095]
分组卷积过程的参数量为：
[0096][0097]
公式中：p3表示分组卷积的参数量，g为所分组数，分组卷积的参数量为普通卷积的1/g。
[0098]
所述轻量型卷积神经网络使用通道重排，通道重排是一种在分组卷积后进行的操作，用来打乱原特征图通道顺序，在不增加计算量的前提下，使不同组的特征之间能够互相交流；通道重排的具体步骤如下：
[0099]
s401.将具有g
×
k通道的输出特征转化为g行k列的矩阵；
[0100]
s402.对矩阵进行转置操作，得到k行g列的矩阵；
[0101]
s403.将矩阵降维到一维，再次分为g组，作为下一层的输入特征；
[0102]
其中：g为所分组数，k＝m/g为每组的通道数；
[0103]
学生模型的结构如图3所示，具体的：输入的图像首先进行一个步长为2的平均池化；另一路同时进行1
×
1分组卷积，通道变换，再进行逐通道卷积核大小为3
×3×
1的步长为2的深度可分离卷积操作，之后再进行1
×
1分组卷积；将两路所得的特征图堆叠连接。此部分具有下采样功能，输出特征图尺寸在输入图片基础上长宽减半，通道数加倍，之后再次进行1
×
1分组卷积，通道变换，逐通道卷积核大小为3
×3×
1的步长为2的深度可分离卷积操作，1
×
1分组卷积，将最终结果相加求和，之后进行全局平均池化，最后通过全连接层输出神经网络的判断；
[0104]
步骤s5：使用步骤2中的数据集训练，使用教师模型的蒸馏损失来共同训练学生模型；具体如下：
[0105]
s501.将步骤s2中生成的物联网软件图像数据集作为学生模型的训练集，用教师模型在引入温度参数t后产生的softmax输出作为软标签，学生模型在与多教师模型相同温度t条件下的softmax输出和多个教师模型中得到的软标签的交叉熵作为l
mkd
，具体公式如下：
[0106][0107][0108][0109][0110]
公式中，vi为教师模型的logits，zi为学生模型的logits，和分别指教师模型和学生模型在温度t的条件下的软化输出，实验发现t＝2时学生模型可以取得最好效果，l
soft
为学生模型与单一教师模型在温度t下得到的软标签的交叉熵，n为总标签的数量11499，qi权重根据教师模型在识别任务中的准确率来分配，最终vgg-16的权重为0.5033，resnet-32的权重为0.4967，l
mkd
为学生模型与多个不同权重的教师模型在温度t下得到的软标签的交叉熵；
[0111]
s502.学生模型在引入温度参数t＝1的条件下的softmax输出和ground truth的交叉熵损失函数就是loss函数的第二部分l
hard
，其公式如下：
[0112][0113][0114]
公式中，cj指在第j类上的ground truth值，cj∈{0,1}，正标签取1，负标签取0；
[0115]
s503.知识蒸馏采用软硬标签加权结合的交叉熵损失函数来训练学生模型，参数q为蒸馏损失比例，总体加权函数形式如下：
[0116]
loss＝0.5
×
l
mkd
+(1-0.5)
×
l
hard
[0117]
loss＝0.5
×
(0.5033
×
l
softvgg
+0.4967
×
l
softresnet
)+(1-0.5)
×
l
hard
公式中，loss表示学生模型如何训练的总损失，q
×
l
mkd
+(1-q)
×
l
hard
表示影响总损失函数的两个部分的权重，q
×
l
mkd
表示教师模型输出软标签的影响，(1-q)
×
l
hard
表示学生模型自身判断类别的能力；
[0118]
在训练过程中，将q设置为0.5；
[0119]
步骤s6：将测试集中的数据放入训练好的学生模型识别。
[0120]
本发明使用教师模型预测的软标签来辅助硬标签训练学生模型采用深度可分离卷积、分组卷积和通道重排轻量化卷积神经网络设计理念。轻量化卷积神经网络可在保证不损失准确度的情况下，降低网络的计算量和参数量，从而提高网络的运行效率和节省存储空间。
[0121]
本发明利用教师模型的输出作为软标签来训练学生模型，教师模型的输出概率分布反映了教师模型对样本的推理过程，其中不同类别之间有不同的相似度，使学生模型学习到教师模型的隐含知识(传统卷积神经网络只能输出一个确定的类别。例如手写数字识别中，“7”和“1”有类似之处，例如给一个输入手写“7”：神经网络会识别为“7”的概率为0.9,“1”的概率为0.1，最终输出时只会输出判断为“7”，而有0.1的概率是“1”这件事就不会被输出，这些不会输出的部分就被称为隐含知识。)，而不仅仅是硬标签的分类信息。由于传统的训练方式只关注正确类别，忽略了其他类别的信息，因此，本发明知识蒸馏可以提高学生模型的性能和精度；多教师知识蒸馏可以让学生模型学习到不同教师的不同知识，每个教师的输出结果都有自己的特点，以达到比传统知识蒸馏更好的效果。
[0122]
本发明基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法解决了在存储和计算资源有限、平台异构的物联网环境中难以进行恶意软件家族分类的问题。
[0123]
最后说明的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，其特征在于，采用如下步骤：步骤s1：构建物联网恶意软件数据库；步骤s2：数据预处理，将物联网软件数据库中的恶意软件做可视化处理，制作为物联网恶意软件图像数据集；步骤s3：构建两个以上教师模型并使用预处理后的数据集训练；步骤s4：构建一个轻量化卷积神经网络作为学生模型；步骤s5：使用数据集、教师模型的蒸馏损失来共同训练学生模型；步骤s6：将测试集中的数据放入训练好的学生模型进行识别。2.根据权利要求1所述的基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，其特征在于，在步骤s4中，所述轻量型卷积神经网络使用深度可分离卷积、分组卷积和通道重排，深度可分离卷积包括：逐通道卷积和逐点卷积；逐通道卷积即使用卷积核对输入特征按照通道进行卷积，以获得空间信息，随后将逐通道卷积的输出特征图作为下一层的输入特征图，进行逐点卷积，即逐点卷积利用1
×
1卷积核对逐通道卷积的输出特征图进行卷积，以获得不同通道间的信息，标准卷积的参数数量和乘法计算量计算公式如下：p1＝d
k
×
d
k
×
m
×
nd1＝d
k
×
d
k
×
m
×
n
×
d
f
×
d
f
深度可分离卷积的参数数量和乘法计算量计算公式如下：p2＝d
k
×
d
k
×
m+m
×
nc2＝d
k
×
d
k
×
m
×
d
f
×
d
f
+m
×
n
×
d
f
×
d
f
标准卷积与深度可分离卷积参数量与乘法计算量对比如下：标准卷积与深度可分离卷积参数量与乘法计算量对比如下：公式中：p1、c1分别表示标准卷积的参数量和乘法计算量，p2、c2分别表示深度可分离卷积的参数量和乘法计算量，d
k
表示卷积核的长和宽相同，d
k
×
d
k
表示卷积核尺寸，d
f
×
d
f
表示特征图尺寸，d
f
为特征图边长，m和n分别表示输入通道数和输出通道数；所述分组卷积对输入特征图按通道分组，卷积核只对同组的输入特征图进行卷积操作，再将各组输出结果进行连接，得到最终输出特征图；分组卷积过程的参数量采用如下公式：公式中：p3表示分组卷积的参数量，g为所分组数，分组卷积的参数量为普通卷积的1/g；所述通道重排的具体步骤如下：步骤401.将具有g
×
k通道的输出特征转化为g行k列的矩阵；步骤402.对矩阵进行转置操作，得到k行g列的矩阵；
步骤403.将矩阵降维到一维，再次分为g组，作为下一层的输入特征；其中：g为所分组数，k＝m/g为每组的通道数。3.根据权利要求1所述的基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，其特征在于，步骤s5具体为：s501.将步骤s2中生成的物联网软件图像数据集作为学生模型的训练集，用教师模型在引入温度参数t后产生的softmax输出作为软标签，学生模型在与多教师模型相同温度t条件下的softmax输出和多个教师模型中得到的软标签的交叉熵作为l
mkd
，具体公式如下：，具体公式如下：，具体公式如下：，具体公式如下：公式中：v
i
为教师模型的logits，z
i
为学生模型的logits，和分别指教师模型和学生模型在温度t的条件下的软化输出，l
soft
为学生模型与单一教师模型在温度t下得到的软标签的交叉熵，n为总标签的数量，q
i
为在知识蒸馏过程中不同教师模型所占的权重，l
mkd
为学生模型与多个不同权重的教师模型在温度t下得到的软标签的交叉熵；s502.学生模型在引入温度参数t＝1的条件下的softmax输出和ground truth的交叉熵损失函数就是loss函数的第二部分l
hard
，其公式如下：，其公式如下：公式中，l
hard
表示学生模型不引入知识蒸馏技术，正常训练的损失，c
j
指在第j类上的ground truth值，c
j
∈{0,1，正标签取1，负标签取0；s503.知识蒸馏采用软硬标签加权结合的交叉熵损失函数来训练学生模型，参数q为蒸馏损失比例，总体加权函数形式如下：loss＝q
×
l
mkd
+(1-q)
×
l
hard
公式中，loss表示学生模型如何训练的总损失，q
×
l
mkd
+(1-q)
×
l
hard
表示影响总损失函数的两个部分的权重，q
×
l
mkd
表示教师模型输出软标签的影响，(1-q)
×
l
hard
表示学生模型自身判断类别的能力。4.根据权利要求1所述的基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，其特征在于，步骤s1具体为：s101.利用物联网蜜罐iotpot收集物联网软件；s102.将获取的物联网软件上传至virustotal网站获取软件标签；s103.将软件按virustotal分析结果将恶意软件按照恶意软件家族进行分类。5.根据权利要求1所述的基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，其特征在于步骤s2具体为：s201.读取物联网软件的二进制比特串；
s202.将其分割成若干个长度为8比特的子串，将所有子串存为二维数组，若所述二维数组的宽w与高h的乘积大于等于物联网软件字节数，二维数组中尾部剩余字节用0填充；s203.将所述数组中的二进制数转换为十进制；s204.将每个数组中的十进制数一一对应像素点映射为灰度图；s205.将图片剪裁为224
×
224大小；s206.将数据集按照6:2:2划分训练集、验证集和测试集。6.根据权利要求2所述的基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，其特征在于，深度可分离卷积是对标准卷积的轻量化改进，参数量和乘法计算量有明显下降，在标准卷积中，卷积核大小为长
×
宽
×
通道数，而深度可分离卷积相当于把传统卷积过程拆解，先用卷积核大小为长
×
宽
×
1的逐通道卷积获得空间信息，再用卷积核大小为1
×1×
通道数的逐点卷积获得通道间的信息。7.根据权利要求2所述的基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，其特征在于，所述通道重排在分组卷积后进行的操作，用来打乱原特征图通道顺序，在不增加计算量的前提下，使不同组的特征之间能够互相交流。

技术总结
本发明涉及一种基于轻量化卷积神经网络和多教师知识蒸馏的物联网恶意软件家族分类方法，采用如下步骤：一.构建物联网恶意软件数据库；二.数据预处理，将物联网软件数据库中的恶意软件做可视化处理，制作为物联网恶意软件图像数据集；三.构建两个以上教师模型并使用预处理后的数据集训练；四.构建一个轻量化卷积神经网络作为学生模型；五.使用数据集、教师模型的蒸馏损失来共同训练学生模型；六.将测试集中的数据放入训练好的学生模型进行识别；本发明模型小，同时准确率高，能够胜任恶意软件家族分类工作，实现了物联网环境下恶意软件家族分类任务中模型大小和准确率的良好平衡。家族分类任务中模型大小和准确率的良好平衡。家族分类任务中模型大小和准确率的良好平衡。


技术研发人员：王长广 袁艺洲 王方伟 李青茹 赵冬梅
受保护的技术使用者：河北师范大学
技术研发日：2023.03.22
技术公布日：2023/8/5