适用于跨场景条件的小样本网络入侵检测方法、装置及介质

1.本发明属于入侵检测技术领域，更具体地，涉及一种适用于跨场景条件的小样本网络入侵检测方法、装置及介质，该方法可以在多种网络场景下检测网络上的异常行为，即跨场景条件的入侵检测。


背景技术：

2.入侵检测技术是识别在计算机和网络资源上恶意使用行为的技术，随着机器学习的崛起，许多著名的机器学习算法如k近邻、支持向量机、决策树等被引入到入侵检测技术上，入侵检测技术的性能得到改善。但是机器学习模型的训练需要人工设计一个高质量的特征集，设计一个这样的特征集是很难的。随着深度学习的出现，深度神经网络模型能够自动学习到原始数据上的特征，这一特点克服了传统机器学习面临的困难。但是新的问题也随之出现，深度神经网络模型在训练时需要准备大量的训练样本，如果训练样本太少导致模型没有学习到足够的有效特征或者学习到太多的噪声，会出现欠拟合和过拟合的现象，导致模型的性能整体下降；并且网络中的入侵技术是时刻变化的，在有限的时间内准备大量的训练样本是困难的。随着研究的深入，适用小样本条件的算法被提出，小样本算法着重解决深度神经网络依赖大量训练样本的问题，同时也能保证整个模型的性能。
3.随着科技的进步，仅仅只有互联网已经不能满足现实产业的需求。实际上，现在网络的种类千差万别，除了狭义的传统互联网外还有物联网、工业物联网、5g网、车联网，卫星网以及相关技术还未成熟的未来智能网络等。面对如此多种类的网络，以及未来可能会出现的其他网络，大多数的入侵检测技术只考虑在单一的网络检测网络上的异常行为，很少有入侵检测技术考虑在多种网络场景下检测网络上的异常行为，即跨场景条件的入侵检测。虽然现存的网络种类很多，但是其中传输信息的本质都基本相同，基于一些相关协议的二进制数据流，跨场景的入侵检测技术是可实现的。


技术实现要素：

4.提供了本发明以解决现有技术中存在的上述问题。因此，需要一种适用于跨场景条件的小样本网络入侵检测方法、装置及介质，本发明可以解决某些场景下样本数量过少的问题。
5.根据本发明的第一方案，提供了一种适用于跨场景条件的小样本网络入侵检测方法，所述方法包括：
6.在基础网与应用网中捕获流量数据，附上标签后保存为跨场景小样本网络入侵检测专用格式；
7.对附上标签的数据进行采样，并进行剪切和重组；
8.源于基础网的跨场景小样本专用数据集作为训练集，所述训练集中取部分作为训练支持集，剩余部分作为训练查询集；源于应用网的跨场景小样本专用数据集作为测试集，所述测试集中取部分作为测试支持集，剩余部分作为测试查询集；
9.网络结构模块根据训练支持集对内部参数进行伪更新，并根据伪更新与训练查询集对内部参数进行真更新，得到包含最终内部参数的网络结构模块；
10.包含最终内部参数的网络结构模块根据测试支持集对参数进行伪更新，并根据伪更新与测试查询集输出对正常与异常的概率估计。
11.进一步地，所述的跨场景小样本网络入侵检测专用格式为网络入侵流量数据的二进制数据流文件，包含流量数据的全部特征。
12.进一步地，所述对附上标签的数据进行采样，具体包括：
13.对附上标签的数据进行采样，滤除部分数据，被滤除的部分数据为样本数量少于100或流量不完整的二进制数据流文件。
14.进一步地，对附上标签的数据进行采样后，通过如下方法进行剪切：
15.对跨场景小样本网络入侵检测专用格式文件保留前16个数据包，每个数据包保留前256个字节。
16.进一步地，对附上标签的数据进行采样，并进行剪切后通过如下方法进行重组：
17.将采样后的数据重构成16*16*16尺寸的数组。
18.进一步地，所述训练集中按照4:1的比例划分训练支持集和训练查询集，所述测试集中按照4:1的比例划分测试支持集和测试查询集。
19.进一步地，所述网络结构模块根据训练支持集对内部参数进行的伪更新为不更新参数，仅为真更新提供依据。
20.进一步地，所述根据伪更新与训练查询集对内部参数进行的真更新为不断更新内部参数，反复迭代得到最终参数。
21.根据本发明的第二技术方案，提供一种适用于跨场景条件的小样本网络入侵检测方法装置，所述装置包括：
22.流量数据捕获模块，被配置为在基础网与应用网中捕获流量数据，附上标签后保存为跨场景小样本网络入侵检测专用格式；
23.数据预处理模块，被配置为对附上标签的数据进行采样，并进行剪切和重组；
24.任务划分模块，被配置为源于基础网的跨场景小样本专用数据集作为训练集，所述训练集中取部分作为训练支持集，剩余部分作为训练查询集；源于应用网的跨场景小样本专用数据集作为测试集，所述测试集中取部分作为测试支持集，剩余部分作为测试查询集；
25.模型训练模块，被配置为令网络结构模块根据训练支持集对内部参数进行伪更新，并根据伪更新与训练查询集对内部参数进行真更新，得到包含最终内部参数的网络结构模块；
26.概率估计模块，被配置为令包含最终内部参数的网络结构模块根据测试支持集对参数进行伪更新，并根据伪更新与测试查询集输出对正常与异常的概率估计。
27.进一步地，所述的跨场景小样本网络入侵检测专用格式为网络入侵流量数据的二进制数据流文件，包含流量数据的全部特征。
28.进一步地，所述数据预处理模块被进一步配置为：
29.对附上标签的数据进行采样，滤除部分数据，被滤除的部分数据为样本数量少于100或流量不完整的二进制数据流文件。
30.进一步地，所述数据预处理模块被进一步配置为：
31.对跨场景小样本网络入侵检测专用格式文件保留前16个数据包，每个数据包保留前256个字节。
32.进一步地，所述数据预处理模块被进一步配置为：
33.将采样后的数据重构成16*16*16尺寸的数组。
34.进一步地，所述任务划分模块被进一步配置为令所述训练集中按照4:1的比例划分训练支持集和训练查询集，所述测试集中按照4:1的比例划分测试支持集和测试查询集。
35.进一步地，所述模型训练模块被进一步配置为令所述网络结构模块根据训练支持集对内部参数进行的伪更新为不更新参数，仅为真更新提供依据。
36.进一步地，所述模型训练模块被进一步配置为令所述根据伪更新与训练查询集对内部参数进行的真更新为不断更新内部参数，反复迭代得到最终参数。
37.根据本发明的第三方面，提供一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的方法。
38.本发明至少具有以下有益效果：
39.1.本发明提出的适用于跨场景条件的小样本网络入侵检测方法可以解决某些网络场景下网络流量样本过少的问题。即利用样本数较大的网络环境作为基础网(如物联网)，将样本数过小的网络环境作为应用网(如车联网)。
40.2.本发明提出的适用于跨场景条件的小样本网络入侵检测方法考虑到并同时解决了网络流量分布的不均衡性，即某些网络环境下采集到的样本数过大，而在另一网络环境下采集到的样本数过小。
附图说明
41.图1为本发明实施例中适用于跨场景条件的小样本网络入侵检测方法的流程图；
42.图2为本发明实施例中适用于跨场景条件的小样本网络入侵检测方法的部分流程图；
43.图3为本发明实施例中的网络模型结构示意图；
44.图4为本发明实施例的一种适用于跨场景条件的小样本网络入侵检测装置的结构图。
具体实施方式
45.为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。下面结合附图和具体实施例对本发明的实施例作进一步详细描述，但不作为对本发明的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
46.本发明实施例提供一种适用于跨场景条件的小样本网络入侵检测方法，该方法的基本思想是，假设在已有的基础网场景(如互联网)下有较多的异常网络数据，而在应用网(如车联网)场景下已捕获的异常网络数据较少，属于小样本(样本数量不超过10)情况，使
用基础网场景下的数据来训练入侵检测模型，再根据应用网场景下所获取的小样本进行微调，最后用于预测应用网场景中的异常网络数据。
47.如图4所示，为一种适用于跨场景条件的小样本网络入侵检测装置的示意图，该装置400包括流量数据捕获模块401、数据预处理模块402、任务划分模块403、模型训练模块404以及概率估计模块405。重点解决一个场景下所捕获的样本数量过少，导致模型不能快速学习足够多有用的知识，从而无法准确预测的问题。
48.流量数据捕获模块用于从两个不同场景下获取网络中原始流量数据。
49.数据预处理模块包括分别对不同场景下所捕获的原始流量进行采样、剪切与重组。
50.模型训练模块包括了以基础网场景(样本数较多的场景)获取的dos、u2r、r2l、probe or scan等各种攻击样本(异常样本)和正常样本对模型进行伪更新，以应用网场景(样本数较少的场景)获取的一种攻击样本和正常样本对模型进行真更新，主要是对模型参数的二次更新，以及对整个模型的多次循环训练。
51.概率估计模块包含了使用应用网场景的测试集对攻击样本进行测试，并对输出的结果与正确的结果进行概率统计。
52.如图1所示，一种适用于跨场景条件的小样本网络入侵检测方法，其包括流量数据捕获、数据预处理、任务划分、模型训练以及概率估计共五个步骤，具体实施步骤如下所述。
53.步骤1:流量数据捕获。使用捕获网络中原始流量的软件，捕获两个不同目标场景下的流量数据，分类并附上相应的标签保存为跨场景小样本条件下网络入侵检测专用格式，其中该文件包含了流量数据的二进制数据流、流量数据的类型和总数。对于两个场景下的流量数据的类型分别记为0、a、b、c、d(即正常类型、infiltrating the network from inside、http denial of service、distributed denial of service using an irc botnet、brute force ssh)和0、a、b、c、d、e(即正常类型、ftp-patator、ssh-patator、dos(slowloris，slowhttptest，hulk，goldeneye)、portscans、ddos with loit)。
54.步骤2:数据预处理。从步骤1保存的文件进行采样，具体而言就是从保存的原始流量数据中，对每一条数据流提取前16个数据包，并从每个数据包中提取前256个字节。然后，对所提取的数据进行剪切，对所提取的数据进行剪切，将采样后的数据剪切前16个数据包的前256字节，得到16*16*16尺寸的数组。最后，对采样与剪切后的数据随机打乱，进行维度上的重组，作为跨场景小样本条件下专用数据集。
55.步骤3:任务划分。从步骤2源于基础网的跨场景小样本专用数据集以正常样本和各种攻击样本(如a和b和c和d)按照1：1的比例提取数据，然后将提取后的数据作为模型的的训练集，并将训练集以4:1的比例划分为训练支持集和训练查询集；源于应用网的跨场景小样本专用数据集以正常样本与某种攻击样本(如a或b或c)按1：1的比例作为模型专用的测试集，并将测试集以4:1比例划分测试支持集和测试查询集(图2)。
56.步骤4:模型训练。从步骤3获取的训练集和测试集分别用于对模型的训练和测试，模型的训练主要是包括了伪更新和真更新，模型的伪更新使模型从训练支持集学习先验知识，伪更新主要是指不将更新后参数的应用到模型本身的参数，而是为真更新提供依据；模型的真更新是指从训练查询集学习到的知识以及伪更新提供的依据更新模型本身的参数。并且模型可以经过多次训练，来提高模型的性能。
57.步骤5:概率估计。从步骤4所得到的模型对样本进行测试，并输出其所得结果与正确结果的概率。具体而言，用测试支持集对步骤4所得到的模型进行一次伪更新，注意这次伪更新不会为模型的下一次循环训练提供依据，用伪更新后的模型对测试查询集进行测试，并且根据测试结果输出对正常与攻击的概率估计。
58.图3是本发明实施中的网络模型结构示意图，其中模块和模块的具体网络结构相似，如图3所示。其中，block 1由3层结构所组成：“convolution(16，64，3，2，2)”表示二维卷积，卷积核大小为3
×
3，滑动步长为2，填充为2，16个输入通道，64个输出通道；“maxpool2d(2,2)”表示窗口大小为2，滑动步长为2的最大池化层；“activation(relu)”表示使用relu作为激活函数的激活层。block2与block3的组成部分含义与block1相同。将上述结果送入两个全连接层，其中“liner(64,16)”表示64个输入通道，16个输出通道，“liner(16,2)”表示16个输入通道，2个输出通道。最后通过softmax将二分类的结果以概率的形式表现出来。此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本技术的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
59.以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的发明的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的发明的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

技术特征：
1.一种适用于跨场景条件的小样本网络入侵检测方法，其特征在于，所述方法包括：在基础网与应用网中捕获流量数据，附上标签后保存为跨场景小样本网络入侵检测专用格式；对附上标签的数据进行采样，并进行剪切和重组；源于基础网的跨场景小样本专用数据集作为训练集，所述训练集中取部分作为训练支持集，剩余部分作为训练查询集；源于应用网的跨场景小样本专用数据集作为测试集，所述测试集中取部分作为测试支持集，剩余部分作为测试查询集；网络结构模块根据训练支持集对内部参数进行伪更新，并根据伪更新与训练查询集对内部参数进行真更新，得到包含最终内部参数的网络结构模块；包含最终内部参数的网络结构模块根据测试支持集对参数进行伪更新，并根据伪更新与测试查询集输出对正常与异常的概率估计。2.根据权利要求1所述的方法，其特征在于，所述的跨场景小样本网络入侵检测专用格式为网络入侵流量数据的二进制数据流文件，包含流量数据的全部特征。3.根据权利要求1所述的方法，其特征在于，所述对附上标签的数据进行采样，具体包括：对附上标签的数据进行采样，滤除部分数据，被滤除的部分数据为样本数量少于100或流量不完整的二进制数据流文件。4.根据权利要求3所述的方法，其特征在于，对附上标签的数据进行采样后，通过如下方法进行剪切：对跨场景小样本网络入侵检测专用格式文件保留前16个数据包，每个数据包保留前256个字节。5.根据权利要求4所述的方法，其特征在于，对附上标签的数据进行采样，并进行剪切后通过如下方法进行重组：将采样后的数据重构成16*16*16尺寸的数组。6.根据权利要求1所述的方法，其特征在于，所述训练集中按照4:1的比例划分训练支持集和训练查询集，所述测试集中按照4:1的比例划分测试支持集和测试查询集。7.根据权利要求1所述的方法，其特征在于，所述网络结构模块根据训练支持集对内部参数进行的伪更新为不更新参数，仅为真更新提供依据。8.根据权利要求1所述的方法，其特征在于，所述根据伪更新与训练查询集对内部参数进行的真更新为不断更新内部参数，反复迭代得到最终参数。9.一种适用于跨场景条件的小样本网络入侵检测方法装置，其特征在于，所述装置包括：流量数据捕获模块，被配置为在基础网与应用网中捕获流量数据，附上标签后保存为跨场景小样本网络入侵检测专用格式；数据预处理模块，被配置为对附上标签的数据进行采样，并进行剪切和重组；任务划分模块，被配置为源于基础网的跨场景小样本专用数据集作为训练集，所述训练集中取部分作为训练支持集，剩余部分作为训练查询集；源于应用网的跨场景小样本专用数据集作为测试集，所述测试集中取部分作为测试支持集，剩余部分作为测试查询集；模型训练模块，被配置为令网络结构模块根据训练支持集对内部参数进行一次伪更
新，并根据伪更新与训练查询集对内部参数进行一次真更新，得到包含最终内部参数的网络结构模块；概率估计模块，被配置为令包含最终内部参数的网络结构模块根据测试支持集对参数进行一次伪更新，并根据伪更新与测试查询集输出对正常与异常的概率估计。10.一种可读存储介质，其特征在于，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的方法。

技术总结
本发明属于网络空间安全技术领域技术领域，具体公开一种适用于跨场景条件的小样本网络入侵检测方法、装置及介质，该方法具体包括：多场景流量数据捕获，数据预处理，任务分类，模型训练，概率估计；该方法可以在多种网络场景下检测网络上的异常行为，即跨场景条件的入侵检测。本发明可以解决某些网络场景下网络流量样本过少的问题。即利用样本数较大的网络环境作为基础网(如物联网)，将样本数过小的网络环境作为应用网(如车联网)。境作为应用网(如车联网)。境作为应用网(如车联网)。


技术研发人员：胡炜晨 许聪源 詹勇 陈广辉 刘思情 王志强 王晓琳
受保护的技术使用者：嘉兴学院
技术研发日：2023.06.09
技术公布日：2023/8/6