一种多模态网络流量预测方法、装置、介质

1.本发明涉及网络数据处理技术领域，特别涉及一种多模态网络流量预测方法、装置、介质。


背景技术：

2.随着互联网与经济社会垂直行业的深度融合和发展，现有技术体系如何满足垂直行业多样化的应用需求已经成为一个挑战：对单一网络系统的进化修复使系统工程日渐复杂；单一ip系统在很多方面制约了网络的传输性能；层叠复杂的网络技术体系凸显了普遍的安全危机；网络与终端应用之间的严格边界难以适应计算、存储、转发一体化的发展趋势。针对信息网络深度融合发展的需求，多模态智能网络突破了当前网络开发方法和实践规范的限制，形成了一种网络创新发展范式，支持各种新型网络技术体系与现有网络的互联互通和进化发展，为网络技术创新提供了系统的解决方案。将各种网络技术体制以模态的形式，在多模态网络环境上智慧加载和运行，通过网络结构的全维度可定义和多模态呈现来提升网络的功能、性能、效能、安全等特性，实现不同网络形态的“即插即用”，从而充分发挥不同网络形态的能力特点和优势。
3.尽管多模态智慧网络在网络架构上与传统网络相比有优势，但是在网络流量上仍面临着与传统网络一样的问题。随着网络的快速发展，信息涌现导致多模态网络的流量爆炸式增长的同时，人们追求更快的网络速度、更低的网络时延和更加稳定可靠的网络服务，这就需要对网络进行管理及优化来满足用户对网络服务质量的需求。在传统网络中，网络资源的分配与调度通过被动的固定-规划方式，只有在网络出现拥塞的时候才会进行调整，导致管理方式效率低下，而网络流量预测技术能够提前了解流量准确的变化趋势，通过主动给网络拥塞和高优先级业务分配更多的带宽资源来提高网络的稳定性和整个网络资源的利用率。因此，网络流量预测是传统网络向多模态智慧网络发展的关键技术，建立准确的流量预测模型具有极为重要的理论意义和应用价值。
4.现有网络预测模型可分为三类，即基于时间序列的模型、机器学习模型和融合模型。基于时间序列的模型大多采用rnn(recurrentneural network，循环神经网络)及它的变形，但是这种方法只考虑到流量数据的时间特征，却忽略了邻近网络节点之间会互相影响，即忽略了流量的空间特征，同时由于网络流量的非线性特性，线性模型不能很好地拟合网络流量。因此，提出了一些基于机器学习的非线性模型，如cnn(convolutional neural network，卷积神经网络)或gcn(graph convolution network，图卷积神经网络)，但这种方法只能捕捉到网络的空间特征，无法对时间维度上的特征进行建模。因此提出了融合模型，融合模型既能提取网络流量的时间特征又能提取网络流量的空间特征，但现有方法基本上均采用串行结构依次提取，但串行结构在提取空间特征的同时，可能会影响到后续网络流量时间特征的提取，因此不利于网络流量时空特征的完整提取，且串行结构在实际设备中运行速度较慢，难以满足预测控制任务的实时要求。并且现有informer模型参数量大，因此使得训练和部署的计算成本很高。


技术实现要素：

5.针对现有技术中流量特征提取不充分、预测结果不准确、不可靠的技术问题，本发明提出一种多模态网络流量预测方法、装置、介质，通过gcn和改进后的informer模型对网络流量中的空间特征和时间特征进行充分提取，使得模型能够从空间和时间两个维度上对多模态流量进行准确可靠的预测，提高准确性。
6.为了实现上述目的，本发明提供以下技术方案：
7.一种多模态网络流量预测方法，包括以下步骤：
8.s1：从网络中获取待处理的多模态网络流量数据，并进行模态分类得到每个单模态对应的网络流量数据；
9.s2：对每个单模态的网络流量数据进行预处理得到干净的单模态网络流量数据；
10.s3：分别将干净的单模态网络流量输入到完成训练的特征提取模型，同时进行空间特征和时间特征的提取；
11.s4：将gcn提取到的网络拓扑空间特征和改进后的informer编码器提取到的网络流量时间特征进行拼接得到融合特征，并根据融合特征进行预测得到网络流量的预测值。
12.优先地，所述s1中，多模态网络包括mf、ndn、ipv6。
13.优先地，所述s1中，模态分类的方法为：
14.多模态网络流量数据是通过以太网mac帧格式实现统一承载的，具体报文格式包括目的地址、源地址、类型、数据和fcs，因此通过识别以太网mac帧格式中类型来进行模态分类。
15.优先地，所述s2中，预处理包括数据分割和数据清洗，通过采用滑动窗口的方法识别或除去数据的异常值、对于平滑有噪声的数据进行处理或者填补遗漏的数据，再进行归一化处理。
16.优先地，所述s3中，空间特征的提取方法包括：
17.a1：构建多模态网络设备的空间拓扑结构，并将每一个网络设备视为一个节点，两个节点之间的边表示一个源地址到目的地址间的联系；
18.a2：使用gcn模型对空间拓扑结构中的节点进行卷积操作以捕获节点本身的空间特征；
19.定义gcn模型的输入数据为特征矩阵x，表示为：
20.x＝(n,h,f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
21.公式(2)中，n表示空间拓扑结构的节点个数；h表示历史多模态网络流量数据的个数；f表示空间拓扑结构中节点的特征，包括节点的度数、节点的聚集系数、节点的介数中心性、节点的接近中心性、节点的特定服务类型、节点的地理位置信息；
22.再使用两层gcn模型对节点进行空间特征提取，表示为：
23.f(x,a)＝σ(a
*
*relu(a
*
xw0)w1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
24.公式(2)中，f(x,a)表示经过两层gcn模型后提取到的空间特征；表示数据预处理；d表示度矩阵，d＝∑
jaij
，a
ij
表示节点i和节点j之间有边相连；a＝a+i，a表示增加自连接的单位矩阵，i表示单位矩阵，即对角线为1，其他为0的矩阵；σ表示非线性激活函数；relu表示非线性激活函数；w0∈r
p
×h表示gcn模型中输入层到隐藏层的权重矩阵，p
表示矩阵的长度，h表示隐藏单元数；w1∈rn×
t
表示gcn模型中隐藏层到输出层的权重矩阵，n表示空间拓扑结构的节点个数，t表示输出时间序列长度。
25.优先地，所述s3中，时间特征的提取方法包括：
26.将干净的单模态网络流量输入改进的informer编码器，输出时间特征：
27.改进的informer编码器由改进的轻量级概率稀疏自注意力机制代替概率稀疏自注意力机制，使用自注意力蒸馏的方法减少网络维度，自注意力机制采用由键-值-查询模式，通过比较键和查询的相似程度赋予键相应的值，而informer编码器让键只关注前u个重要性强的键，即：
[0028][0029]
公式(3)中，lwa(q,k
*
,v
*
)表示轻量级多头概率稀疏自注意力机制的计算方式，k
*
＝dw conv(k)，v
*
＝dw conv(v)，dw conv表示卷积神经网络的计算方式；t表示偏置矩阵；是q经过概率稀疏化后得到的只包含前u个键的稀疏矩阵；表示防止梯度消失而增加的比例因子；
[0030]
此外，informer编码器使用蒸馏方法在第j+1层生成上一层聚焦的自注意力特征图：
[0031][0032]
公式(4)中，表示自注意力蒸馏模块第j+1层的输入；表示自注意力蒸馏模块第j层的输入；maxpool表示池化计算；elu表示激活函数；conv1d表示一维卷积；[
·
]
ab
表示轻量级概率稀疏自注意力蒸馏模块；
[0033]
通过蒸馏操作使得特征图的尺寸在时间维度上减半，通过将原序列依次减半l
→
l/2
→
l/4，分别进行蒸馏操作后，将长度为l/4的特征图进行拼接，得到编码器的输出f
informer
。
[0034]
优先地，所述s4包括：
[0035]
s4-1：将空间特征和时间特征进行拼接得到融合特征：
[0036]fgcn+informer
＝f(x,a)+f
informer
ꢀꢀꢀꢀꢀ
(5)
[0037]
公式(5)中，f
gcn+informer
表示融合特征；f(x,a)表示gcn模型输出的空间特征；f
informer
表示改进的informer编码器输出的时间特征；
[0038]
s4-2：将归一化后的融合特征输入到informer解码器中，得到网络流量的预测值。
[0039]
本发明还提供一种多模态网络流量预测装置，包括：
[0040]
数据获取单元，用于从网络中获取待处理的多模态网络流量数据；
[0041]
模态分类单元，用于将多模态网络流量数据进行模态分类得到每个单模态对应的网络流量数据；
[0042]
预处理单元，用于对每个单模态对应的网络流量数据进行预处理得到对应的干净的单模态网络流量数据；
[0043]
特征提取单元，用于构建特征提取模型，对干净的单模态网络流量数据分别进行
空间特征和时间特征的提取；
[0044]
特征拼接单元，用于提取的空间特征和时间特征进行拼接得到融合特征；
[0045]
预测单元，用于根据融合特征输出网络流量的预测结果。
[0046]
优先地，所述特征提取模型包括gcn模型和改进的informer编码器；gcn模型，用于提取空间特征；改进的informer编码器，用于提取时间特征；
[0047]
所述改进的informer编码器包括轻量级多头概率稀疏自注意力模块和自注意力蒸馏模块。
[0048]
本发明还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现一种多模态网络流量预测方法的步骤。
[0049]
综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：
[0050]
本发明通过gcn和改进后的informer模型对网络流量中的空间特征和时间特征进行并行提取，提高预测速度；
[0051]
对提取到的特征进行特征融合，使得模型能够从空间和时间两个维度上对多模态流量进行准确可靠的预测，提高准确性。
[0052]
在改进后的informer模型中还额外引入了模态戳、季节时间戳和事件戳，使其更符合多模态业务场景，提高预测准确性。
附图说明：
[0053]
图1为根据本发明示例性实施例1的一种多模态网络流量预测方法流程示意图。
[0054]
图2为根据本发明示例性实施例1的多模态网络流量数据的报文格式示意图。
[0055]
图3为根据本发明示例性实施例1的特征提取模型结构示意图。
[0056]
图4为根据本发明示例性实施例1的改进的informer编码器结构示意图。
[0057]
图5为根据本发明示例性实施例1的特征提取模型训练流程示意图。
[0058]
图6为根据本发明示例性实施例2的一种多模态网络流量预测系统示意图。
具体实施方式
[0059]
下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
[0060]
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0061]
实施例1
[0062]
如图1所示，本发明提供一种多模态网络流量预测方法，具体包括以下步骤：
[0063]
s1：从网络中获取待处理的多模态网络流量数据，并进行模态分类得到每个单模态对应的网络流量数据。
[0064]
本实施例中，应用客户端及数据中心上传业务流量及apn服务需求信息，智能网卡将上述信息封装为相应模态报文发送给协处理机，协处理机获取待处理的多模态网络流量数据，
[0065]
本实施例中，多模态网络是指网络系统上面可以运行多种模态的网络，比如mf(mobilityfirst，移动优先)是一种模态的网络，ndn(named data networking，命名数据网络)是一种模态的网络，ipv6是一种模态的网络。mf、ndn、ipv6构成多模态网络，而每一种模态的网络可以承载多种业务，业务包括直播带货、电视节目、智慧城市等。
[0066]
本实施例中，模态分类的方法为：
[0067]
如图2所示，多模态网络流量数据是通过以太网mac帧格式实现统一承载的，具体报文格式包括目的地址(6个字节)、源地址(6个字节)、类型(2个字节)、数据和fcs(4个字节)；则可通过识别以太网mac帧格式中类型(包括0x0800-0x081b)来进行模态分类，包括模态1、模态2、模态n等。例如0x0800表示模态1，0x0809表示模态2，0x081b表示模态20。
[0068]
s2：对每个单模态的网络流量数据进行预处理得到干净的单模态网络流量数据。
[0069]
本实施例中，预处理包括数据分割和数据清洗，例如采用滑动窗口的方法识别或除去数据的异常值、对于平滑有噪声的数据进行处理或者填补遗漏的数据，再进行归一化处理，可以采用最大-最小归一化方法对流量数据进行归一化处理，从而得到干净的单模态网络流量。
[0070]
s3：分别将干净的单模态网络流量输入到完成训练的特征提取模型(gcn-informer模型)，同时分别进行空间特征和时间特征提取。
[0071]
本实施例中，如图3所示，特征提取模型包括gcn模型和改进(堆叠)的informer编码器，即将干净的单模态网络流量输入到gcn模型进行空间特征的提取，同时将干净的单模态网络流量输入到改进的informer编码器进行时间特征的提取。
[0072]
本实施例中，如图5所示，特征提取模型的训练步骤包括：
[0073]
(1)初始化网络参数，给定最大训练次数和训练的目标误差；(2)判断是否达到最大训练次数，如果达到最大迭代次数，则停止训练，否则进行第3步；(3)将训练集(即干净的单模态网络流量)输入进模型进行前向计算，得到预测结果；(4)通过损失函数计算预测结果与真实值的差距，得到损失函数的值；(5)如果预测误差小于或等于给定的训练目标误差，则停止训练，否则为偏差和权重生成新值，通过反向传播算法对模型的参数进行更新，并使训练次数加1，返回第二步。
[0074]
本实施例中，干净的单模态网络流量的空间特征的提取方法包括：
[0075]
a1：构建多模态网络设备的空间拓扑结构(即不同协处理机的拓扑结构)，并将每一个网络设备视为一个节点，两个节点之间的边表示一个源地址到目的地址间的联系。
[0076]
本实施例中，每个节点都存在多模态网络流量数据。因此按照s1和s2所述方法对每个节点上的多模态网络流量数据进行分类和清洗就可以得到干净的单模态网络流量数据。
[0077]
传统空间特征提取器是从网络流量中提取空间信息，但本发明是从网络拓扑中提取空间信息。从网络流量中提取的空间信息可以用来推断网络不同部分之间空间关系的流量的模式或特征。例如，流量的空间分布可以揭示网络瓶颈或拥塞点的位置信息，这些位置信息可以用于优化网络路由或资源分配。
[0078]
相比之下，本发明从网络拓扑中提取的空间信息是指网络本身的物理或逻辑结构，而不是网络内部的流量。网络本身的物理或逻辑结构包括诸如网络节点的位置、节点之间的距离或网络不同部分之间的连接程度等物理信息。这些物理信息可以用来推断网络不同部分之间的空间关系，更适用于预测大型网络中的流量。
[0079]
从空间拓扑中获取网络流量的空间信息比直接从网络流量中获取空间信息的优势在于：
[0080]
它可以提供更全面的信息，通过分析网络拓扑结构，可以得到网络中不同节点之间的连接关系和拓扑结构，从而更好地理解网络的整体结构和运行情况。这些空间信息可以更好地识别网络中的瓶颈和异常情况，从而更好地优化网络性能。因此，从网络拓扑中获取网络流量的空间信息是一种更加全面和有效的方法。
[0081]
a2：使用gcn模型对空间拓扑结构中的节点进行卷积操作以捕获节点本身的空间特征。
[0082]
本实施例中，定义gcn模型的输入数据为特征矩阵x，表示为：
[0083]
x＝(n,h,f) (1)
[0084]
公式(2)中，n表示空间拓扑结构的节点个数；h表示历史多模态网络流量数据的个数；f表示空间拓扑结构中节点的特征，包括节点的度数、节点的聚集系数、节点的介数中心性、节点的接近中心性、节点的特定服务类型、节点的地理位置信息等，根据具体应用场景确定。
[0085]
本实施例中，使用两层gcn模型进行空间特征提取，其可表示为：
[0086]
f(x,a)＝σ(a
*
*relu(a
*
xw0)w1)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0087]
公式(2)中，f(x,a)表示经过两层gcn模型后提取到的空间特征；表示数据预处理；d表示度矩阵，d＝∑
jaij
，a
ij
表示节点i和节点j之间有边相连；a＝a+i，a表示增加自连接的单位矩阵，i表示单位矩阵，即对角线为1，其他为0的矩阵；σ表示非线性激活函数；relu表示非线性激活函数；w0∈r
p
×h表示gcn模型中输入层到隐藏层的权重矩阵，p表示矩阵的长度，h表示隐藏单元数；w1∈rn×
t
表示gcn模型中隐藏层到输出层的权重矩阵，n表示空间拓扑结构的节点个数，t表示输出时间序列长度。
[0088]
公式(2)中，a
*
xw0表示第一层gcn模型的输出，a
*
*relu(a
*
xw0)w1表示第二层gcn模型的输出。
[0089]
本实施例中，干净的单模态网络流量的时间特征的提取方法包括：
[0090]
b1：将s2中的干净的单模态网络流量输入改进的informer编码器，输出时间特征。
[0091]
本实施例中，如图4所示，改进的informer编码器包括轻量级多头概率稀疏自注意力模块和自注意力蒸馏模块。
[0092]
本发明使用轻量级多头概率稀疏自注意力蒸馏模块替代现有informer编码器中原概率稀疏自注意力模块，达到减少模型参数量的目的，以此解决模型的复杂度、输入层特征长度的限制以及输出速度骤降的问题。
[0093]
现有informer编码器中原概率稀疏自注意力机制的过程可以表示为：
[0094]
[0095]
公式(3)中，a(q,k,v)表示稀疏自注意力机制，q,k,v表示稀疏自注意力机制的特征向量，分别表示查询空间、键空间和值空间；d表示输入维度；是与查询空间q具有相同维度的稀疏矩阵，中的每一个元素qi与值空间v所满足的范围为：
[0096][0097]
公式(4)中，为查询子空间和键分布的相似性度量，其中第一项是给定log概率，计算qi在所有键空间上的原始概率之和并求log，第二项是计算算术平均值；如果第i次查询获得更大的m(qi,k)，其注意概率p更加“多样化”，并且有很高的机会包含长尾自注意分布头部域中的主导点积对；lk表示键空间的长度；j表示值空间中的第j个元素；qi表示稀疏矩阵中的任一元素，对于单个qi，可以将离散键松弛为连续的d维变量kj，对其进行转置操作即得到
[0098]
本实施例中，为减少计算复杂度，在现有informer编码器中原概率稀疏自注意力机制的过程中采用k*k深度卷积降低k和v的空间尺寸；且添加了相对位置偏置b，有助于注意机制更有效地模拟输入序列中的时间依赖性，例如长相关性或周期性，相对位置偏移矩阵对输入序列中每对位置之间的相对距离进行编码，用于根据查询和键向量的位置调整注意力权重。具体来说，注意力权重是作为查询和关键向量的点积的softmax函数计算的，其中点积通过相对位置偏移矩阵进行调整。
[0099]
即改进的informer编码器中轻量级多头概率稀疏自注意力蒸馏模块的过程可以表示为：
[0100][0101]
公式(5)中，lwa(q,k
*
,v
*
)表示轻量级多头概率稀疏自注意力机制，k
*
＝dw conv(k)，v
*
＝dw conv(v)，dw conv(depthwise convolution，深度可分离卷积)是卷积神经网络中的一种计算模式，可以降低输入特征图的维度，同时保持特征信息的不变性；t表示偏置矩阵。
[0102]
本实施例中，改进的informer编码器的输入嵌入由三个独立的部分组成，一个标量投影、本地时间戳(位置)和全局时间戳嵌入(分钟、小时、模态、周、月、事件等)，通过引入了模态戳，并将节假日时间戳更改为事件戳，使其更符合多模态业务场景。
[0103]
传统informer模型通常将不同的输入特征分为三个类别：历史特征、外部特征和预测特征。其中，历史特征包括时间序列数据中的历史观测值，外部特征包括与时间序列数据相关的外部信息，例如天气数据、假期信息等，预测特征则是需要预测的目标值。在本实施例中，对informer编码器的输入嵌入进行改进：
[0104]
①
历史特征：在informer编码器的输入中，历史特征通常是指网络流量数据中的历史观测值。可以将历史特征单独提取出来，并进行相应的嵌入处理。例如，可以使用位置嵌入等方式对历史特征进行嵌入，得到嵌入后的历史特征向量。
[0105]
②
外部特征：外部特征通常是指与网络流量数据相关的外部信息，在本实施例中增加网络流量的模态数据、事件戳等。与历史特征类似，可以使用位置嵌入等方式对外部特征进行嵌入，得到嵌入后的外部特征向量。
[0106]
③
预测特征：预测特征通常是指需要预测的目标值。在informer解码器中，预测特征通常与历史特征和外部特征一起进行处理，并在最后一层解码器中进行预测。可以将预测特征与其他特征一起进行嵌入处理，并在最后一层解码器中进行相应的预测操作。
[0107]
作为轻量级概率稀疏自注意力机制的结果，编码器的特征映射具有值空间v的冗余组合，因此可使用蒸馏操作对具有主导特征的高级特征进行特权处理，并在下一层生成集中的自关注特征映射。
[0108]
本实施例中，此外，改进的informer编码器使用蒸馏方法对具有主要信息的优势特征进行特权化，并在第j+1层生成上一层聚焦的自注意力特征图：
[0109][0110]
公式(6)中，表示自注意力蒸馏模块第j+1层的输入；表示自注意力蒸馏模块第j层的输入；maxpool表示池化计算；elu表示激活函数；conv1d表示一维卷积；[
·
]
ab
表示轻量级概率稀疏自注意力模块；
[0111]
通过蒸馏操作使得特征图的尺寸在时间维度上减半，通过将原序列依次减半l
→
l/2
→
l/4，分别进行蒸馏操作后，将长度为l/4的特征图进行拼接，得到编码器的输出f
informer
。
[0112]
s4：将gcn提取到的网络拓扑空间特征和改进后的informer编码器提取到的网络流量时间特征进行拼接得到融合特征，并根据融合特征进行预测得到网络流量的预测值。具体来说，首先对gcn提取到的网络拓扑空间特征和informer编码器提取到的网络流量时间特征进行维度匹配，确保它们的维度相同；然后将两个特征向量进行拼接，将两个特征向量沿着某个维度进行拼接。
[0113]
s4-1：将空间特征和时间特征进行拼接得到融合特征，并对融合特征进行归一化处理，以便在后续的计算中更加稳定。
[0114]fgcn+informer
＝f(x,a)+f
informer
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0115]
公式(7)中，f
gcn+informer
表示融合特征；f(x,a)表示gcn模型输出的空间特征；f
informer
表示改进的informer编码器输出的时间特征。
[0116]
s4-2：将归一化后的融合特征输入到informer解码器中，得到网络流量的预测值，包括接下来一段时间每种模态的网络流量趋势及大致数值。
[0117]
本实施例中，informer解码器由掩码多头概率稀疏自注意力层、多头注意力层和全连接层组成。
[0118]
本实施例中，掩码多头概率稀疏自注意力的输入向量为：
[0119][0120]
公式(8)中，为启动令牌，启动令牌有效地应用于nlp的“动态解码”(devlin et al.2018)，并将其扩展为生成方式，本发明没有选择特定的标志作
为标记，而是在网络流量输入序列中采样一个l
token
长序列，比如在输出序列之前的一个较早的片段，以预测7天网络流量预测为例，将已知目标序列前5天作为“起始令牌”，并将x
de
＝{x
5d
,xo}输入解码器，xo包含目标序列的时间戳；表示输入向量；表示多模态网络目标流量序列的占位符(将标量设置为0)，将带掩码的多头注意力输入概率稀疏自注意力层，将掩码的位置设置为-∞，这将使这部分的softmax结果为0，从而使得未知的结果不会对注意力产生影响；ly为输出序列的长度。
[0121]
再将informer解码器的输出输入到全连接层，以得到多模态网络流量预测结果。重复对单模态流量数据进行预测，直到预测得到全部模态的预测值。
[0122]
本实施例中，协处机与节点机之间的互联接口采用flexe技术实现模态间隔离，节点机基于模态标识进行报文与硬隔离管道的映射，因此每种模态报文有相应的专属管道进行传输。本实施例中，通过网络流量的预测值，可以大致了解网络流量变化趋势，动态调整分配给模态的flexe client带宽，实现跨多模态网络域流量的优化调度，满足基于模态的按需转发。
[0123]
实施例2
[0124]
基于实施例1所述的方法，如图6所示，本发明还提供一种多模态网络流量预测装置，包括数据获取单元、模态分类单元、预处理单元、特征提取单元、特征拼接单元和预测单元。数据获取单元的输出端与模态分类单元的输入端连接，模态分类单元的输出端与预处理单元的输入端连接，预处理单元的输出端与特征提取单元的输入端连接，特征提取单元的输出端与特征拼接单元的输入端连接，特征拼接单元的输出端与预测单元的输入端连接。
[0125]
数据获取单元，用于从网络中获取待处理的多模态网络流量数据；
[0126]
模态分类单元，用于将多模态网络流量数据进行模态分类得到每个单模态对应的网络流量数据；
[0127]
预处理单元，用于对每个单模态对应的网络流量数据进行预处理得到对应的干净的单模态网络流量数据；
[0128]
特征提取单元，用于构建特征提取模型，对干净的单模态网络流量数据分别进行空间特征和时间特征的提取；
[0129]
特征拼接单元，用于提取的空间特征和时间特征进行拼接得到融合特征；
[0130]
预测单元，用于根据融合特征输出网络流量的预测结果。
[0131]
本技术还提供了一种计算机可读介质，计算机可读介质上存储有实施例1中所述的一种多模态网络流量预测方法。
[0132]
计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被
指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0133]
该计算机可读介质可以是上述实施例2中描述的系统中所包含的；也可以是单独存在，而未装配入该系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该系统执行时，使得该系统实现如实施例1所述的方法。
[0134]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

技术特征：
1.一种多模态网络流量预测方法，其特征在于，包括以下步骤：s1：从网络中获取待处理的多模态网络流量数据，并进行模态分类得到每个单模态对应的网络流量数据；s2：对每个单模态的网络流量数据进行预处理得到干净的单模态网络流量数据；s3：分别将干净的单模态网络流量输入到完成训练的特征提取模型，同时进行空间特征和时间特征的提取；s4：将gcn提取到的网络拓扑空间特征和改进后的informer编码器提取到的网络流量时间特征进行拼接得到融合特征，并根据融合特征进行预测得到网络流量的预测值。2.如权利要求1所述的一种多模态网络流量预测方法，其特征在于，所述s1中，多模态网络包括mf、ndn、ipv6。3.如权利要求1所述的一种多模态网络流量预测方法，其特征在于，所述s1中，模态分类的方法为：多模态网络流量数据是通过以太网mac帧格式实现统一承载的，具体报文格式包括目的地址、源地址、类型、数据和fcs，因此通过识别以太网mac帧格式中类型来进行模态分类。4.如权利要求1所述的一种多模态网络流量预测方法，其特征在于，所述s2中，预处理包括数据分割和数据清洗，通过采用滑动窗口的方法识别或除去数据的异常值、对于平滑有噪声的数据进行处理或者填补遗漏的数据，再进行归一化处理。5.如权利要求1所述的一种多模态网络流量预测方法，其特征在于，所述s3中，空间特征的提取方法包括：a1：构建多模态网络设备的空间拓扑结构，并将每一个网络设备视为一个节点，两个节点之间的边表示一个源地址到目的地址间的联系；a2：使用gcn模型对空间拓扑结构中的节点进行卷积操作以捕获节点本身的空间特征；定义gcn模型的输入数据为特征矩阵x，表示为：x＝(n,h,f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)公式(2)中，n表示空间拓扑结构的节点个数；h表示历史多模态网络流量数据的个数；f表示空间拓扑结构中节点的特征，包括节点的度数、节点的聚集系数、节点的介数中心性、节点的接近中心性、节点的特定服务类型、节点的地理位置信息；再使用两层gcn模型对节点进行空间特征提取，表示为：f(x,a)＝σ(a
*
*relu(a
*
xw0)w1)
ꢀꢀꢀꢀꢀꢀꢀ
(2)公式(2)中，f(x,a)表示经过两层gcn模型后提取到的空间特征；表示数据预处理；d表示度矩阵，d＝∑
j
a
ij
，a
ij
表示节点i和节点j之间有边相连；a＝a+i，a表示增加自连接的单位矩阵，i表示单位矩阵，即对角线为1，其他为0的矩阵；σ表示非线性激活函数；relu表示非线性激活函数；w0∈r
p
×
h
表示gcn模型中输入层到隐藏层的权重矩阵，p表示矩阵的长度，h表示隐藏单元数；w1∈r
n
×
t
表示gcn模型中隐藏层到输出层的权重矩阵，n表示空间拓扑结构的节点个数，t表示输出时间序列长度。6.如权利要求1所述的一种多模态网络流量预测方法，其特征在于，所述s3中，时间特征的提取方法包括：将干净的单模态网络流量输入改进的informer编码器，输出时间特征：
改进的informer编码器由改进的轻量级概率稀疏自注意力机制代替概率稀疏自注意力机制，使用自注意力蒸馏的方法减少网络维度，自注意力机制采用由键-值-查询模式，通过比较键和查询的相似程度赋予键相应的值，而informer编码器让键只关注前u个重要性强的键，即：公式(3)中，lwa(q,k
*
,v
*
)表示轻量级多头概率稀疏自注意力机制的计算方式，k
*
＝dw conv(k)，v
*
＝dw conv(v)，dw conv表示卷积神经网络的计算方式；t表示偏置矩阵；是q经过概率稀疏化后得到的只包含前u个键的稀疏矩阵；表示防止梯度消失而增加的比例因子；此外，informer编码器使用蒸馏方法在第j+1层生成上一层聚焦的自注意力特征图：公式(4)中，表示自注意力蒸馏模块第j+1层的输入；表示自注意力蒸馏模块第j层的输入；maxpool表示池化计算；elu表示激活函数；conv1d表示一维卷积；[
·
]
ab
表示轻量级概率稀疏自注意力蒸馏模块；通过蒸馏操作使得特征图的尺寸在时间维度上减半，通过将原序列依次减半l
→
l/2
→
l/4，分别进行蒸馏操作后，将长度为l/4的特征图进行拼接，得到编码器的输出f
informer
。7.如权利要求1所述的一种多模态网络流量预测方法，其特征在于，所述s4包括：s4-1：将空间特征和时间特征进行拼接得到融合特征：f
gcn+informer
＝f(x,a)+f
informer
ꢀꢀꢀꢀꢀꢀ
(5)公式(5)中，f
gcn+informer
表示融合特征；f(x,a)表示gcn模型输出的空间特征；f
informer
表示改进的informer编码器输出的时间特征；s4-2：将归一化后的融合特征输入到informer解码器中，得到网络流量的预测值。8.基于权利要求1-7任一项所述方法的一种多模态网络流量预测装置，其特征在于，包括：数据获取单元，用于从网络中获取待处理的多模态网络流量数据；模态分类单元，用于将多模态网络流量数据进行模态分类得到每个单模态对应的网络流量数据；预处理单元，用于对每个单模态对应的网络流量数据进行预处理得到对应的干净的单模态网络流量数据；特征提取单元，用于构建特征提取模型，对干净的单模态网络流量数据分别进行空间特征和时间特征的提取；特征拼接单元，用于提取的空间特征和时间特征进行拼接得到融合特征；预测单元，用于根据融合特征输出网络流量的预测结果。9.如权利要求8所述的一种多模态网络流量预测装置，其特征在于，所述特征提取模型包括gcn模型和改进的informer编码器；gcn模型，用于提取空间特征；改进的informer编码
器，用于提取时间特征；所述改进的informer编码器包括轻量级多头概率稀疏自注意力模块和自注意力蒸馏模块。10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述一种多模态网络流量预测方法的步骤。

技术总结
本发明公开一种多模态网络流量预测方法、装置、介质，包括以下步骤：S1：从网络中获取待处理的多模态网络流量数据，并进行模态分类得到每个单模态对应的网络流量数据；S2：对每个单模态的网络流量数据进行预处理得到干净的单模态网络流量数据；S3：分别将干净的单模态网络流量输入到完成训练的特征提取模型，同时进行空间特征和时间特征的提取；S4：将GCN提取到的网络拓扑空间特征和改进后的Informer编码器提取到的网络流量时间特征进行拼接得到融合特征，并根据融合特征进行预测得到网络流量的预测值。本发明通过GCN和改进后的Informer模型对网络流量中的空间特征和时间特征进行并行提取，提高预测速度。提高预测速度。提高预测速度。


技术研发人员：唐朝伟 卢静雯 贾澳 钟轶伟 杨欣 邹奥博 郭家源
受保护的技术使用者：重庆大学
技术研发日：2023.06.13
技术公布日：2023/8/6