流量异常处理方法、装置、电子设备及存储介质与流程
未命名
09-13
阅读:90
评论:0

1.本公开涉及数据通信技术领域,尤其涉及一种流量异常处理方法、装置、电子设备及计算机可读存储介质。
背景技术:
2.在网络运维过程中,运维人员需要定时统计网络中的流量信息,生成网络流量矩阵以供规划人员评估局向、链路、套餐等的变动对现网的影响。然而,由于传感器故障,数据丢失等原因,往往会导致统计的流量矩阵中存在很多异常值,无法满足需求。
3.现有的网络流量预测方法只能根据以往的网络流量状况去判断异常是否存在,需要规划人员手动评估如何替换异常值,无法实现流量矩阵的自动补全,浪费人力资源,影响网络规划的自动化,不能协助规划人员对现网更准确有效地规划。
4.需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现要素:
5.本公开提供一种流量异常处理方法、装置、电子设备及计算机可读存储介质,至少在一定程度上克服相关技术中网络规划效率低的问题。
6.本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
7.根据本公开的一个方面,提供一种流量异常处理方法,包括:根据历史网络流量数据,基于流量预测模型得到异常流量局向掩膜矩阵,其中,所述异常流量局向掩膜矩阵中异常点通过随机噪声代替;将所述异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;所述扩散生成模型补全所述异常流量局向掩膜矩阵中所述异常点对应的补全值。
8.在本公开的一个实施例中,所述根据历史网络流量数据,基于流量预测模型得到异常流量局向掩膜矩阵包括:将所述历史网络流量数据输入至所述流量预测模型得到预测网络流量矩阵;根据所述预测网络流量矩阵与当前网络流量矩阵的残差确定所述当前网络流量矩阵的所述异常点;将所述异常点通过所述随机噪声代替,得到所述异常流量局向掩膜矩阵。
9.在本公开的一个实施例中,还包括:获取目标点在所述预测网络流量矩阵对应的预测值;获取所述目标点在所述当前网络流量矩阵对应的真实值;当所述预测值与所述真实值的残差大于或等于残差阈值时,所述目标点为异常点。
10.在本公开的一个实施例中,所述时空特征包括:时间特征及空间特征;其中,所述时空特征获取方法包括:根据所述历史网络流量数据,基于时空特征提取方法得到所述时间特征;根据当前网络拓扑数据,基于所述时空特征提取方法得到所述空间特征。
11.在本公开的一个实施例中,还包括:识别补全后的异常流量局向掩膜矩阵对应的所述异常点及所述补全值;基于告警管道,将所述异常流量局向掩膜矩阵及补全后的异常
流量局向掩膜矩阵的分析结果发送至告警对象。
12.在本公开的一个实施例中,还包括:获取所述异常点在所述异常流量局向掩膜矩阵的位置信息;根据所述位置信息,确定所述告警对象。
13.在本公开的一个实施例中,还包括:通过所述扩散生成模型学习所述异常点对应的所述补全值;通过最小化所述补全值与真实值之间的误差训练所述扩散生成模型。
14.在本公开的一个实施例中,还包括:对补全后的异常流量局向掩膜矩阵进行处理;所述处理方法包括以下至少之一:标识、分拣、存储。
15.根据本公开的另一个方面,还提供了一种流量异常处理装置,包括:生成模块,根据历史网络流量数据,基于流量预测模型得到异常流量局向掩膜矩阵,其中,所述异常流量局向掩膜矩阵中异常点通过随机噪声代替;输入模块,将所述异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;补全模块,所述扩散生成模型补全所述异常流量局向掩膜矩阵中所述异常点对应的补全值。
16.根据本公开的另一个方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述流量异常处理方法。
17.根据本公开的另一个方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的流量异常处理方法。
18.本公开的实施例所提供的流量异常处理方法、装置、电子设备及计算机可读存储介质,将历史网络流量数据输入至流量预测模型得到预测网络流量矩阵;根据预测网络流量矩阵与当前网络流量矩阵的残差确定当前网络流量矩阵的异常点;将异常点通过随机噪声代替,得到异常流量局向掩膜矩阵;根据历史网络流量数据,基于时空特征提取方法得到时间特征;根据当前网络拓扑数据,基于时空特征提取方法得到空间特征;将异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;扩散生成模型补全异常流量局向掩膜矩阵中异常点对应的补全值;识别补全后的异常流量局向掩膜矩阵对应的异常点及补全值;基于告警管道,将异常流量局向掩膜矩阵及补全后的异常流量局向掩膜矩阵的分析结果发送至告警对象,能够实现网络流量异常分析自动化,促进ip网络规划的自动化进程。
19.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
21.图1示出本公开实施例中一种流量异常处理方法流程图;图2示出本公开实施例中一种异常流量局向掩膜矩阵生成方法流程图;图3示出本公开实施例中一种异常点确定方法流程图;图4示出本公开实施例中一种异常告警方法流程图;
图5示出本公开实施例中一种流量异常处理装置示意图;图6示出本公开实施例中又一种流量异常处理方法流程图;图7示出本公开实施例中一种流量矩阵补全方法流程图;图8示出本公开实施例中一种流量异常告警系统示意图;和图9示出本公开实施例中一种电子设备的结构框图。
具体实施方式
22.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
23.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
24.下面结合附图及实施例对本示例实施方式进行详细说明。
25.首先,本公开实施例中提供了一种流量异常处理方法,该方法可以由任意具备计算处理能力的电子设备执行。
26.图1示出本公开实施例中一种流量异常处理方法流程图,如图1所示,本公开实施例中提供的流量异常处理方法包括如下步骤:s102,根据历史网络流量数据,基于流量预测模型得到异常流量局向掩膜矩阵,其中,异常流量局向掩膜矩阵中异常点通过随机噪声代替。
27.在一个实施例中,流量预测模型包括但不限于:odcrn模型、基于扩张因果卷积的transformer网络流量预测模型、基于bp神经网络的网络流量预测模型等。
28.需要说明的是,odcrn模型是一种从全网络的视角实时在线检测和分类流量异常的方法,该方法以增量方式构建以流量特征的熵为测度的流量矩阵,利用增量主成分分析算法在线地检测流量异常,然后再利用增量k-means算法实时在线地对流量异常进行分类,以便网络管理员采取相应的防御措施,odcrn模型具有较低的时间复杂度和存储开销,能够满足在线实时处理的要求。
29.异常流量局向掩膜矩阵为将当前网络流量矩阵的异常点进行mask处理得到的网络流量矩阵。
30.在一个实施例中,将历史网络流量数据输入至流量预测模型得到预测网络流量矩阵;根据预测网络流量矩阵与当前网络流量矩阵的残差确定当前网络流量矩阵的异常点,将异常点通过随机噪声代替,得到异常流量局向掩膜矩阵。
31.在一个实施例中,可将历史网络流量数据及当前网络流量矩阵输入至流量预测模型得到异常流量局向掩膜矩阵。
32.s104,将异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;在一个实施例中,时空特征包括:时间特征及空间特征。
33.在一个实施例中,根据历史网络流量数据,基于时空特征提取方法得到时间特征;根据当前网络拓扑数据,基于时空特征提取方法得到空间特征;具体的,根据历史流量数据对应的拟合函数得到当前时刻的时间特征,根据图算法分析网络拓扑结构得到当前时刻的空间特征。
34.在一个实施例中,时空特征提取方法为stfe(spatiotemporal feature extraction),利用stfe对各个局向在历史流量矩阵中的时间分布特征、各个时刻上网络拓扑结构的空间特征进行编码,得到当前时刻各个局向对应的高维时空特征。
35.需要说明的是,时间特征因为存在错值,必须一步步生成,所以是在线算法。
36.s106,扩散生成模型补全异常流量局向掩膜矩阵中异常点对应的补全值。
37.在一个实施例中,扩散生成模型为diffusion模型,通过反转逐渐的噪声过程来学习生成数据,分为扩散过程(forward/diffusion process)和逆扩散过程(reverse process)。
38.补全值是利用diffusion模型学习到异常点的高维特征,对当前时刻的网络流量矩阵的异常点补全的值。
39.在一个实施例中,通过扩散生成模型学习异常点对应的补全值;通过最小化补全值与真实值之间的误差训练扩散生成模型至收敛。
40.在一个实施例中,根据补全后的异常流量局向掩膜矩阵重新确定更新各个局向的时间特征拟合函数,供下一时刻补全网络流量矩阵时使用。
41.上述实施例中,基于现网历史流量数据,建立网络流量预测模型,预测当前的网络流量矩阵,设置残差阈值,通过预测值与当前流量的真实值的差异判断各局向的网络流量是否存在异常,实现异常流量局向的检测,并记录异常点在当前流量矩阵中的位置,提取时空特征,建立高维特征空间;最后建立扩散生成模型,在异常检测基础上,赋予模型流量矩阵补全的能力,满足现网规划人员对于网络流量矩阵补全的需求,可应用于网络性能测量与分析、网络规划与优化、sla服务保障、网络质量保障、设备故障检测、全自动化云网络等场景。
42.图2示出本公开实施例中一种异常流量局向掩膜矩阵生成方法流程图,如图2所示,本公开实施例中提供的异常流量局向掩膜矩阵生成方法包括如下步骤:s202,将历史网络流量数据输入至流量预测模型得到预测网络流量矩阵;s204,根据预测网络流量矩阵与当前网络流量矩阵的残差确定当前网络流量矩阵的异常点。
43.图3示出本公开实施例中一种异常点确定方法流程图,如图3所示,本公开实施例中提供的异常点确定方法包括如下步骤:s302,获取目标点在预测网络流量矩阵对应的预测值;s304,获取目标点在当前网络流量矩阵对应的真实值;s306,当预测值与真实值的残差大于或等于残差阈值时,目标点为异常点。
44.在一个实施例中,残差阈值可根据用户需要或历史数据进行设置,可人工或自动设置残差阈值。
45.s206,将异常点通过随机噪声代替,得到异常流量局向掩膜矩阵。
46.在一个实施例中,可检测出全部异常点,再进行mask处理,也可将一个异常点mask
处理后,再检测及处理下一个异常点,对比不做限制。
47.上述实施例中,基于现网历史流量数据,实时提取网络流量矩阵中的特征,建立odcrn流量预测模型,预测当前的网络流量矩阵,设置残差阈值,通过预测结果与当前流量的差异判断各局向的网络流量是否存在异常,并记录异常点在当前流量矩阵中的位置,通过stfe提取历史网络流量数据和网络拓扑结构中的时空特征,建立高维特征空间,最后建立diffusion模型,在异常检测基础上,实现针对异常局向的流量矩阵补全,协助规划人员实现对现网更准确有效地规划。
48.图4示出本公开实施例中一种异常告警方法流程图,如图4所示,本公开实施例中提供的异常告警方法包括如下步骤:s402,对补全后的异常流量局向掩膜矩阵进行处理。
49.在一个实施例中,处理方法包括但不限于以下至少之一:标识、分拣、存储。
50.在一个实施例中,对异常点及其对应的补全值进行标识和分拣,之后自动化存入数据库并通过pop3向相关的工作人员进行异常的告警和通知。
51.s404,识别补全后的异常流量局向掩膜矩阵对应的异常点及补全值。
52.在一个实施例中,对补全后的异常流量局向掩膜矩阵异常点及其对应的补全值进行标识,生成对应的标签,通过不同的标签识别出异常点及补全值。
53.在一个实施例中,建立标签、异常点、补全值的映射表,获取标签,基于该映射表识别出异常点及补全值。
54.s406,基于告警管道,将异常流量局向掩膜矩阵及补全后的异常流量局向掩膜矩阵的分析结果发送至告警对象。
55.分析结果包括但不限于:异常流量局向掩膜矩阵及补全后的异常流量局向掩膜矩阵的分析结果、异常点位置、异常点标签、补全值等。
56.在一个实施例中,告警管道为发送分析结果的配置系统,通过数据库加密连接信息、docker容器化配置、规划人员以及数据设备管理人员的加密邮箱服务信息等设置告警管道。
57.在一个实施例中,获取异常点在异常流量局向掩膜矩阵、当前网络流量矩阵等的位置信息;根据位置信息,确定告警对象。
58.在一个实施例中,建立告警对象、异常点的映射表,根据异常点的位置信息,基于该映射表确定告警对象,将将异常流量局向掩膜矩阵及补全后的异常流量局向掩膜矩阵的分析结果发送至告警对象,便于及时通知到相关人员。
59.上述实施例中,配置规划人员、数据采集人员的邮箱服务器信息,通过pop3底层协议,对网络流量信息及时检测、补全、分拣、数据入库、对异常的告警和标识等,实现网络流量异常分析自动化,完成自动化告警,减少后续分析产生误差,促进ip网络规划的自动化进程。
60.基于同一发明构思,本公开实施例中还提供了一种流量异常处理装置,如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似,因此该装置实施例的实施可以参见上述方法实施例的实施,重复之处不再赘述。
61.图5示出本公开实施例中一种流量异常处理装置示意图,如图5所示,该流量异常处理装置5包括:生成模块501、输入模块502、补全模块503;
生成模块501,根据历史网络流量数据,基于流量预测模型得到异常流量局向掩膜矩阵,其中,异常流量局向掩膜矩阵中异常点通过随机噪声代替。
62.在一个实施例中,生成模块501包括第一生成模块,将历史网络流量数据输入至流量预测模型得到预测网络流量矩阵。
63.在一个实施例中,生成模块501包括第二生成模块,获取目标点在预测网络流量矩阵对应的预测值;获取目标点在当前网络流量矩阵对应的真实值;当预测值与真实值的残差大于或等于残差阈值时,目标点为异常点。
64.在一个实施例中,生成模块501包括第二生成模块,将异常点通过随机噪声代替,得到异常流量局向掩膜矩阵。
65.输入模块502,将异常流量局向掩膜矩阵及时空特征输入至扩散生成模型。
66.在一个实施例中,输入模块502包括第一输入模块,根据历史流量数据对应的拟合函数得到当前时刻的时间特征。
67.在一个实施例中,输入模块502包括第二输入模块,根据图算法分析网络拓扑结构得到当前时刻的空间特征。
68.补全模块503,扩散生成模型补全异常流量局向掩膜矩阵中异常点对应的补全值。
69.在一个实施例中,流量异常处理装置5还包括训练模块,通过扩散生成模型学习异常点对应的补全值;通过最小化补全值与真实值之间的误差训练扩散生成模型至收敛。
70.在一个实施例中,流量异常处理装置5还包括更新模块,根据补全后的异常流量局向掩膜矩阵重新确定更新各个局向的时间特征拟合函数,供下一时刻补全网络流量矩阵时使用。
71.上述实施例中,在网络流量异常检测模型odcrn的基础上,提取异常局向历史流量序列中的分布信息和当前网络的拓扑信息,利用stfe编码各个局向对应的时空特征,并利用结合这两者与当前的网络流量矩阵,利用diffusion生成准确的补全值,实现流量矩阵的自动化补全,最后基于pop3底层协议建立异常告警系统,协助规划人员实现对现网更准确有效地规划。
72.图6示出本公开实施例中又一种流量异常处理方法流程图,如图6所示,以扩散生成模型为diffusion模型,流量预测模型为odcrn模型,时空特征提取方法为stfe技术为例进行介绍,本公开实施例中提供的流量异常处理方法包括如下步骤:s602,监控网络流量数据,通过odcrn模型得到当前流量预测结果,根据真实值、预测值的残差与残差阈值判断异常点。
73.s602-1,网络流量数据,实时提取流量数据中的季节、趋势等周期特征;s602-2,基于上述特征建立odcrn模型,并通过不断迭代得到当前流量预测结果;s602-3,设定残差阈值,根据真实值、预测值的残差与残差阈值判断各个局向异常的存在情况,即判断异常点。
74.需要说明的是,局向可以是信令所指的方向,比如到某个局的信令,可称到某局的局向,这里对局向的解释是一个方向;也可以指某个网元或者区域。
75.基于现网历史流量数据,建立网络流量预测模型,预测当前的网络流量矩阵,设置残差阈值,通过预测值与当前流量的真实值的差异判断各局向的网络流量是否存在异常,实现异常流量局向的检测,并记录异常点在当前流量矩阵中的位置。
76.s604,基于stfe技术及diffusion模型补全流量矩阵。
77.基于odcrn模型检测出异常局向,利用stfe根据历史网络流量数据和当前网络拓扑结构得到各个局向的时空特征,通过diffusion模型补全异常流量局向mask矩阵中异常点对应的值,并根据补全后的异常流量局向矩阵拟合时间特征函数供后续使用。
78.图7示出本公开实施例中一种流量矩阵补全方法流程图,如图7所示,本公开实施例中提供的流量矩阵补全方法包括如下步骤:s604-1:根据异常检测出的当前网络流量矩阵中的异常局向,构建对应的mask矩阵。
79.s604-2:利用stfe,根据各局向的历史流量数据、当前时刻的网络拓扑结构,提取当前时刻各局向对应的时间特征,以及在网络拓扑中的空间特征。
80.在一个实施例中,根据历史流量数据对应的拟合函数得到当前时刻的时间特征,根据图算法分析网络拓扑结构得到当前时刻的空间特征。
81.s604-3:将通过stfe提取到的时空特征与当前时刻的网络流量矩阵进行拼接,并通过异常局向的mask矩阵将异常点用随机噪音填充,即mask矩阵所在的异常点通过随机噪声代替。
82.s604-4:建立diffusion模型,借助扩散和逆扩散过程,通过diffusion模型学习异常处的补全值,并通过最小化补全值与真实值之间的误差训练模型至收敛。
83.s604-5:生成可供后续步骤使用的网络流量矩阵;根据补全后的网络流量矩阵重新更新各个局向的时间特征拟合函数,供下一时刻补全网络流量矩阵时使用,协助规划人员实现对现网更准确有效地规划。
84.提取时空特征,建立高维特征空间,建立扩散生成模型,在异常检测基础上,赋予模型流量矩阵补全的能力,满足现网规划人员对于网络流量矩阵补全的需求。
85.s606,对异常点及其对应的补全值进行标识和分拣,之后自动化存入数据库并通过pop3向相关的工作人员进行异常的告警和通知。
86.在一个实施例中,基于pop3底层协议建立流量异常告警系统,负责顶层服务的转发工作,例如自动化存入数据库并通过pop3向相关的工作人员进行异常的告警和通知,该系统主要包括:标识模块、配置模块以及分拣模块。
87.图8示出本公开实施例中一种流量异常告警系统示意图,如图8所示,该流量异常告警系统包括:标识模块801、配置模块802、决策模块803;标识模块801:对补全后的网络流量矩阵进行二次处理,例如分拣、标识等处理,通过设置不同的标签标识出异常局向的位置已经补全值。
88.配置模块802:包含数据库加密连接信息、docker容器化配置、运维人员、规划人员以及数据设备管理人员的加密邮箱服务信息。
89.决策模块803:根据网络流量矩阵的异常局向所处位置,选择合适的告警对象。
90.配置规划人员、数据采集人员的邮箱服务器信息,通过pop3底层协议,对网络流量信息及时检测、补全、分拣、数据入库、对异常的告警和标识等,实现网络流量异常分析自动化。
91.上述实施例中,流量矩阵异常检测模型得到了异常局向的mask矩阵,借助stfe+diffusion实现了异常值的补全,将基于mask矩阵和补全后的流量矩阵建立流量异常自动
化告警系统,利用pop3协议,建立邮箱告警管道,将分析结果及时发送至需求对象,增强系统对于网络流量异常分析的自动化能力,减少后续分析产生误差,促进ip网络规划的自动化进程。
92.应用于本公开实施例的流量异常处理方法或流量异常处理装置的示例性系统架构可以包括终端设备,网络和服务器。
93.网络用以在终端设备和服务器之间提供通信链路的介质,可以是有线网络,也可以是无线网络。
94.可选地,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(local area network,lan)、城域网(metropolitan area network,man)、广域网(wide area network,wan)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(hyper text mark-up language,html)、可扩展标记语言(extensible markuplanguage,xml)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(secure socket layer,ssl)、传输层安全(transport layer security,tls)、虚拟专用网络(virtual private network,vpn)、网际协议安全(internet protocolsecurity,ipsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
95.终端设备可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机等。
96.可选地,不同的终端设备中安装的应用程序的客户端是相同的,或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同,该应用程序的客户端的具体形态也可以不同,比如,该应用程序客户端可以是手机客户端、pc客户端等。
97.服务器可以是提供各种服务的服务器,例如对用户利用终端设备所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理,并将处理结果反馈给终端设备,例如,根据预测网络流量矩阵与当前网络流量矩阵的残差确定当前网络流量矩阵的异常点;根据历史网络流量数据及当前网络拓扑数据,基于时空特征提取方法得到时空特征等。
98.可选地,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。
99.本领域技术人员可以知晓,根据实际需要,可以具有任意数目的终端设备、网络和服务器。本公开实施例对此不作限定。
100.所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
101.下面参照图9来描述根据本公开的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
102.如图9所示,电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于:上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。
103.其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元910执行,使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
104.例如,所述处理单元910可以执行上述方法实施例的如下步骤:将历史网络流量数据输入至流量预测模型得到预测网络流量矩阵;根据预测网络流量矩阵与当前网络流量矩阵的残差确定当前网络流量矩阵的异常点;将异常点通过随机噪声代替,得到异常流量局向掩膜矩阵。
105.例如,所述处理单元910可以执行上述方法实施例的如下步骤:根据历史网络流量数据,基于时空特征提取方法得到时间特征;根据当前网络拓扑数据,基于时空特征提取方法得到空间特征;将异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;扩散生成模型补全异常流量局向掩膜矩阵中异常点对应的补全值;识别补全后的异常流量局向掩膜矩阵对应的异常点及补全值;基于告警管道,将异常流量局向掩膜矩阵及补全后的异常流量局向掩膜矩阵的分析结果发送至告警对象。
106.存储单元920可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(ram)9201和/或高速缓存存储单元9202,还可以进一步包括只读存储单元(rom)9203。
107.存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204,这样的程序模块9205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
108.总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
109.电子设备900也可以与一个或多个外部设备940(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备900交互的设备通信,和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口950进行。
110.并且,电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
111.通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算
设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
112.在本公开的示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质可以是可读信号介质或者可读存储介质。其上存储有能够实现本公开上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
113.例如,本公开实施例中的程序产品被处理器执行时实现如下步骤的方法:将历史网络流量数据输入至流量预测模型得到预测网络流量矩阵;根据预测网络流量矩阵与当前网络流量矩阵的残差确定当前网络流量矩阵的异常点;将异常点通过随机噪声代替,得到异常流量局向掩膜矩阵。
114.例如,本公开实施例中的程序产品被处理器执行时实现如下步骤的方法:根据历史网络流量数据,基于时空特征提取方法得到时间特征;根据当前网络拓扑数据,基于时空特征提取方法得到空间特征;将异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;扩散生成模型补全异常流量局向掩膜矩阵中异常点对应的补全值;识别补全后的异常流量局向掩膜矩阵对应的异常点及补全值;基于告警管道,将异常流量局向掩膜矩阵及补全后的异常流量局向掩膜矩阵的分析结果发送至告警对象。
115.本公开中的计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
116.在本公开中,计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
117.可选地,计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任意合适的组合。
118.在具体实施时,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
119.应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多
模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
120.此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
121.通过以上实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
122.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
技术特征:
1.一种流量异常处理方法,其特征在于,包括:根据历史网络流量数据,基于流量预测模型得到异常流量局向掩膜矩阵,其中,所述异常流量局向掩膜矩阵中异常点通过随机噪声代替;将所述异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;所述扩散生成模型补全所述异常流量局向掩膜矩阵中所述异常点对应的补全值。2.根据权利要求1所述的流量异常处理方法,其特征在于,所述根据历史网络流量数据,基于流量预测模型得到异常流量局向掩膜矩阵包括:将所述历史网络流量数据输入至所述流量预测模型得到预测网络流量矩阵;根据所述预测网络流量矩阵与当前网络流量矩阵的残差确定所述当前网络流量矩阵的所述异常点;将所述异常点通过所述随机噪声代替,得到所述异常流量局向掩膜矩阵。3.根据权利要求2所述的流量异常处理方法,其特征在于,还包括:获取目标点在所述预测网络流量矩阵对应的预测值;获取所述目标点在所述当前网络流量矩阵对应的真实值;当所述预测值与所述真实值的残差大于或等于残差阈值时,所述目标点为异常点。4.根据权利要求1所述的流量异常处理方法,其特征在于,所述时空特征包括:时间特征及空间特征;其中,所述时空特征获取方法包括:根据所述历史网络流量数据,基于时空特征提取方法得到所述时间特征;根据当前网络拓扑数据,基于所述时空特征提取方法得到所述空间特征。5.根据权利要求1所述的流量异常处理方法,其特征在于,还包括:识别补全后的异常流量局向掩膜矩阵对应的所述异常点及所述补全值;基于告警管道,将所述异常流量局向掩膜矩阵及补全后的异常流量局向掩膜矩阵的分析结果发送至告警对象。6.根据权利要求5所述的流量异常处理方法,其特征在于,还包括:获取所述异常点在所述异常流量局向掩膜矩阵的位置信息;根据所述位置信息,确定所述告警对象。7.根据权利要求1所述的流量异常处理方法,其特征在于,还包括:通过所述扩散生成模型学习所述异常点对应的所述补全值;通过最小化所述补全值与真实值之间的误差训练所述扩散生成模型。8.根据权利要求1所述的流量异常处理方法,其特征在于,还包括:对补全后的异常流量局向掩膜矩阵进行处理;所述处理方法包括以下至少之一:标识、分拣、存储。9.一种流量异常处理装置,其特征在于,包括:生成模块,根据历史网络流量数据,基于流量预测模型得到异常流量局向掩膜矩阵,其中,所述异常流量局向掩膜矩阵中异常点通过随机噪声代替;输入模块,将所述异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;补全模块,所述扩散生成模型补全所述异常流量局向掩膜矩阵中所述异常点对应的补全值。10. 一种电子设备,其特征在于,包括:
处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行权利要求 1~8中任意一项所述流量异常处理方法。11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~8中任意一项所述的流量异常处理方法。
技术总结
本公开提供了一种流量异常处理方法、装置、电子设备及计算机可读存储介质,涉及数据通信技术领域。该方法包括:将历史网络流量数据输入至流量预测模型得到预测网络流量矩阵;根据预测网络流量矩阵与当前网络流量矩阵的残差确定当前网络流量矩阵的异常点;将异常点通过随机噪声代替,得到异常流量局向掩膜矩阵;根据历史网络流量数据及当前网络拓扑数据,基于时空特征提取方法得到时空特征;将异常流量局向掩膜矩阵及时空特征输入至扩散生成模型;扩散生成模型补全异常流量局向掩膜矩阵中异常点对应的补全值;识别异常点及补全值,将分析结果发送至告警对象;本公开实施例能够实现网络流量异常分析自动化,促进网络规划的自动化进程。划的自动化进程。划的自动化进程。
技术研发人员:胡泽华 余伟浩 马浩鹏 杨冰 阮科
受保护的技术使用者:中国电信股份有限公司
技术研发日:2023.08.08
技术公布日:2023/9/9
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/