边缘算力网络中的异常算力联邦检测方法、系统及介质

1.本技术属于边缘算力网络技术领域，具体涉及一种边缘算力网络中的异常算力联邦检测方法、系统及介质。


背景技术：

2.边缘算力网络主要是由边缘计算节点(这些节点可能是智能手机、路由器、物联网设备等)与网络设备协同构建一种新兴的分布式计算机架构，旨在将分散部署的边缘计算节点互相连通、统筹调度，将计算任务分发到网络中的设备，实现网络和计算资源的优化和高效利用，为用户提供最佳的资源分配和连接方案。因此，边缘算力网络在各种应用场景中都具有广阔的前景，如智能制造、智慧城市、智能交通等。
3.在边缘算力网络的实际应用过程中，经常会涉及到大量的数据传输和处理。在边缘算力网络中，节点分布广泛，每个节点都可能包含着不同的数据和隐私信息，这些信息不适合直接传输到中心化服务器进行处理和分析，因为这可能会导致数据泄露和隐私侵犯的问题。由于边缘计算节点的计算能力、存储能力和带宽等资源限制，节点的算力异常情况时有发生。算力异常可能会导致节点的计算速度变慢、任务执行失败等问题，进而影响整个系统的性能和可靠性。
4.目前，针对边缘算力异常检测的研究还比较少，而传统的异常检测方法往往无法直接应用于边缘算力节点中，因为这些方法可能需要大量的数据传输和中央处理，会导致较高的延迟和能耗。因此，如何在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，提高边缘计算系统的性能和可靠性，是当前亟待解决的问题。


技术实现要素：

5.本发明的主要目的在于提出一种边缘算力网络中的异常算力联邦检测方法、系统及介质，在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，提高边缘计算系统的性能和可靠性。
6.为了实现上述目的，提出一种边缘算力网络中的异常算力联邦检测方法、系统及介质，所述边缘算力网络中的异常算力联邦检测方法包括以下步骤：
7.s1.边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制，包括用户业务请求，需求解析模块分析用户业务需求，资源调度模块管理边缘资源池和边缘网关，业务部署及故障监控模块协助需求解析模块确定业务部署位置和资源，并对边缘资源池进行异常检测；
8.s2.提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，该框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素，所述异常检测系统包括：客户端请求算力注册、服务器节点初始化全局模型、服务器节点选择客户端本地训练、服务器节点模型聚合、客户端算力异常检测；
9.s3.通过基于cnn-bilstm的异常检测模型来识别异常算力；
10.s4.准备hdfs数据集与pagerank数据集，准备实验环境进行本地训练，采用精准率precision、召回率recall及f1值评价指标，得出实验结果与分析。
11.作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s1具体步骤为：
12.首先用户业务请求，需求解析模块分析用户业务需求，将用户业务需求转换为算力需求、网络需求，确定业务部署位置、资源信息；
13.资源调度模块管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；
14.业务部署，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；
15.故障监控模块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，故障监控模块，结合需求模块结果重新为用户提供业务部署位置和资源。
16.作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s2具体步骤为：
17.所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；
18.所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；
19.所述异常检测系统，该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。
20.作为本发明的较佳实施例，本发明所述步骤边缘算力网络中的异常算力联邦检测方法的s2中所述客户端请求算力注册具体操作为：
21.设存在k个客户端与一个服务器节点s，客户端用k＝{1,2,...,k}表示，每个客户端i的注册时间为ri，客户端i具备存储大小表示为mi，计算能力大小表示为ci：
[0022][0023]
其中，fi表示客户端i在一个时间窗口内完成的浮点运算次数，ti是该时间窗口的长度，ci表示客户端i的浮点运算次数/秒；客户端i到服务器节点的距离用d
i,s
表示：
[0024][0025]
其中，(xi,yi)表示客户端i位置，(xs,ys)表示服务器节点s位置；
[0026]
所述边缘算力网络中的异常算力联邦检测方法的步骤s2中所述服务器节点初始化全局模型包括bert词嵌入层、卷积层、双向lstm层、线性层，此模型的输入为一个batch_size大小的文本序列，其中每个文本都被表示为一个形状为sequence_length,768的矩阵，
模型的输出是每个文本属于两个类别中的哪一个的概率，由softmax函数计算得到；
[0027]
假设w0是全局模型初始参数，那么服务器节点在联邦学习开始时用表达式来初始化全局模型参数；
[0028]
其中，表示初始的全局模型参数，服务器节点和客户端之间需要进行通信，最大通信次数(communication rounds)为t，每次通信的周期为t，初始时，通信周期t的值为1；
[0029]
所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述服务器节点选择客户端本地训练具体为：在通信周期t内，服务器节点s随机选择k个客户端参与训练，其中k≤k，服务器节点s将初始化全局模型w0发送给这些选中的客户端，设每个客户端i上有一个数据集其中[1,k]表示整数范围，每个客户端i根据自己本地的数据集进行本地训练，并生成一个局部模型参数其中是客户端i使用本地数据进行训练得到的损失函数，表示该损失函数相对于模型参数的梯度，η表示学习率，客户端i的本地训练迭代次数用li表示。
[0030]
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述服务器节点模型聚合具体为：在通信周期为t时，选取客户端模型参数集合其中表示客户端i在通信周期t的模型参数，聚合全局模型参数更新表示为：
[0031][0032]
其中|d|表示所有客户端的本地数据量，这个公式表示了一个加权平均，每个客户端i的贡献由其样本数量|di|加权；当t＝t时与直到模型收敛时，向各个客户端发送最终全局模型参数，进行异常检测，否则接着执行服务器节点选择客户端本地训练。
[0033]
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述客户端算力异常检测具体为：所有参与联邦训练的客户端节点，使用服务器节点最终聚合完成并下发模型权重参数更新本地全局网络模型，即对本地数据进行处理，通过异常检测模型判断分类结果是否为异常类型，若是则为异常算力，否则为正常算力。
[0034]
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s3中所述基于cnn-bilstm异常检测模型具体为：
[0035]
包括数据采集与数据解析，所述数据采集根据边缘计算节点输出非结构化的日志数据进行分析，使用drain方法进行结构化处理，日志解析通过从hdfs中生成的结构化原始日志片段中删除冗余信息，提取日志事件时间信息和内容信息；
[0036]
还包括当客户端对本地数据进行处理时，整体模型由bert预训练模型对输入的文本进行编码，并通过卷积神经网络cnn和双向长短期记忆网络bilstm进行特征提取和分类。
[0037]
作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s4具体为：
[0038]
s401.准备hdfs数据集，所述hdfs数据集包含了各种类型的日志数据，日志数据中包含了各种事件和错误信息；准备pagerank日志数据集，所述pagerank日志数据集用于测试分布式计算框架的性能和可扩展性，通过分析日志数据集，提取出节点之间的通信情况，进行算力异常检测；
[0039]
s402.准备实验环境，联邦异常检测架构参数设置分别为客户端数量k＝2,最大通信次数为t＝20，初始值t＝1，客户端i本地训练迭代次数li＝2，每次通信客户端选择数量为2，学习率η＝0.1，客户端i分别使用hdfs与pagerank数据集进行本地训练，数据集划分按照7：3，分别表示为客户端训练集和客户端验证集；
[0040]
s403.采用精准率precision、召回率recall和f1值为评价指标，计算公式为：
[0041][0042][0043][0044]
其中，tp表示成功检测出的异常日志序列量，fp表示正常日志序列被一场检测模型判断为异常的数量，fn表示异常日志序列数量被异常检测模型判断为正常的数量；
[0045]
s404.多个客户端分别使用hdfs与pagerank部分数据集进行验证，采用精确率、召回率和f1值三个衡量标准,并选取三种当前基于日志分析的异常检测算法：主成分分析pca、loganomaly和deeplog进行对比。
[0046]
一种边缘算力网络中的异常算力联邦检测系统，采用了如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法，所述检测系统包括：
[0047]
需求解析模块，用于分析用户业务需求，将其转换为算力需求、网络需求，确定业务部署位置、资源信息；
[0048]
资源调度模块，用于管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；
[0049]
业务部署模块，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；
[0050]
故障监控模块，用于块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，结合需求模块结果重新为用户提供业务部署位置和资源；
[0051]
另外还包括一联邦异常检测框架，所述联邦异常检测框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素；
[0052]
所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，其功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；
[0053]
所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；
[0054]
所述异常检测系统包括：该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。
[0055]
一种计算机可读介质，所述程序被处理器执行时实现如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法。
[0056]
本发明的有益效果是：
[0057]
1、本发明中通过建立所述算力异常检测运行机制，以保证算力资源的高效利用。
[0058]
2、本发明中边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，在赋予其提供算力服务资格前，在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，有效地提高了边缘计算系统的性能和可靠性。
[0059]
3、发明中通过采用异常检测系统，达到帮助用户减少经济损失的目的。
附图说明
[0060]
图1为本发明的算力异常检测运行机制图；
[0061]
图2为本发明的算力异常联邦检测架构图；
[0062]
图3为本发明的acfl准确率曲线图；
[0063]
图4为本发明的acfl损失曲线图；
[0064]
图5为本发明的acfl客户端1性能指标结果图；
[0065]
图6为本发明的acfl客户端2性能指标结果图；
具体实施方式
[0066]
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0067]
本发明的一种边缘算力网络中的异常算力联邦检测方法、系统及介质，如图1-6所示，所述边缘算力网络中的异常算力联邦检测方法包括以下步骤：
[0068]
s1.边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制，其包括用户业务请求，需求解析模块分析用户业务需求，资源调度模块管理边缘资源池和边缘网关，业务部署及故障监控模块协助需求解析模块确定业务部署位置和资源，并对边缘资源池进行异常检测；
[0069]
s2.提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，该框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素，所述异常检测系统包括：客户端请求算力注册、服务器节点初始化全局模型、服务器节点选择客户端本地训练、服务器节点模型聚合、客户端算力异常检测；
[0070]
s3.面向边缘算力网络算力节点算力异常的问题，提出一种基于cnn-bilstm的异常检测模型用于识别异常算力；
[0071]
其中，本发明中建立所述算力异常检测运行机制，以保证算力资源的高效利用；根据边缘算力网络中节点分散性和节点之间的异构性特点，提出了一种联邦异常检测框架，
在保证边缘算力节点数据安全的前提下，联合训练一个算力异常检测模型，来更加准确地检测算力节点中的异常情况；面向边缘算力网络算力节点算力异常的问题，提出一种基于cnn-bilstm的异常检测模型用于识别异常算力，将极大的提高边缘算力系统的性能和可靠性，为未来的智能应用提供更好的服务。
[0072]
s4.准备hdfs数据集与pagerank数据集，准备实验环境进行本地训练，采用精准率precision、召回率recall及f1值评价指标，得出实验结果与分析。
[0073]
一种可选的实施方式，一种边缘算力网络中的异常算力联邦检测系统，如图1所示，采用了所述的边缘算力网络中的异常算力联邦检测方法为：首先是用户业务请求模块；
[0074]
需求解析模块分析，用于分析用户业务需求，将其转换为算力需求、网络需求，确定业务部署位置、资源信息；
[0075]
资源调度模块，用于管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；
[0076]
业务部署模块，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；
[0077]
故障监控模块，用于协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，故障监控模块，结合需求模块结果重新为用户提供业务部署位置和资源；
[0078]
其中，本发明中边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，在赋予其提供算力服务资格前，对边缘资源池进行算力异常监控，以确保提供算力服务的可靠性；所述故障监控模块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，其作用范围覆盖整个编排管理阶段，可以帮助构建可靠、安全的编排管理系统。
[0079]
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤s2具体步骤为：当面对边缘计算资源不稳定、分散性强、且异构性大的情况时，本发明提出了一种名为聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，具体来说，该框架包括以下三个要素：
[0080]
所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，其功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；
[0081]
所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；
[0082]
所述异常检测系统，该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。
[0083]
其中，本发明中，所述聚合边缘服务节点作为联邦异常检测架构中的服务器节点，拥有较大的计算资源和存储资源；所述边缘节点：作为联邦异常检测架构中的客户端，边缘节点拥有相对较小的计算和存储资源，采用异常检测系统，达到帮助用户减少经济损失的目的。
[0084]
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤s2中所述客户端请求算力注册具体操作为：
[0085]
设存在k个客户端与一个服务器节点s，客户端用k＝{1,2,...,k}表示，每个客户端i的注册时间为ri，客户端i具备存储大小表示为mi，计算能力大小表示为ci：
[0086][0087]
其中，fi表示客户端i在一个时间窗口内完成的浮点运算次数，ti是该时间窗口的长度，ci表示客户端i的浮点运算次数/秒；客户端i到服务器节点的距离用d
i,s
表示：
[0088][0089]
其中，(xi,yi)表示客户端i位置，(xs,ys)表示服务器节点s位置。
[0090]
一种可选的实施方式，所述边缘算力网络中的异常算力联邦检测方法的步骤s2中所述服务器节点初始化全局模型包括bert词嵌入层、卷积层、双向lstm层、线性层；
[0091]
其中，卷积层具体为一个包含三个二维卷积层conv2d的modulelist，这三个卷积层的输入通道数为1，输出通道数为256，分别采用不同大小的卷积核2x768、3x768、4x768，步长均为1，这些卷积层因为不同长度的n-gram对于文本的表达可能会有不同的重要性，故被用来提取文本中的局部特征。
[0092]
其中，双向lstm层具体为一个双向长短时记忆网络，包含一个lstm层，输入大小为768，输出大小为128。这个lstm层被设置为batch_first＝true，因此输入的shape为batch_size,sequence_length,768，其中batch_size是每个batch的大小，sequence_length是文本序列的长度；这个双向lstm层因为它能够有效地建模文本序列中的长期依赖关系被用来捕捉文本中的全局特征。
[0093]
其中，线性层具体为：一个线性层linear，将输入的256维向量映射到一个2维向量(即输出大小为2)，用于最终的分类；这个线性层被用来将提取的局部和全局特征结合起来，以便进行分类。
[0094]
综上所述，此模型的输入为一个batch_size大小的文本序列，其中每个文本都被表示为一个形状为sequence_length,768的矩阵，模型的输出是每个文本属于两个类别中的哪一个的概率，由softmax函数计算得到；
[0095]
假设w0是全局模型初始参数，那么服务器节点在联邦学习开始时用表达式来初始化全局模型参数；
[0096]
其中，表示初始的全局模型参数，服务器节点和客户端之间需要进行通信，最大通信次数为t，每次通信的周期为t，初始时，通信周期t的值为1。
[0097]
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述服务器节点模型聚合具体为：服务器节点选择客户端本地训练，在通信周期t内，服务器节点s随机选择k个客户端参与训练，其中k≤k，服务器节点s将初始化全局模型w0发送给这些选中的客户端，设每个客户端i上有一个数据集其中[1,k]表示整数范围，每个客户端i根据自己本地的数据集进行本地训练，并生成一个局部模型参数其中是客户端i使用本地数据进行训练得到的损失函数，
表示该损失函数相对于模型参数的梯度，η表示学习率，客户端i的本地训练迭代次数用li表示。
[0098]
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述服务器节点模型聚合具体为：服务器节点模型聚合，在通信周期为t时，选取客户端模型参数集合其中表示客户端i在通信周期t的模型参数，聚合全局模型参数更新表示为：
[0099][0100]
其中|d|表示所有客户端的本地数据量，这个公式表示了一个加权平均，每个客户端i的贡献由其样本数量|di|加权；当t＝t时与直到模型收敛时，向各个客户端发送最终全局模型参数，进行异常检测，否则接着执行服务器节点选择客户端本地训练。
[0101]
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述客户端算力异常检测具体为：所有参与联邦训练的客户端节点，使用服务器节点最终聚合完成并下发模型权重参数更新本地全局网络模型，即对本地数据进行处理，通过异常检测模型判断分类结果是否为异常类型，若是则为异常算力，否则为正常算力。
[0102]
一种可选的实施方式，如图2所示，所述边缘算力网络中的异常算力联邦检测方法的步骤s3中所述基于cnn-bilstm异常检测模型具体为：
[0103]
包括数据采集与数据解析，所述数据采集根据边缘计算节点输出非结构化的日志数据进行分析，使用drain方法进行结构化处理，日志解析通过从hdfs中生成的结构化原始日志片段中删除冗余信息，提取日志事件时间信息和内容信息；
[0104]
还包括当客户端对本地数据进行处理时，整体模型由bert预训练模型对输入的文本进行编码，并通过卷积神经网络cnn和双向长短期记忆网络bilstm进行特征提取和分类。
[0105]
其中，本发明中，客户端i对本地数据处理及本地模型训练方案如下：
[0106]
数据采集阶段，本发明中根据边缘计算节点输出非结构化的日志数据进行分析，这类日志能够表示系统状态和运行信息。在生产中，边缘资源池所具备的软硬件有所差异，其输出的日志信息在语法上也有所不同。每条语句一般都会包含时间戳、消息标识、详细信息等不同格式文本信息，各个边缘计算节点将原始日志信息通过数据流传输的方式保存在本地存储。在日志解析阶段，非结构化日志数据会被解析为结构化的日志事件数据，本发明中使用drain方法进行结构化处理。目前，解析日志的普遍做法是从日志消息中提取模板，但是模板提取依然存在误差，从而影响日志检测的鲁棒性。本发明提供了一个hdfs(hadoop distributed file system)中生成的结构化原始日志片段的示例，其中包含了时间戳、消息级别、进程和组件等信息。日志解析通过删除冗余信息，主要提取日志事件时间信息和内容信息,如下表1所示：
[0107][0108][0109]
表1
[0110]
当客户端对本地数据进行处理时，整体模型由bert预训练模型对输入的文本进行编码，并通过卷积神经网络(cnn)和双向长短期记忆网络(bilstm)进行特征提取和分类；使用bert预训练模型作为输入编码器时，可以充分利用预训练模型在大规模语料库上学习到的语言表示能力，从而更好地表征输入的文本数据；而在该模型中，通过卷积神经网络(cnn)和双向长短期记忆网络(bilstm)的特征提取和分类过程，可以对编码后的文本进行进一步处理和分析，以实现任务目标。此外，该模型还使用了局部池化和全局池化的结合方式，以更全面地利用卷积层提取到的特征信息，提高模型的性能。因此，该模型可以更好地处理文本数据，并对其进行高效和准确的任务处理。
[0111]
具体来说di包含客户端i上的本地所有训练样本，每个样本包含了一个由l个单词组成的文本序列xi＝[x
i,1
,x
i,2
,....,x
i,l
]以及一个对应的标签yi＝{0,1}，定义一个二元分类模型f(x；θ)，θ表示模型参数，x表示输入样本，对于给定的样本序列xi，计算出其对应的中间表示为其中表示输入数据的向量空间，然后将其通过softmax函数映射到概率空间，得到样本序列xi为正常和异常的概率分别为：
[0112][0113][0114]
其中，其中，是sorftmax函数的参数。如果p(yi＝0|hi)＞p(yi＝1|hi)其归类为正常，反之，将其归类为异常。
[0115]
具体地：
[0116]
对于文本序列x，通过bert模型的编码得到一个固定长度的向量z＝bert(x)，使用一个一维卷积神经网络cnn，对z进行局部特征提取，得到输出向量h
cnn
，使用relu(x)＝max(0,x)，卷积核大小为u，卷积核个数为j，具体地，对于卷积核i，其权重为偏置为则有其中z
i:i+k-1
表示z中的一个连续子序列，
最后，将j个输出向量拼接在一起，得到h
cnn
。
[0117]
cnn网络学习到的特征具有平移不变形，缺少上下文语义信息，因此，在提取局部特征的基础上接着将h
cnn
作为输入，使用一个双向长短期记忆网络(bilstm)进行进一步学习的时序上下文特征，得到输出向量h
bilstm
。具体地，在t时刻分别将h
cnn,t
作为正向和反向lstm输入，得到正向和反向lstm的隐藏状态分别为和计算公式为其中表示时刻t的bilstm输出向量将这两个隐藏状态拼接，w
t
表示权重矩阵，b
t
表示t时刻的偏置向量，最后使用全连接层将h
bilstm
映射到目标类别上，即算力异常或者算力正常，并对其进行softmax处理，得到每个类别的概率分布y＝softmax(wh
bilstm
+b)，其中w是全连接层的权重矩阵，b是偏置向量，并采用交叉熵函数进行损失计算，计算公式如下：
[0118][0119]
其中，di表示客户端i拥有的本地数据集，|di|表示本地数据集拥有的样本数量，x是输入样本，y是对应的真实标签，f
θ
(x)是基于当前客户端i上的本地模型参数θ经过前向计算得到的预测结果，是样本数量的倒数，表示平均每个样本的损失。
[0120]
一种可选的实施方式，如图3-6所示，所述边缘算力网络中的异常算力联邦检测方法的步骤s4具体为：
[0121]
s401.准备hdfs数据集，所述hdfs数据集包含了各种类型的日志数据，日志数据中包含了各种事件和错误信息；准备pagerank日志数据集，所述pagerank日志数据集用于测试分布式计算框架的性能和可扩展性，通过分析日志数据集，提取出节点之间的通信情况，进行算力异常检测；
[0122]
其中，hdfs是指hadoop分布式文件系统(hadoop distributed file system)，是hadoop的核心组成部分之一，是一个分布式文件系统，用于在大规模集群上存储和处理大量数据；hdfs数据集包含了各种类型的日志数据，这些日志数据中包含了各种事件和错误信息，例如文件读写、块复制、磁盘错误、网络连接等等。通过分析这些日志数据，可以获取系统各种方面的性能指标和异常情况，例如磁盘i/o延迟、网络带宽瓶颈、节点故障等等，涵盖了从多个节点收集的日志数据，时间跨度约为38.7h。
[0123]
s402.准备实验环境，联邦异常检测架构参数设置分别为客户端数量k＝2,最大通信次数为t＝20，初始值t＝1，客户端i本地训练迭代次数li＝2，每次通信客户端选择数量为2，学习率η＝0.1，客户端i分别使用hdfs与pagerank数据集进行本地训练，数据集划分按照7：3，分别表示为客户端训练集和客户端验证集；
[0124]
其中，本发明中实验环境为64位windows11，4核i5-1135g7512g4ghz cpu，模型基于pytorch深度学习框架版本为1.12.1，开发环境为anaconda 4.14.0，python版本为3.9.12。
[0125]
s403.采用精准率precision、召回率recall和f1值为评价指标，计算公式为：
[0126]
[0127][0128][0129]
其中，tp表示成功检测出的异常日志序列量，fp表示正常日志序列被一场检测模型判断为异常的数量，fn表示异常日志序列数量被异常检测模型判断为正常的数量；
[0130]
s404.多个客户端分别使用hdfs与pagerank部分数据集进行验证，采用精确率、召回率和f1值三个衡量标准,并选取三种当前基于日志分析的异常检测算法：主成分分析pca、loganomaly和deeplog进行对比。
[0131]
本发明中，为了验证联邦算力异常检测模型acfl(abnormal of computing federated learning)的效果，训练过程的准确率如图3所示，损失值如图4所示。为了检测聚合模型的准确性和有效性，对于客户端1与客户端2分别使用hdfs与pagerank部分数据集进行验证，采用精确率、召回率和f1值三个衡量标准，从图5中可以看出客户端1的精确率＝0.97、召回率＝0.97和f1值＝0.96，从图6中可以看出客户端2的精确率＝1.0、召回率＝1.0和f1值＝1.0，并选取3种当前比较先进的基于日志分析的异常检测算法：主成分分析(pca)、loganomaly和deeplog进行对比。
[0132]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和偏移处理。该类修改、改进和偏移处理在本说明书中被建议，所以该类修改、改进、偏移处理仍属于本说明书示范实施例的精神和范围。
[0133]
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对它们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
[0134]
需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
[0135]
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征：
1.一种边缘算力网络中的异常算力联邦检测方法，其特征在于，包括以下步骤：s1.边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制，包括用户业务请求，需求解析模块分析用户业务需求，资源调度模块管理边缘资源池和边缘网关，业务部署及故障监控模块协助需求解析模块确定业务部署位置和资源，并对边缘资源池进行异常检测；s2.提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，该框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素，所述异常检测系统包括：客户端请求算力注册、服务器节点初始化全局模型、服务器节点选择客户端本地训练、服务器节点模型聚合、客户端算力异常检测；s3.通过基于cnn-bilstm的异常检测模型来识别异常算力；s4.准备hdfs数据集与pagerank数据集，准备实验环境进行本地训练，采用精准率precision、召回率recall及f1值评价指标，得出实验结果与分析。2.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤s1具体步骤为：首先用户业务请求，需求解析模块分析用户业务需求，将用户业务需求转换为算力需求、网络需求，确定业务部署位置、资源信息；资源调度模块管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；业务部署，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；故障监控模块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，故障监控模块，结合需求模块结果重新为用户提供业务部署位置和资源。3.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤s2具体步骤为：所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；所述异常检测系统，该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。4.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述步骤边缘算力网络中的异常算力联邦检测方法的s2中所述客户端请求算力注册具体操作为：设存在k个客户端与一个服务器节点s，客户端用表示，每个客户端i的注册时间为r
i
，客户端i具备存储大小表示为m
i
，计算能力大小表示为c
i
：
其中，f
i
表示客户端i在一个时间窗口内完成的浮点运算次数，t
i
是该时间窗口的长度，c
i
表示客户端i的浮点运算次数/秒；客户端i到服务器节点的距离用d
i,s
表示：其中，(x
i
,y
i
)表示客户端i位置，(x
s
,y
s
)表示服务器节点s位置；所述边缘算力网络中的异常算力联邦检测方法的步骤s2中所述服务器节点初始化全局模型包括bert词嵌入层、卷积层、双向lstm层、线性层，此模型的输入为一个batch_size大小的文本序列，其中每个文本都被表示为一个形状为sequence_length,768的矩阵，模型的输出是每个文本属于两个类别中的哪一个的概率，由softmax函数计算得到；假设w0是全局模型初始参数，那么服务器节点在联邦学习开始时用表达式来初始化全局模型参数；其中，表示初始的全局模型参数，服务器节点和客户端之间需要进行通信，最大通信次数为t，每次通信的周期为t，初始时，通信周期t的值为1；所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述服务器节点选择客户端本地训练具体为：在通信周期t内，服务器节点s随机选择k个客户端参与训练，其中k≤k，服务器节点s将初始化全局模型w0发送给这些选中的客户端，设每个客户端i上有一个数据集其中[1,k]表示整数范围，每个客户端i根据自己本地的数据集进行本地训练，并生成一个局部模型参数其中是客户端i使用本地数据进行训练得到的损失函数，表示该损失函数相对于模型参数的梯度，η表示学习率，客户端i的本地训练迭代次数用l
i
表示。5.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述服务器节点模型聚合具体为：在通信周期为t时，选取客户端模型参数集合其中，表示客户端i在通信周期t的模型参数，聚合全局模型参数更新表示为：其中，表示所有客户端的本地数据量，这个公式表示了一个加权平均，每个客户端i的贡献由其样本数量加权；当t＝t时与直到模型收敛时，向各个客户端发送最终全局模型参数，进行异常检测，否则接着执行服务器节点选择客户端本地训练。6.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述客户端算力异常检测具体为：所有参与联邦训练的客户端节点，使用服务器节点最终聚合完成并下发模型权重参数更新本地全局网络模型，即对本地数据进行处理，通过异常检测模型判断分类结果是否为异常类型，若是则为异常算力，否则为正常算力。
7.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤s3中所述基于cnn-bilstm异常检测模型具体为：包括数据采集与数据解析，所述数据采集根据边缘计算节点输出非结构化的日志数据进行分析，使用drain方法进行结构化处理，日志解析通过从hdfs中生成的结构化原始日志片段中删除冗余信息，提取日志事件时间信息和内容信息；还包括当客户端对本地数据进行处理时，整体模型由bert预训练模型对输入的文本进行编码，并通过卷积神经网络cnn和双向长短期记忆网络bilstm进行特征提取和分类。8.根据权利要求1所述的边缘算力网络中的异常算力联邦检测方法，其特征在于，所述边缘算力网络中的异常算力联邦检测方法的步骤s4具体为：s401.准备hdfs数据集，所述hdfs数据集包含了各种类型的日志数据，日志数据中包含了各种事件和错误信息；准备pagerank日志数据集，所述pagerank日志数据集用于测试分布式计算框架的性能和可扩展性，通过分析日志数据集，提取出节点之间的通信情况，进行算力异常检测；s402.准备实验环境，联邦异常检测架构参数设置分别为客户端数量k＝2,最大通信次数为t＝20，初始值t＝1，客户端i本地训练迭代次数l
i
＝2，每次通信客户端选择数量为2，学习率η＝0.1，客户端i分别使用hdfs与pagerank数据集进行本地训练，数据集划分按照7：3，分别表示为客户端训练集和客户端验证集；s403.采用精准率precision、召回率recall和f1值为评价指标，计算公式为：s403.采用精准率precision、召回率recall和f1值为评价指标，计算公式为：s403.采用精准率precision、召回率recall和f1值为评价指标，计算公式为：其中，tp表示成功检测出的异常日志序列量，fp表示正常日志序列被一场检测模型判断为异常的数量，fn表示异常日志序列数量被异常检测模型判断为正常的数量；s404.多个客户端分别使用hdfs与pagerank部分数据集进行验证，采用精确率、召回率和f1值三个衡量标准,并选取三种当前基于日志分析的异常检测算法：主成分分析pca、loganomaly和deeplog进行对比。9.一种边缘算力网络中的异常算力联邦检测系统，其特征在于，采用了如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法，所述检测系统包括：需求解析模块，用于分析用户业务需求，将其转换为算力需求、网络需求，确定业务部署位置、资源信息；资源调度模块，用于管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；业务部署模块，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；故障监控模块，用于块协助需求解析模块确定业务部署位置和资源，对边缘资源池进
行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，结合需求模块结果重新为用户提供业务部署位置和资源；另外还包括一联邦异常检测框架，所述联邦异常检测框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素；所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，其功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；所述异常检测系统包括：该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。10.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法。

技术总结
本发明公开了一种边缘算力网络中的异常算力联邦检测方法、系统及介质，包括边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制；提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架；面向边缘算力网络算力节点算力异常的问题，提出一种基于CNN-BILSTM的异常检测模型用于识别异常算力；准备HDFS数据集与PageRank数据集，准备实验环境进行本地训练，采用精准率Precision、召回率Recall及F1值评价指标，得出实验结果与分析。利用本发明，在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，有效地提高了边缘计算系统的性能和可靠性。和可靠性。和可靠性。


技术研发人员：张龙 暴海周 邵明明 贾星亮 邵继保 冯青凯
受保护的技术使用者：河北工程大学
技术研发日：2023.04.11
技术公布日：2023/8/1