一种基于数字孪生的业务自主规划方法及装置与流程

1.本发明涉及电力通信的技术领域，特别是涉及一种基于数字孪生的业务自主规划方法及装置。


背景技术：

2.电力通信网是承载电网业务，实现电网设备间信息交互的通信专网，是维护电网安全稳定运行的重要保障。随着高比例可再生能源、柔性负荷的持续接入，以及大规模储能装置的逐步应用，电力通信网承载的业务种类逐渐增加，业务数据量爆发式增长，电力通信网的规划能力面临巨大挑战。电力业务自主规划，可以通过提取电力通信网承载的各类业务的特征信息完成业务识别，并针对不同业务进行网络资源的分配调度，是维护电网安全稳定运行的重要环节。随着各类电力业务对数据传输差异化需求的逐渐细化，现有的基于净荷特征、基于流统计特征的识别及自主规划系统难以适应电力业务自主规划系统特征数据量大、决策程序复杂场景。亟需设计效率更高的业务自主规划系统以满足业务规划需求。
3.1.现有基于神经网络的路由规划算法需要进行大量业务请求试验，从而探索最优规划策略，由此带来的时间开销大、规划效率低，难以适配大规模、突发性电力业务接入下的电力通信网络数据传输需求。
4.2.传统深度q网络(deep q network，dqn)算法在经验池抽取时采取随机抽取策略，电力通信网不同业务数据流抽取不均衡，并且采集到的数据质量参差不齐，dqn算法拟合收敛速度慢，导致业务自主路由规划效率低。


技术实现要素：

5.本发明要解决的技术问题是：提供一种基于数字孪生的业务自主规划方法及装置，提高业务自主路由规划效率。
6.为了解决上述技术问题，本发明提供了一种基于数字孪生的业务自主规划方法，包括：
7.获取电力通信网络的实时业务数据流，对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类；
8.将所述第一业务种类和所述实时业务数据流输入到预构建的改进dqn模型中，以使所述改进dqn模型在数据孪生网络中根据所述第一业务种类对所述实时业务数据流进行模拟传输，输出路由路径自主规划策略；
9.其中，所述改进dqn模型的预构建过程，包括：
10.基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；
11.分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集，基于所述训练样本集对dqn模型进行训练，直至模型收敛，得到改进dqn模型。
12.本发明提供的一种基于数字孪生的业务自主规划方法，还包括：
13.获取电力通信网络实体域中的业务状态和网络状态，根据所述业务状态和所述网络状态，构建电力通信网络的数据孪生网络。
14.在一种可能的实现方式中，对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类，具体包括：
15.获取所述实时业务数据流的第一业务特征数据，其中，所述第一业务特征数据包括数据包发送时间戳、数据包接收时间戳和数据包报文信息，所述数据包报文信息包括数据包到达间隔时间、业务流持续时间、数据包大小和数据包总数；
16.根据所述第一业务特征数据与预构建的业务流特征库进行对比，根据对比结果，得到所述实时业务数据流对应的第一业务种类；其中，所述业务流特征库包含业务特征数据-业务种类对。
17.在一种可能的实现方式中，将不同业务种类对应的业务数据存储在对应的业务经验池前，还包括：
18.构建电力光网络业务自主规划场景，其中，所述电力光网络业务自主规划场景包括终端集合和路由路径集合；
19.定义dqn模型的状态、动作、奖励、循环指示变量与循环次数最大值，其中，所述状态定义为终端对应的业务数据流的业务状态数据，所述动作定义为不同路由路径选择集合，所述奖励定义为所有终端的传输时延和的倒数。
20.在一种可能的实现方式中，将不同业务种类对应的业务数据存储在对应的业务经验池，具体包括：
21.获取所述业务数据的第一状态，将所述第一状态输入所述dqn模型中，以使所述dqn模型基于所述第一状态输出所有动作对应的估计网络q值，基于ε-贪婪策略选择估计网络q值最大的第一动作，并根据所述第一动作选择对应的第一路由路径；
22.基于所述第一路由路径，对所述业务数据进行业务传输，并计算所述第一路由路径对应的第一奖励值；
23.并根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态；
24.根据所述第一状态判断所述业务数据的第一业务种类，根据所述第一业务种类，将所述业务数据对应的第一状态、第一动作、第一奖励值和所述第一下一状态存储到对应的业务经验池中。
25.在一种可能的实现方式中，计算所述第一路由路径对应的第一奖励值，其中，所述第一奖励值的计算公式如下所示：
[0026][0027][0028]
式中，r(t)为t时刻的奖励值，x
i,j
(t)为t时刻终端di选择的路由路径fj，τ
i,j
(t)为t时刻在终端di选择的路由路径fj上的传输时延，ui(t)为t时刻业务数据的数据包大小，bj(t)为t时刻路由路径fj的带宽状态信息，σj(t)为t时刻路由路径fj的信噪比。
[0029]
在一种可能的实现方式中，根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态，其中，所述下一状态的评估公式如下所示：
[0030]
s(t+1)＝{s1(t+1),...,si(t+1),...,si(t+1)}；
[0031][0032]
式中，ui(t+1)为t+1时刻业务数据的数据包大小，si(t+1)为t+1时刻下终端di的状态，s(t+1)为第一下一状态，为终端di的业务流时延需求，为终端di的业务流抖动需求，为终端di的业务流带宽需求，bj(t+1)为t+1时刻路由路径fj的带宽状态信息，σj(t+1)为t+1时刻路由路径fj的信噪比，d为终端集合，f为路由路径集合。
[0033]
本发明还提供了一种基于数字孪生的业务自主规划装置，包括：业务种类识别模块和业务路由路径自主规划模块；
[0034]
其中，所述业务种类识别模块，用于获取电力通信网络的实时业务数据流，对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类；
[0035]
所述业务路由路径自主规划模块，用于将所述第一业务种类和所述实时业务数据流输入到预构建的改进dqn模型中，以使所述改进dqn模型在数据孪生网络中根据所述第一业务种类对所述实时业务数据流进行模拟传输，输出路由路径自主规划策略；其中，所述改进dqn模型的预构建过程，包括：基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集，基于所述训练样本集对dqn模型进行训练，直至模型收敛，得到改进dqn模型。
[0036]
本发明提供的一种基于数字孪生的业务自主规划装置，还包括：数据孪生网络构建模块；
[0037]
所述数据孪生网络构建模块，用于获取电力通信网络实体域中的业务状态和网络状态，根据所述业务状态和所述网络状态，构建电力通信网络的数据孪生网络。
[0038]
在一种可能的实现方式中，所述业务种类识别模块，用于对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类，具体包括：
[0039]
获取所述实时业务数据流的第一业务特征数据，其中，所述第一业务特征数据包括数据包发送时间戳、数据包接收时间戳和数据包报文信息，所述数据包报文信息包括数据包到达间隔时间、业务流持续时间、数据包大小和数据包总数；
[0040]
根据所述第一业务特征数据与预构建的业务流特征库进行对比，根据对比结果，得到所述实时业务数据流对应的第一业务种类；其中，所述业务流特征库包含业务特征数据-业务种类对。
[0041]
在一种可能的实现方式中，所述业务路由路径自主规划模块，用于将不同业务种类对应的业务数据存储在对应的业务经验池前，还包括：
[0042]
构建电力光网络业务自主规划场景，其中，所述电力光网络业务自主规划场景包括终端集合和路由路径集合；
[0043]
定义dqn模型的状态、动作、奖励、循环指示变量与循环次数最大值，其中，所述状态定义为终端对应的业务数据流的业务状态数据，所述动作定义为不同路由路径选择集合，所述奖励定义为所有终端的传输时延和的倒数。
[0044]
在一种可能的实现方式中，所述业务路由路径自主规划模块，用于将不同业务种类对应的业务数据存储在对应的业务经验池，具体包括：
[0045]
获取所述业务数据的第一状态，将所述第一状态输入所述dqn模型中，以使所述dqn模型基于所述第一状态输出所有动作对应的估计网络q值，基于ε-贪婪策略选择估计网络q值最大的第一动作，并根据所述第一动作选择对应的第一路由路径；
[0046]
基于所述第一路由路径，对所述业务数据进行业务传输，并计算所述第一路由路径对应的第一奖励值；
[0047]
并根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态；
[0048]
根据所述第一状态判断所述业务数据的第一业务种类，根据所述第一业务种类，将所述业务数据对应的第一状态、第一动作、第一奖励值和所述第一下一状态存储到对应的业务经验池中。
[0049]
在一种可能的实现方式中，所述业务路由路径自主规划模块，用于计算所述第一路由路径对应的第一奖励值，其中，所述第一奖励值的计算公式如下所示：
[0050][0051][0052]
式中，r(t)为t时刻的奖励值，x
i,j
(t)为t时刻终端di选择的路由路径fj，τ
i,j
(t)为t时刻在终端di选择的路由路径fj上的传输时延，ui(t)为t时刻业务数据的数据包大小，bj(t)为t时刻路由路径fj的带宽状态信息，σj(t)为t时刻路由路径fj的信噪比。
[0053]
在一种可能的实现方式中，所述业务路由路径自主规划模块，用于根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态，其中，所述下一状态的评估公式如下所示：
[0054]
s(t+1)＝{s1(t+1),...,si(t+1),...,si(t+1)}；
[0055][0056]
式中，ui(t+1)为t+1时刻业务数据的数据包大小，si(t+1)为t+1时刻下终端di的状态，s(t+1)为第一下一状态，为终端di的业务流时延需求，为终端di的业务流抖动需求，为终端di的业务流带宽需求，bj(t+1)为t+1时刻路由路径fj的带宽状态信息，σj(t+1)为t+1时刻路由路径fj的信噪比，d为终端集合，f为路由路径集合。
[0057]
本发明还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的基于数字孪生的业务自主规划方法。
[0058]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的基于数字孪生的业务自主规划方法。
[0059]
本发明实施例一种基于数字孪生的业务自主规划方法及装置，与现有技术相比，具有如下有益效果：
[0060]
通过获取并对实时业务数据流进行业务识别，得到第一业务种类；将第一业务种类和实时业务数据流输入到改进dqn模型中，以使改进dqn模型在数据孪生网络中根据第一业务种类对实时业务数据流进行模拟传输，输出路由路径自主规划策略；其中，改进dqn模
型的预构建过程，包括：基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集用于对dqn模型进行训练，得到改进dqn模型；与现有技术相比，本发明的技术方案能提高业务自主路由规划效率。
附图说明
[0061]
图1是本发明提供的一种基于数字孪生的业务自主规划方法的一种实施例的流程示意图；
[0062]
图2是本发明提供的一种基于数字孪生的业务自主规划装置的一种实施例的结构示意图；
[0063]
图3是本发明提供的一种实施例的考虑业务经验池的改进dqn模型原理图；
[0064]
图4是本发明提供的一种实施例的动作、奖励和状态的关系示意图；
[0065]
图5是本发明提供的一种实施例的基于数字孪生的业务自主规划方法原理示意图。
具体实施方式
[0066]
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0067]
实施例1，参见图1，图1是本发明提供的一种基于数字孪生的业务自主规划方法的一种实施例的流程示意图，如图1所示，该方法包括步骤101-步骤102，具体如下：
[0068]
步骤101：获取电力通信网络的实时业务数据流，对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类。
[0069]
一实施例中，获取电力通信网络的实时业务数据流，其中，所述实时业务数据流包括电力通信网络路由节点、带宽业务流传输速率、时延和丢包率等信息。
[0070]
一实施例中，获取所述实时业务数据流的第一业务特征数据，其中，所述第一业务特征数据包括数据包发送时间戳、数据包接收时间戳和数据包报文信息，所述数据包报文信息包括数据包到达间隔时间、业务流持续时间、数据包大小和数据包总数。
[0071]
一实施例中，根据所述第一业务特征数据与预构建的业务流特征库进行对比，根据对比结果，得到所述实时业务数据流对应的第一业务种类；其中，所述业务流特征库包含业务特征数据-业务种类对。
[0072]
具体的，基于不同业务种类的历史业务数据，获取所述历史业务数据对应的历史业务特征数据，将所述历史业务特征数据和所述业务种类建立映射关系，生成业务特征数据-业务种类对，整合所有业务种类对应的业务特征数据-业务种类对，得到业务特征数据-业务种类对集合，构建业务流特征库。
[0073]
具体的，根据所述第一业务特征数据与预构建的业务流特征库进行对比时，基于所述第一业务特征数据遍历所述业务特征数据-业务种类对集合中的所有业务特征数据，基于匹配算法，计算所述第一业务特征数据与所有业务特征数据中每个业务特征数据的匹
配值，根据匹配值最大值，选取对应的第一业务特征数据-业务种类对，并根据所述业务特征数据-业务种类对，确定业务种类，并将所述业务种类作为所述实时业务数据流对应的第一业务种类。
[0074]
一实施例中，由于不同业务种类的业务数据流在传输过程中对业务特征数据的网络参数要求都不尽相同，使得不同业务种类的业务数据流有其特有的业务流统计特征，因此通过历史传输索堡村的并通过于历史传输所保存的业务流特征库对比，利用统计特征与业务种类间的简单映射关系，即可得到业务种类识别结果。
[0075]
步骤102：将所述第一业务种类和所述实时业务数据输入到预构建的改进dqn模型中，以使所述改进dqn模型在数据孪生网络中根据所述第一业务种类对所述实时业务数据进行模拟传输，输出每个实时业务数据对应的路由路径自主规划策略。
[0076]
其中，所述改进dqn模型的预构建过程，包括：基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集，基于所述训练样本集对dqn模型进行训练，直至模型收敛，得到改进dqn模型；如图3所示，图3是考虑业务经验池的改进dqn模型原理图。
[0077]
一实施例中，对于数孪生网络，通过获取电力通信网络实体域中的业务状态和网络状态，根据所述业务状态和所述网络状态，构建电力通信网络的数据孪生网络，用于对网络实体域内路由拓扑、业务特征的模拟。
[0078]
具体的，对实时业务数据流中的业务特征数据在数据孪生网络中进行模拟，实现对业务的自主规划。
[0079]
一实施例中，构建电力光网络业务自主规划场景，其中，所述电力光网络业务自主规划场景包括终端集合和路由路径集合。
[0080]
具体的，定义电力通信网的电力光网络业务自主规划场景中包括i个终端，其中，终端分别承载不同业务种类的电力业务，通过电力通信网不同的路由路径传输业务数据保证电力系统信息采集、负荷控制、调峰调谷等业务的正常实现。
[0081]
具体的，设置电力通信网的电力光网络业务自主规划场景中i个终端通过选择j个路由路径传输其业务流数据，以支撑n类业务的实现。
[0082]
优选的，设置终端集合表示为d＝{d1,...,di,...,di}，设置路由路径集合表示为f＝{f1,...,fj,...,fj}。
[0083]
一实施例中，定义dqn模型的状态、动作、奖励、循环指示变量与循环次数最大值。
[0084]
具体的，对于状态，设置状态包括终端对应的业务数据流的业务状态数据，其中，所述业务状态数据包括与路由路径决策相关的终端业务数据流的数据包大小ui(t)，业务流时延需求业务流抖动需求业务流带宽需求路由路径信噪比σj(t)，路由路径带宽状态信息bj(t)。
[0085]
优选的，所述状态可以表示为：
[0086]
s(t)＝{s1(t),...,si(t),...,si(t)}，
[0087][0088]
具体的，对于动作，设置动作不同路由路径选择集合。
[0089]
优选的，所述动作可以表示为：
[0090][0091]
其中，x
i,j
(t)＝1表示终端di选择路由路径fj进行数据传输。
[0092]
具体的，对于奖励，设置奖励为所有终端的传输时延和的倒数。
[0093]
优选的，所述奖励可以表示为：
[0094][0095]
一实施例中，对于动作、奖励和状态的关系如图4所示，图4是动作、奖励和状态的关系示意图；负责各业务的通信设备执行业务自主规划系统所制定的动作x
i,j
(t)，在光网络中进行业务流传输，同时执行自主规划决策后，根据光网络自主决策场景的状态评估下一状态。
[0096]
一实施例中，将所述第一业务种类和所述实时业务数据流输入到预构建的改进dqn模型中前，还包括对循环指示变量与循环次数最大值进行初始化处理。
[0097]
一实施例中，用于将不同业务种类对应的业务数据存储在对应的业务经验池时，通过获取所述业务数据的第一状态，将所述第一状态输入所述dqn模型中，以使所述dqn模型基于所述第一状态输出所有动作对应的估计网络q值，基于ε-贪婪策略选择估计网络q值最大的第一动作，并根据所述第一动作选择对应的第一路由路径。
[0098]
具体的，基于ε-贪婪策略选择估计网络q值最大的第一动作，如下所示：
[0099][0100]
其中，λ∈{0,1}为生成随机数，ε∈{0,1}为预设值，若λ》ε，则选择令估计网络q值最大的动作执行，否则，随机选择动作执行，q(s(t),a(t),ωe(t))为估计网络q值，ωe(t)为估计网络参数。
[0101]
一实施例中，基于所述第一路由路径，对所述业务数据进行业务传输，并计算所述第一路由路径对应的第一奖励值。
[0102]
具体的，所述第一奖励值的计算公式如下所示：
[0103][0104][0105]
式中，r(t)为t时刻的奖励值，x
i,j
(t)为t时刻终端di选择的路由路径fj，τ
i,j
(t)为t时刻在终端di选择的路由路径fj上的传输时延，ui(t)为t时刻业务数据的数据包大小，bj(t)为t时刻路由路径fj的带宽状态信息，σj(t)为t时刻路由路径fj的信噪比。
[0106]
一实施例中，根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态。
[0107]
具体的，所述下一状态的评估公式如下所示：
[0108]
s(t+1)＝{s1(t+1),...,si(t+1),...,si(t+1)}；
[0109][0110]
式中，ui(t+1)为t+1时刻业务数据的数据包大小，si(t+1)为t+1时刻下终端di的状态，s(t+1)为第一下一状态，为终端di的业务流时延需求，为终端di的业务流抖动需求，为终端di的业务流带宽需求，bj(t+1)为t+1时刻路由路径fj的带宽状态信息，σj(t+1)为t+1时刻路由路径fj的信噪比，d为终端集合，f为路由路径集合。
[0111]
一实施例中，根据所述第一状态判断所述业务数据的第一业务种类，根据所述第一业务种类，将所述业务数据对应的第一状态、第一动作、第一奖励值和所述第一下一状态存储到对应的业务经验池中。
[0112]
具体的，对于将终端分别归类为n类业务终端，将每种业务数据流的第一状态、第一动作、第一动作下所得到的第一奖励值、第一下一状态，即分别存入各类业务的经验池
[0113]
优选的，每种业务数据流的第一状态、第一动作、第一动作下所得到的第一奖励值、第一下一状态分别为当前时刻状态、当前时刻动作、当前动作下所得到的奖励值、下一时刻状态。
[0114]
一实施例中，分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集，具体的，用于训练的训练样本集为χ
sam
，由n类业务的业务样本集构成，即n类业务对应的第一业务数据；具体如下所示：
[0115][0116]
一实施例中，基于所述训练样本集对dqn模型进行训练时，还基于样本集计算损失函数、更新估值网络参数；具体计算公式如下所示：
[0117][0118][0119]
其中，γ为折扣因子，为学习步长，二者取值可根据算法具体使用情况设置。η(t)为损失函数，q(s(t+1),a(t+1),ω
t
(t))为目标网络q值，q(s(t),a(t),ωe(t))为估计网络q值，ω
t
(t)和ωe(t)分别为目标网络参数和估计网络参数，每经过t0次迭代，更新目标网络参数为ω
t
(t)＝ωe(t)。
[0120]
本实施例中，在网络更新时，分别从各类业务的经验池抽取等量样本数据，构成业务n的业务样本集保证承载所有业务的终端经验数据得到充分训练，神经网络训练更全面，可以保证不同业务的传输性能；区别于传统神经网络更新方法，将属于不同类别的终端的数据存储在统一的经验池，并随机抽取形成样本集，由于电力通信网中承载不同业务的终端数量存在差异，若承载业务的终端数量较少，将导致神经网络对于该类业务终端经验数据训练不充分，导致自主规划系统难以针对不同业务终端制定差异化决策，满足不同业务的传输需求。
[0121]
一实施例中，所述改进dqn模型在数据孪生网络中根据所述第一业务种类对所述实时业务数据进行模拟传输，输出每个实时业务数据对应的路由路径自主规划策略后，还包括，将所述路由路径自主规划策略输入到网络实体域中，以使所述实时业务数据流在网
络实体域中根据路由路径自主规划策略进行传输；如图5所示，图5是基于数字孪生的业务自主规划方法原理示意图。
[0122]
综上，本发明提供的一种基于数字孪生的业务自主规划方法，通过构建数字孪生网络，通过在数字孪生网络中模拟业务调度策略，避免电力通信网络中大量业务调度试验而导致的时间开销，加快学习的收敛速度，有效提升电力通信网络自主规划能力，同时，提出考虑业务经验池的改进dqn模型，针对不同业务种类构造不同经验池抽取等量经验数据训练神经网络，避免了不同业务训练数据抽取不平均导致的算法拟合收敛速度慢，业务自主规划效率低的问题。
[0123]
实施例2，参见图2，图2是本发明提供的一种基于数字孪生的业务自主规划装置的一种实施例的结构示意图，如图2所示，该装置包括业务种类识别模块201和业务路由路径自主规划模块202，具体如下：
[0124]
其中，所述业务种类识别模块201，用于获取电力通信网络的实时业务数据流，对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类。
[0125]
所述业务路由路径自主规划模块202，用于将所述第一业务种类和所述实时业务数据流输入到预构建的改进dqn模型中，以使所述改进dqn模型在数据孪生网络中根据所述第一业务种类对所述实时业务数据流进行模拟传输，输出路由路径自主规划策略；其中，所述改进dqn模型的预构建过程，包括：基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集，基于所述训练样本集对dqn模型进行训练，直至模型收敛，得到改进dqn模型。
[0126]
一实施例中，本实施例提供的所述的一种基于数字孪生的业务自主规划装置，还包括：数据孪生网络构建模块；所述数据孪生网络构建模块，用于获取电力通信网络实体域中的业务状态和网络状态，根据所述业务状态和所述网络状态，构建电力通信网络的数据孪生网络。
[0127]
一实施例中，所述业务种类识别模块201，用于对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类，具体包括：获取所述实时业务数据流的第一业务特征数据，其中，所述第一业务特征数据包括数据包发送时间戳、数据包接收时间戳和数据包报文信息，所述数据包报文信息包括数据包到达间隔时间、业务流持续时间、数据包大小和数据包总数；根据所述第一业务特征数据与预构建的业务流特征库进行对比，根据对比结果，得到所述实时业务数据流对应的第一业务种类；其中，所述业务流特征库包含业务特征数据-业务种类对。
[0128]
一实施例中，所述业务路由路径自主规划模块202，用于将不同业务种类对应的业务数据存储在对应的业务经验池前，还包括：构建电力光网络业务自主规划场景，其中，所述电力光网络业务自主规划场景包括终端集合和路由路径集合；定义dqn模型的状态、动作、奖励、循环指示变量与循环次数最大值，其中，所述状态定义为终端对应的业务数据流的业务状态数据，所述动作定义为不同路由路径选择集合，所述奖励定义为所有终端的传输时延和的倒数。
[0129]
一实施例中，所述业务路由路径自主规划模块202，用于将不同业务种类对应的业务数据存储在对应的业务经验池，具体包括：获取所述业务数据的第一状态，将所述第一状
态输入所述dqn模型中，以使所述dqn模型基于所述第一状态输出所有动作对应的估计网络q值，基于ε-贪婪策略选择估计网络q值最大的第一动作，并根据所述第一动作选择对应的第一路由路径；基于所述第一路由路径，对所述业务数据进行业务传输，并计算所述第一路由路径对应的第一奖励值；并根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态；根据所述第一状态判断所述业务数据的第一业务种类，根据所述第一业务种类，将所述业务数据对应的第一状态、第一动作、第一奖励值和所述第一下一状态存储到对应的业务经验池中。
[0130]
一实施例中，所述业务路由路径自主规划模块202，用于计算所述第一路由路径对应的第一奖励值，其中，所述第一奖励值的计算公式如下所示：
[0131][0132][0133]
式中，r(t)为t时刻的奖励值，x
i,j
(t)为t时刻终端di选择的路由路径fj，τ
i,j
(t)为t时刻在终端di选择的路由路径fj上的传输时延，ui(t)为t时刻业务数据的数据包大小，bj(t)为t时刻路由路径fj的带宽状态信息，σj(t)为t时刻路由路径fj的信噪比。
[0134]
一实施例中，所述业务路由路径自主规划模块202，用于根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态，其中，所述下一状态的评估公式如下所示：
[0135]
s(t+1)＝{s1(t+1),...,si(t+1),...,si(t+1)}；
[0136][0137]
式中，ui(t+1)为t+1时刻业务数据的数据包大小，si(t+1)为t+1时刻下终端di的状态，s(t+1)为第一下一状态，为终端di的业务流时延需求，为终端di的业务流抖动需求，为终端di的业务流带宽需求，bj(t+1)为t+1时刻路由路径fj的带宽状态信息，σj(t+1)为t+1时刻路由路径fj的信噪比，d为终端集合，f为路由路径集合。
[0138]
所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不在赘述。
[0139]
需要说明的是，上述相机位姿估计装置的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0140]
在上述的相机位姿估计方法的实施例的基础上，本发明另一实施例提供了一种相机位姿估计终端设备，该相机位姿估计终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现本发明任意一实施例的相机位姿估计方法。
[0141]
示例性的，在这一实施例中所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述
计算机程序在所述相机位姿估计终端设备中的执行过程。
[0142]
所述相机位姿估计终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述相机位姿估计终端设备可包括，但不仅限于，处理器、存储器。
[0143]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述相机位姿估计终端设备的控制中心，利用各种接口和线路连接整个相机位姿估计终端设备的各个部分。
[0144]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述相机位姿估计终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0145]
在上述相机位姿估计方法的实施例的基础上，本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时，控制所述存储介质所在的设备执行本发明任意一实施例的相机位姿估计方法。
[0146]
在这一实施例中，上述存储介质为计算机可读存储介质，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0147]
综上，本发明提供的一种基于数字孪生的业务自主规划方法及装置，通过获取并对实时业务数据流进行业务识别，得到第一业务种类；将第一业务种类和实时业务数据流输入到改进dqn模型中，以使改进dqn模型在数据孪生网络中根据第一业务种类对实时业务数据流进行模拟传输，输出路由路径自主规划策略；其中，改进dqn模型的预构建过程，包括：基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集用于对dqn模型进行训练，得到改进dqn模型；与现有技术相比，本发明的技术方案能提高业务自主路由规划效率。
[0148]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换
也应视为本发明的保护范围。

技术特征：
1.一种基于数字孪生的业务自主规划方法，其特征在于，包括：获取电力通信网络的实时业务数据流，对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类；将所述第一业务种类和所述实时业务数据流输入到预构建的改进dqn模型中，以使所述改进dqn模型在数据孪生网络中根据所述第一业务种类对所述实时业务数据流进行模拟传输，输出路由路径自主规划策略；其中，所述改进dqn模型的预构建过程，包括：基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集，基于所述训练样本集对dqn模型进行训练，直至模型收敛，得到改进dqn模型。2.如权利要求1所述的一种基于数字孪生的业务自主规划方法，其特征在于，还包括：获取电力通信网络实体域中的业务状态和网络状态，根据所述业务状态和所述网络状态，构建电力通信网络的数据孪生网络。3.如权利要求1所述的一种基于数字孪生的业务自主规划方法，其特征在于，对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类，具体包括：获取所述实时业务数据流的第一业务特征数据，其中，所述第一业务特征数据包括数据包发送时间戳、数据包接收时间戳和数据包报文信息，所述数据包报文信息包括数据包到达间隔时间、业务流持续时间、数据包大小和数据包总数；根据所述第一业务特征数据与预构建的业务流特征库进行对比，根据对比结果，得到所述实时业务数据流对应的第一业务种类；其中，所述业务流特征库包含业务特征数据-业务种类对。4.如权利要求1所述的一种基于数字孪生的业务自主规划方法，其特征在于，将不同业务种类对应的业务数据存储在对应的业务经验池前，还包括：构建电力光网络业务自主规划场景，其中，所述电力光网络业务自主规划场景包括终端集合和路由路径集合；定义dqn模型的状态、动作、奖励、循环指示变量与循环次数最大值，其中，所述状态定义为终端对应的业务数据流的业务状态数据，所述动作定义为不同路由路径选择集合，所述奖励定义为所有终端的传输时延和的倒数。5.如权利要求4所述的一种基于数字孪生的业务自主规划方法，其特征在于，将不同业务种类对应的业务数据存储在对应的业务经验池，具体包括：获取所述业务数据的第一状态，将所述第一状态输入所述dqn模型中，以使所述dqn模型基于所述第一状态输出所有动作对应的估计网络q值，基于ε-贪婪策略选择估计网络q值最大的第一动作，并根据所述第一动作选择对应的第一路由路径；基于所述第一路由路径，对所述业务数据进行业务传输，并计算所述第一路由路径对应的第一奖励值；并根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态；根据所述第一状态判断所述业务数据的第一业务种类，根据所述第一业务种类，将所述业务数据对应的第一状态、第一动作、第一奖励值和所述第一下一状态存储到对应的业
务经验池中。6.如权利要求5所述的一种基于数字孪生的业务自主规划方法，其特征在于，计算所述第一路由路径对应的第一奖励值，其中，所述第一奖励值的计算公式如下所示：第一路由路径对应的第一奖励值，其中，所述第一奖励值的计算公式如下所示：式中，r(t)为t时刻的奖励值，x
i,j
(t)为t时刻终端d
i
选择的路由路径f
j
，τ
i,j
(t)为t时刻在终端d
i
选择的路由路径f
j
上的传输时延，u
i
(t)为t时刻业务数据的数据包大小，b
j
(t)为t时刻路由路径f
j
的带宽状态信息，σ
j
(t)为t时刻路由路径f
j
的信噪比。7.如权利要求5所述的一种基于数字孪生的业务自主规划方法，其特征在于，根据所述第一状态对下一状态进行评估，得到所述业务数据的第一下一状态，其中，所述下一状态的评估公式如下所示：s(t+1)＝{s1(t+1),...,s
i
(t+1),...,s
i
(t+1)}；式中，u
i
(t+1)为t+1时刻业务数据的数据包大小，s
i
(t+1)为t+1时刻下终端d
i
的状态，s(t+1)为第一下一状态，为终端d
i
的业务流时延需求，ζ
imax
为终端d
i
的业务流抖动需求，为终端d
i
的业务流带宽需求，b
j
(t+1)为t+1时刻路由路径f
j
的带宽状态信息，σ
j
(t+1)为t+1时刻路由路径f
j
的信噪比，d为终端集合，f为路由路径集合。8.一种基于数字孪生的业务自主规划装置，其特征在于，包括：业务种类识别模块和业务路由路径自主规划模块；其中，所述业务种类识别模块，用于获取电力通信网络的实时业务数据流，对所述实时业务数据流进行业务识别，得到所述实时业务数据流对应的第一业务种类；所述业务路由路径自主规划模块，用于将所述第一业务种类和所述实时业务数据流输入到预构建的改进dqn模型中，以使所述改进dqn模型在数据孪生网络中根据所述第一业务种类对所述实时业务数据流进行模拟传输，输出路由路径自主规划策略；其中，所述改进dqn模型的预构建过程，包括：基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集，基于所述训练样本集对dqn模型进行训练，直至模型收敛，得到改进dqn模型。9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的基于数字孪生的业务自主规划方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的基于数字孪生的业务自主规划方法。

技术总结
本发明公开了一种基于数字孪生的业务自主规划方法及装置，通过获取并对实时业务数据流进行业务识别，得到第一业务种类；将第一业务种类和实时业务数据流输入到改进DQN模型中，以使改进DQN模型在数据孪生网络中根据第一业务种类对实时业务数据流进行模拟传输，输出路由路径自主规划策略；其中，改进DQN模型的预构建过程，包括：基于多个业务种类，分别对每个业务种类构建业务经验池，并将不同业务种类对应的业务数据存储在对应的业务经验池中；分别从每个业务经验池中提取相同数量的第一业务数据，形成训练样本集用于对DQN模型进行训练，得到改进DQN模型；与现有技术相比，本发明的技术方案能提高业务自主路由规划效率。的技术方案能提高业务自主路由规划效率。的技术方案能提高业务自主路由规划效率。


技术研发人员：李溢杰 张正峰 李星南 李波 邓晓智
受保护的技术使用者：广东电网有限责任公司电力调度控制中心
技术研发日：2023.05.09
技术公布日：2023/8/6