动态网络服务重配置方法、装置及终端与流程

1.本发明涉及网络配置技术领域，尤其涉及一种动态网络服务重配置方法、装置及终端。


背景技术：

2.sdn是一种新兴的网络范式，其将控制平面的网络逻辑控制能力从数据平面上剥离，sdn解耦控制面和数据面，从而实现全局视图，并促进集中式网络管理。数据面可以根据需求部署从而提高用户服务质量。由于控制平面可以集中控制全网的物理资源，使其能够在满足不同业务需求的情况下，开展全网的流量控制、信道资源分配、路由管理和负载均衡。在大规模组网情况下，独立建设通信网的成本和资源利用率压力很大。只有sdn提供的技术性能和运行方式，才能保证电力通信网在满足自身业务的基础上，具备业务扩展的能力。
3.sdn背景下，网络功能虚拟化(network function virtualization,nfv)技术的引入，能够在通用端到端网络上构建互相隔离的专用逻辑网络，为用户提供多种服务定制，因此可以根据用户服务需求，在某个位置范围部署和实例化虚拟网络功能(virtual network function，vnf)，实现服务资源合理分配，减少闲置资源的浪费，且无需安装新的硬件设备。基于sdn和nfv的网络服务提供使传统上使用特定设备实现的网络功能，与实际物理设备分离，实现了服务资源合理分配，提高了服务的系统灵活性。但动态资源分配仍是网络服务仍需面临的主要挑战之一。
4.现有技术中提供的网络服务重配置方法，通过从保障重配置过程中用户的服务质量的角度出发，提出了make-before-break的机制来避免qos降级。然而，在这种机制中，在重新配置服务之前需要保留新路由并安装新的虚拟资源，因此会造成资源消耗增加。


技术实现要素：

5.本发明实施例提供了一种动态网络服务重配置方法、装置及终端，以解决现有技术中在网络服务重配置时，需要保留新路由导致资源消耗增加的问题。
6.第一方面，本发明实施例提供了一种动态网络服务重配置方法，包括：
7.检测是否触发网络服务重配置算法；
8.当触发网络服务重配置算法时，对所述网络服务进行优先级排序，确定重配置算法的执行顺序；
9.按照所述执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；
10.根据所述网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。
11.在一种可能的实现方式中，触发网络服务重配置算法的方法包括：
12.获取基础设施网络中各个物理节点的剩余计算资源和剩余链路带宽资源；
13.根据各个物理节点的剩余计算资源，检测剩余计算资源的资源利用率方差是否满足第一条件；
14.根据各个物理节点的剩余链路带宽资源，检测剩余链路带宽资源的资源利用率方差是否满足第二条件；
15.当剩余计算资源的资源利用率方差满足第一条件，或剩余链路带宽资源的资源利用率方差满足第二条件时，确定触发网络服务重配置算法。
16.在一种可能的实现方式中，当剩余计算资源的资源利用率方差满足第一条件，或剩余链路带宽资源的资源利用率方差满足第二条件时，确定触发网络服务重配置算法，包括：
17.当或时，确定触发网络服务重配置算法；
18.其中，ns表示物理节点的集合，表示第i个物理节点，表示第i个物理节点的剩余计算资源，γc表示计算资源的利用率的方差阈值；ls表示物理节点之间的物理链路集合，表示物理节点与物理节点之间的物理链路，表示物理链路的剩余链路带宽资源，γb表示带宽资源的利用率的方差阈值。
19.在一种可能的实现方式中，对所述网络服务进行优先级排序，确定重配置算法的执行顺序，包括：
20.计算每个网络服务的剩余生命周期占总生命周期的比值；
21.根据所有网络服务对应的比值进行优先级排序，确定重配置算法的执行顺序，其中，比值越小优先级越高。
22.在一种可能的实现方式中，按照所述执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案，包括：
23.若所述当前网络服务共享vnf，则确定基础设施网络中与所述当前网络服务对应的第一个vnf类型相同且共享vnf的物理节点，部署vnf；
24.若所述当前网络服务不共享vnf，则根据所述当前网络服务的服务类型确定负载最小的物理节点部署vnf；
25.若为所述当前网络服务部署了vnf，则将所述当前网络服务对应的状态输入dqn网络中，得到状态下所有动作的q(s
t
,a；θ)值，将得到的动作输入环境中，得到所述当前网络服务对应的新状态；根据所述当前网络服务的业务类型确定所述当前网络服务的目标函数对应的反馈值；
26.针对所述当前网络服务剩余的vnf，采用概率c随机选择动作，当采用概率c不能随机选择动作时，则根据最大的q(s
t
,a；θ)值确定动作，并将得到的动作输入环境中，得到新状态；计算所述剩余的vnf部署后的反馈值；
27.将上述步骤得到的四元组(s,a,r,s')作为一条记录保存；其中，s表示所有网络服
务对应的状态，a表示所有网络服务对应的动作，r表示所有vnf部署完成后的反馈值，s'表示所有网络服务对应的新状态；
28.检测当前迭代次数是否达到预设迭代次数，若当前迭代次数未达到预设迭代次数时，则对所述当前网络服务的剩余vnf进行动作选择并计算反馈值；若所述当前网络服务的所有vnf均进行动作选择并计算反馈值完毕后，则跳转到“检测未重配置的当前网络服务是否共享vnf”步骤对下一网络服务进行对应处理；
29.若当前迭代次数达到预设迭代次数时，在保存的所有记录中随机抽取预设数量的记录作为训练值，对神经网络进行训练，得到优化参数θ；
30.根据预设策略以及所述优化参数θ，更新q(s
t
,a；θ)值，并根据更新后的q值迭代计算，直到迭代次数达到最大迭代次数时结束。
31.在一种可能的实现方式中，所述根据所述当前网络服务的业务类型确定所述当前网络服务的目标函数对应的反馈值，包括：
32.若所述当前网络服务的业务类型为urllc类型的网络服务时，根据确定所述当前网络服务的目标函数对应的反馈值；
33.若所述当前网络服务的业务类型为mmtc类型的网络服务时，根据确定所述当前网络服务的目标函数对应的反馈值；
34.若所述当前网络服务的业务类型为embb类型的网络服务时，根据
确定所述当前网络服务的目标函数对应的反馈值；
35.其中，r
urllc
表示urllc类型的网络服务的反馈值，r
mmtc
表示mmtc类型的网络服务的反馈值，r
embb
表示embb类型的网络服务的反馈值，z表示将反馈值调整为正数的参数，α、β、γ、δ分别表示系数，d
tot
表示urllc类型的网络服务的当前物理节点与上一部署位置的传播延时，l
tot
表示mmtc类型的网络服务的节点负载均衡性，b
tot
表示embb类型的网络服务的链路带宽消耗量，c
tot
表示将vnf迁移到动作选择节点位置的总的系统开销，s表示网络服务器的集合，k表示边缘数据中心的数量，sk表示网络服务，表示物理链路是否属于网络服务sk的第j条虚拟链路的实际物理转发路径的值，表示链路时延，ns表示数据中心上的物理节点集合，表示物理节点的剩余计算资源，表示物理链路的链路带宽资源，表示物理链路的剩余链路带宽资源；α'、β'分别表示开销系数，表示vnf的网络服务器从物理节点迁移到的能耗开销，表示物理节点到的实际迁移路径，表示物理链路是否属于物理节点到的实际迁移路径的值，表示从物理节点迁移到的迁移开销，b(sk)表示物理链路上资源消耗量，表示从物理节点迁移到的跳数。
36.在一种可能的实现方式中，根据所述网络服务的新配置方案，确定当前配置到新配置的迁移序列，包括：
37.初始化open表和close表；
38.对未迁移的网络服务，设置网络服务的原配置为起点，新配置为目标点，并将起点加入到open表中；
39.将所述open表中代价函数最小的起点作为当前节点，检测当前节点是否存在目标点；
40.若当前节点不是目标点，将所述当前节点移入close表中；
41.若当前节点为目标点，按照a*算法思想从当前节点开始，通过每个节点的父指针依次回溯到起点，得到迁移序列并输出；
42.针对所述当前节点未探索的邻居节点，若所述邻居节点为已缓存的不可行配置节
点，则丢弃所述邻居节点；若所述邻居节点的配置为不可行的配置，则丢弃所述邻居节点；
43.将剩余邻居节点放入所述open表中，并计算所述剩余邻居节点的代价函数，跳转到“将所述open表中代价函数最小的点作为当前节点”步骤执行。
44.第二方面，本发明实施例提供了一种动态网络服务重配置装置，包括：
45.检测模块，用于检测是否触发网络服务重配置算法；
46.排序模块，用于当触发网络服务重配置算法时，对所述网络服务进行优先级排序，确定重配置算法的执行顺序；
47.重配置模块，用于按照所述执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；
48.迁移模块，用于根据所述网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。
49.第三方面，本发明实施例提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述的动态网络服务重配置方法的步骤。
50.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述的动态网络服务重配置方法的步骤。
51.本发明实施例提供一种动态网络服务重配置方法、装置及终端，通过当触发网络服务重配置算法时，对网络服务进行优先级排序，确定重配置算法的执行顺序；按照执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；根据网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置，从而可以通过软件计算的方式对网络服务进行重配置，不需要保留新路由而导致资源消耗增加，从而可以降低资源消耗，快速进行网络服务的重配置，且可以对不同的业务类型的服务进行重配置，满足不同服务的需求。
附图说明
52.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1是本发明实施例提供的动态网络服务重配置方法的实现流程图；
54.图2是本发明实施例提供的动态网络服务重配置装置的结构示意图；
55.图3是本发明实施例提供的终端的示意图。
具体实施方式
56.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
57.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
58.图1为本发明实施例提供的一种动态网络服务重配置方法的实现流程图，详述如下：
59.步骤101，检测是否触发网络服务重配置算法。
60.在一实施例中，动态网络服务重配置方法应用在电网基础设施网络中，基础设施系统架构为：基础设施网络被划分为k个边缘数据中心和m个核心数据中心，每个数据中心可使用赋权的无向图表示，1≤k≤k+m。其中ns表示物理节点集合，其中的一个物理节点i用表示，ls表示物理节点之间的物理链路集合，其中物理节点和之间的链路用表示。使用表示边缘数据中心上的物理节点集合，表示核心数据中心上的物理节点集合。对于每个物理节点i，假设可以使用的计算资源为剩余计算资源为每条链路的带宽资源为剩余链路带宽资源为链路时延为
61.对于查找新配置方案，首先需要设置触发重配置机制的方式。本实施例中主要考虑的问题模型的性能参数包括节点的计算资源和链路的带宽资源，以多阈值触发方式确定需要进行重配置的时间。
62.在一实施例中，获取基础设施网络中各个物理节点的剩余计算资源和剩余链路带宽资源；
63.根据各个物理节点的剩余计算资源，检测剩余计算资源的资源利用率方差是否满足第一条件；
64.根据各个物理节点的剩余链路带宽资源，检测剩余链路带宽资源的资源利用率方差是否满足第二条件；
65.当剩余计算资源的资源利用率方差满足第一条件，或剩余链路带宽资源的资源利用率方差满足第二条件时，确定触发网络服务重配置算法。
66.在一实施例中，当剩余计算资源的资源利用率方差满足第一条件，或剩余链路带宽资源的资源利用率方差满足第二条件时，确定触发网络服务重配置算法，包括：
67.当或时，确定触发网络服务重配置算法，使得重配置后满足计算资源和带宽资源的利用率的方程的阈值要求，并尽可能降低重配置的迁移系统开销。
68.上述公式中，ns表示物理节点的集合，表示第i个物理节点，表示第i个物理节点的剩余计算资源，γc表示计算资源的利用率的方差阈值；ls表示物理节点之间的物
理链路集合，表示物理节点与物理节点之间的物理链路，表示物理链路的剩余链路带宽资源，γb表示带宽资源的利用率的方差阈值。
69.需要说明的是，当上述剩余计算资源的资源利用率方差未满足第一条件，且剩余链路带宽资源的资源利用率方差未满足第二条件时，确定不触发网络服务重配置算法。
70.步骤102，当触发网络服务重配置算法时，对网络服务进行优先级排序，确定重配置算法的执行顺序。
71.在一实施例中，对网络服务进行优先级排序，确定重配置算法的执行顺序，可以包括：
72.计算每个网络服务的剩余生命周期占总生命周期的比值；
73.根据所有网络服务对应的比值进行优先级排序，确定重配置算法的执行顺序，其中，比值越小优先级越高。
74.这里可以按照优先级从高到低的顺序进行排序。进行优先级排序的目的是首先将剩余生命周期少的网络服务进行重配置，实现服务资源合理分配，提高服务的系统灵活性。
75.步骤103，按照执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案。
76.在进行网络服务器重配置之前，首先需要明确一些概念。
77.网络服务是同一基础设施网络上的逻辑隔离网络，因此将每个定制的网络服务sk表示为包含网络服务所需要的网络功能的集合其中m表示所需功能数。每个网络服务都具有由t(sk)表示的端到端时延阈值。
78.重配置结果由和表示。如果sk的第m个vnf映射在物理节点上，取值为1，否则为0。如果物理链路属于服务sk的第j条虚拟链路的实际物理转发路径，取值为1，否则为0，其中服务sk的第j条虚拟链路的实际物理转发路径存储在中。如果物理链路属于物理节点到的实际迁移路径，取值为1，否则为0，其中物理节点到的实际迁移路径存储在上。
79.网络服务的安全隔离可分为服务间隔离和服务内隔离。根据服务承载的应用对安全性的要求，如服务间资源竞争程度、服务间信息保护需求等，服务间隔离又可细分为物理隔离和逻辑隔离。物理隔离是为网络服务分配独立的物理资源。逻辑隔离使用基于nfv的资源隔离技术实现，使用γ(sk)表示服务sk是否有服务间物理隔离要求，若sk需要服务间物理隔离则γ(sk)取值为1。不同的网络功能需要根据自身的安全级别要求和信任关系，提供网络功能之间的相互隔离。再加上考虑灵活性和经济成本，可以利用部署服务的物理节点总数和服务所需网络功能总数的比值表示服务的片内隔离等级。因此使用k
rank
表示服务内隔离等级，数值越高，表明服务的片内隔离要求更高。
80.本实施例中定义的重配置的成本开销包括能耗开销和迁移开销两部分。服务重配置的能耗开销随着数据量传输的增加而增大。因此将服务重配置的能耗开销等价为迁移运行状态和数据所占用物理链路的时间。因此vnf从物理节点迁移到的能耗开销定义
为
[0081][0082]
迁移开销与原部署节点和目标点之间的跳数有关，因此定义服务迁移对底层节点和产生的迁移开销为
[0083][0084]
综合能耗开销和迁移开销，将迁移到的总的系统开销为
[0085][0086]
所以，网络服务整体迁移的系统开销为
[0087][0088]
本实施例中，旨在综合优化三种典型服务的不同要求，同时降低重配置过程中迁移带来的成本开销。不同服务具有上述优化需求，但侧重的目标不同。urllc类型的服务侧重于最小化服务时延，mmtc类型的服务侧重于实现物理节点的负载均衡，embb类型的服务侧重于最小化链路带宽消耗。
[0089]
因此对于urllc类型的服务的目标函数由服务时延和重配置的成本开销组成：
[0090]
minα*d
tot
+δ*c
tot
；
[0091][0092]
对于mmtc类型的服务的目标函数由节点负载均衡和重配置的成本开销组成：
[0093]
minβ*l
tot
+δ*c
tot
；
[0094][0095]
对于embb类型的服务的目标函数由链路带宽消耗和重配置的成本开销组成：
[0096]
minγ*b
tot
+δ*c
tot
；
[0097][0098]
其中，α、β、γ、δ分别表示系数，包括用于调整优化目标比例的加权因子和数据的规范化。
[0099]
另外，针对本方案的重配置问题，定义相关概念：
[0100]
状态集s：服务重配置需要考虑物理网络的资源使用情况，因此我们计算物理网络的物理节点和链路的剩余资源占比。并且，考虑定制化服务，部署方案还需要兼顾安全性这一重要因素。此外，重配置还需要考虑原配置的位置，因此服务编排的状态集可表示为(m+n+3)维特征：
[0101][0102]
其中前m个元素{w1,w2,
…
wm}表示物理节点的计算资源使用情况，接下来n个元素{v1,
…
vn}表示链路的带宽使用情况，倒数第三个元素表示片间隔离等级，倒数第二个元素k
rank
表示片内隔离等级，最后一个元素表示原配置的部署位置。
[0103]
动作集a：对于每一个状态，为需要部署的vnf以及vnf部署位置和上一个位置之间的路径，根据q值函数选择某个物理节点和物理路径部署该vnf和部署物理链路。因此动作集可表示为：a＝(n,p)，其中n表示选择的物理节点，p表示选择的物理路径。
[0104]
反馈函数：在不同状态下执行不同的动作a会获得环境的不同反馈，但选择的动作可能会违反实际问题中的约束条件。因此当满足约束条件时，利用三种服务的优化目标函数定义反馈函数分别为如下所示；当选择的动作违反约束条件时，设置反馈值为-1。
[0105]rurllc
＝z-(α*d+δ*c)；
[0106][0107]rembb
＝z-(γ*b+δ*c)；
[0108]
其中，z用来将反馈值调整为正数；表示某一时刻的系统负载均衡性，即所有物理节点的计算资源使用情况的方差；d为选取节点与上一个部署位置的传播时延；b表示物理链路资源消耗量；c表示将vnf迁移到动作选择节点位置的总的系统开销。
[0109]
定义完相关概念后，可以设计出基于强化学习中dqn算法的网络服务重配置方法流程。按照执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案，可以包括：
[0110]
在执行顺序下，检测未重配置的当前网络服务是否共享vnf；
[0111]
若所述当前网络服务共享vnf，则确定基础设施网络中与所述当前网络服务对应的第一个vnf类型相同且共享vnf的物理节点，部署vnf；
[0112]
若所述当前网络服务不共享vnf，则根据所述当前网络服务的服务类型确定负载最小的物理节点部署vnf；
[0113]
若为所述当前网络服务部署了vnf，则将所述当前网络服务对应的状态输入dqn网络中，得到状态下所有动作的q(s
t
,a；θ)值，将得到的动作输入环境中，得到所述当前网络服务对应的新状态；根据所述当前网络服务的业务类型确定所述当前网络服务的目标函数对应的反馈值；
[0114]
针对所述当前网络服务剩余的vnf，采用概率c随机选择动作，当采用概率c不能随机选择动作时，则根据最大的q(s
t
,a；θ)值确定动作，并将得到的动作输入环境中，得到新状态；计算所述剩余的vnf部署后的反馈值；
[0115]
将上述步骤得到的四元组(s,a,r,s')作为一条记录保存；其中，s表示所有网络服务对应的状态，a表示所有网络服务对应的动作，r表示所有vnf部署完成后的反馈值，s'表示所有网络服务对应的新状态；
[0116]
检测当前迭代次数是否达到预设迭代次数，若当前迭代次数未达到预设迭代次数时，则对所述当前网络服务的剩余vnf进行动作选择并计算反馈值；若所述当前网络服务的所有vnf均进行动作选择并计算反馈值完毕后，则跳转到“检测未重配置的当前网络服务是
否共享vnf”步骤对下一网络服务进行对应处理；也就是说，对一个网络服务的vnf依次选择动作并计算反馈值，然后再对下一个网络服务进行同样的处理，直到所有的网络服务处理完成。
[0117]
若当前迭代次数达到预设迭代次数时，在保存的所有记录中随机抽取预设数量的记录作为训练值，对神经网络进行训练，得到优化参数θ；
[0118]
根据预设策略以及所述优化参数θ，更新q(s
t
,a；θ)值，并根据更新后的q值迭代计算，直到迭代次数达到最大迭代次数时结束。
[0119]
上述动作完成后，对于每个网络服务，为其上的每个虚拟网络功能，利用局部迁移算法计算其到所有满足资源约束的底层节点的系统开销选出一个使得服务差异化目标和系统开销最优的虚拟网络功能迁移到动作节点因此通过最优服务的每个虚拟网络功能的差异化目标和系统开销来尽可能实现迁移过程的差异化目标和降低总开销c
tot
。
[0120]
动作完成后，根据此时底层物理网络资源的状况、qos和服务类型计算vnf部署后的反馈值r，在一实施例中，根据所述当前网络服务的业务类型确定所述当前网络服务的目标函数对应的反馈值，可以包括：
[0121]
若所述当前网络服务的业务类型为urllc类型的网络服务时，根据确定所述当前网络服务的目标函数对应的反馈值；
[0122]
若所述当前网络服务的业务类型为mmtc类型的网络服务时，根据
确定所述当前网络服务的目标函数对应的反馈值；
[0123]
若所述当前网络服务的业务类型为embb类型的网络服务时，根据确定所述当前网络服务的目标函数对应的反馈值；
[0124]
其中，r
urllc
表示urllc类型的网络服务的反馈值，r
mmtc
表示mmtc类型的网络服务的反馈值，r
embb
表示embb类型的网络服务的反馈值，z表示将反馈值调整为正数的参数，α、β、γ、δ分别表示系数，d
tot
表示urllc类型的网络服务的当前物理节点与上一部署位置的传播延时，l
tot
表示mmtc类型的网络服务的节点负载均衡性，b
tot
表示embb类型的网络服务的链路带宽消耗量，c
tot
表示将vnf迁移到动作选择节点位置的总的系统开销，s表示网络服务器的集合，k表示边缘数据中心的数量，sk表示网络服务，表示物理链路是否属于网络服务sk的第j条虚拟链路的实际物理转发路径的值，表示链路时延，ns表示数据中心上的物理节点集合，表示物理节点的剩余计算资源，表示物理链路的链路带宽资源，表示物理链路的剩余链路带宽资源；α'、β'分别表示开销系数，表示vnf的网络服务器从物理节点迁移到的能耗开销，表示物理节点到的实际迁移路径，表示物理链路是否属于物理节点到的实际迁移路径的值，表示从物理节点迁移到的迁移开销，b(sk)表示
物理链路上资源消耗量，表示从物理节点迁移到的跳数。
[0125]
步骤104，根据网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。
[0126]
对于查找当前配置到新配置的迁移序列，本实施例拟采用a*算法。对a*搜索进行优化以达到减少搜索空间和提高算法完成步骤的速度。优化策略如下：
[0127]
1)减少探索空间：open表一旦发现不可行配置节点就直接丢弃。在本问题中，不可行配置是无用的，违反了约束条件，因此不作为迁移序列的节点。open表一旦发现不可行配置就直接丢弃，可以减少内存使用和提高算法效率。
[0128]
2)缩小邻居检查范围：探索当前节点的邻居时，检查迁移的vnf和主机相关的约束即可。节点是否是可行配置，需要检查此配置所有的vnf和主机的相关约束。而探索邻居时，基于当前节点是可行配置，只需检查迁移的vnf和主机相关的约束，可大大降低检查时间。
[0129]
3)不可行配置节点缓存：对检测到的不可行配置节点缓存。探索迁移图的迁移序列可能会多次访问某个节点，每次访问时都需要检查是否是可行配置，如果重复检查节点可能会浪费时间。因此，我们可以缓存不可行配置，避免重复检查。
[0130]
基于上述优化策略，在一实施例中，根据网络服务的新配置方案，确定当前配置到新配置的迁移序列，包括：
[0131]
初始化open表和close表；
[0132]
对未迁移的网络服务，设置网络服务的原配置为起点，新配置为目标点，并将起点加入到open表中；
[0133]
将open表中代价函数最小的起点作为当前节点，检测当前节点是否为目标点；
[0134]
若当前节点不是目标点，将当前节点移入close表中；
[0135]
若当前节点为目标点，按照a*算法思想从当前节点开始，通过每个节点的父指针依次回溯到起点，得到迁移序列并输出；需要说明的是，这里迁移序列中保存有所有vnf的起点(原配置)到目标点(新配置)之间的路径；
[0136]
针对当前节点未探索的邻居节点，若邻居节点为已缓存的不可行配置节点，则丢弃邻居节点；若邻居节点的配置为不可行的配置，则丢弃邻居节点；
[0137]
将剩余邻居节点放入open表中，并计算剩余邻居节点的代价函数，跳转到“将open表中代价函数最小的点作为当前节点”步骤执行，直到输出所有网络服务对应的多个迁移序列。
[0138]
根据上述的查找当前配置到新配置的迁移序列的启发式算法，执行完最后的迁移后，重新配置了网络资源，使网络在资源使用方面回到最佳运行状态。
[0139]
本发明实施例通过当触发网络服务重配置算法时，对网络服务进行优先级排序，确定重配置算法的执行顺序；按照执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；根据网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。基于上述网络服务重配置方法，能够在线地根据系统状态、执行映射后环境所给的反馈值进行学习，且考虑了网络服务对时延、带宽、节点负载均衡的差异化需求，以及重配置的成本开销，提出与业务需求匹配的专属重配置优化目标；针对重配置问题，采用启发式算法，加快了搜索速度，使得可以快速查找到当前配置到新配置的迁移序列。
[0140]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0141]
以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
[0142]
图2示出了本发明实施例提供的动态网络服务重配置装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
[0143]
如图2所示，动态网络服务重配置装置2包括：检测模块21、排序模块22、重配置模块23和迁移模块24。
[0144]
检测模块21，用于检测是否触发网络服务重配置算法；
[0145]
排序模块22，用于当触发网络服务重配置算法时，对网络服务进行优先级排序，确定重配置算法的执行顺序；
[0146]
重配置模块23，用于按照执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；
[0147]
迁移模块24，用于根据网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。
[0148]
在一种可能的实现方式中，检测模块21触发网络服务重配置算法时，可以用于：
[0149]
获取基础设施网络中各个物理节点的剩余计算资源和剩余链路带宽资源；
[0150]
根据各个物理节点的剩余计算资源，检测剩余计算资源的资源利用率方差是否满足第一条件；
[0151]
根据各个物理节点的剩余链路带宽资源，检测剩余链路带宽资源的资源利用率方差是否满足第二条件；
[0152]
当剩余计算资源的资源利用率方差满足第一条件，或剩余链路带宽资源的资源利用率方差满足第二条件时，确定触发网络服务重配置算法。
[0153]
在一种可能的实现方式中，当剩余计算资源的资源利用率方差满足第一条件，或剩余链路带宽资源的资源利用率方差满足第二条件时，检测模块21确定触发网络服务重配置算法时，用于：
[0154]
当或时，确定触发网络服务重配置算法；
[0155]
其中，ns表示物理节点的集合，表示第i个物理节点，表示第i个物理节点的剩余计算资源，γc表示计算资源的利用率的方差阈值；ls表示物理节点之间的物理链路集合，表示物理节点与物理节点之间的物理链路，表示物理链路的剩余链路带宽资源，γb表示带宽资源的利用率的方差阈值。
[0156]
在一种可能的实现方式中，排序模块22对网络服务进行优先级排序，确定重配置算法的执行顺序时，用于：
[0157]
计算每个网络服务的剩余生命周期占总生命周期的比值；
[0158]
根据所有网络服务对应的比值进行优先级排序，确定重配置算法的执行顺序，其中，比值越小优先级越高。
[0159]
在一种可能的实现方式中，重配置模块23按照执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案时，用于：
[0160]
在所述执行顺序下，检测未重配置的当前网络服务是否共享vnf；
[0161]
若所述当前网络服务共享vnf，则确定基础设施网络中与所述当前网络服务对应的第一个vnf类型相同且共享vnf的物理节点，部署vnf；
[0162]
若所述当前网络服务不共享vnf，则根据所述当前网络服务的服务类型确定负载最小的物理节点部署vnf；
[0163]
若为所述当前网络服务部署了vnf，则将所述当前网络服务对应的状态输入dqn网络中，得到状态下所有动作的q(s
t
,a；θ)值，将得到的动作输入环境中，得到所述当前网络服务对应的新状态；根据所述当前网络服务的业务类型确定所述当前网络服务的目标函数对应的反馈值；
[0164]
针对所述当前网络服务剩余的vnf，采用概率c随机选择动作，当采用概率c不能随机选择动作时，则根据最大的q(s
t
,a；θ)值确定动作，并将得到的动作输入环境中，得到新状态；计算所述剩余的vnf部署后的反馈值；
[0165]
将上述步骤得到的四元组(s,a,r,s')作为一条记录保存；其中，s表示所有网络服务对应的状态，a表示所有网络服务对应的动作，r表示所有vnf部署完成后的反馈值，s'表示所有网络服务对应的新状态；
[0166]
检测当前迭代次数是否达到预设迭代次数，若当前迭代次数未达到预设迭代次数时，则对所述当前网络服务的剩余vnf进行动作选择并计算反馈值；若所述当前网络服务的所有vnf均进行动作选择并计算反馈值完毕后，跳转到“检测未重配置的当前网络服务是否共享vnf”步骤对下一网络服务进行对应处理；
[0167]
若当前迭代次数达到预设迭代次数时，在保存的所有记录中随机抽取预设数量的记录作为训练值，对神经网络进行训练，得到优化参数θ；
[0168]
根据预设策略以及所述优化参数θ，更新q(s
t
,a；θ)值，并根据更新后的q值迭代计算，直到迭代次数达到最大迭代次数时结束。
[0169]
在一种可能的实现方式中，重配置模块23根据所述当前网络服务的业务类型确定所述当前网络服务的目标函数对应的反馈值时，用于：
[0170]
若所述当前网络服务的业务类型为urllc类型的网络服务时，根据
确定所述当前网络服务的目标函数对应的反馈值；
[0171]
若所述当前网络服务的业务类型为mmtc类型的网络服务时，根据确定所述当前网络服务的目标函数对应的反馈值；
[0172]
若所述当前网络服务的业务类型为embb类型的网络服务时，根据确定所述当前网络服务的目标函数对应的反馈值；
[0173]
其中，r
urllc
表示urllc类型的网络服务的反馈值，r
mmtc
表示mmtc类型的网络服务的反馈值，r
embb
表示embb类型的网络服务的反馈值，z表示将反馈值调整为正数的参数，α、β、
γ、δ分别表示系数，d
tot
表示urllc类型的网络服务的当前物理节点与上一部署位置的传播延时，l
tot
表示mmtc类型的网络服务的节点负载均衡性，b
tot
表示embb类型的网络服务的链路带宽消耗量，c
tot
表示将vnf迁移到动作选择节点位置的总的系统开销，s表示网络服务器的集合，k表示边缘数据中心的数量，sk表示网络服务，表示物理链路是否属于网络服务sk的第j条虚拟链路的实际物理转发路径的值，表示链路时延，ns表示数据中心上的物理节点集合，表示物理节点的剩余计算资源，表示物理链路的链路带宽资源，表示物理链路的剩余链路带宽资源；α'、β'分别表示开销系数，表示vnf的网络服务器从物理节点迁移到的能耗开销，表示物理节点到的实际迁移路径，表示物理链路是否属于物理节点到的实际迁移路径的值，表示从物理节点迁移到的迁移开销，b(sk)表示物理链路上资源消耗量，表示从物理节点迁移到的跳数。
[0174]
在一种可能的实现方式中，迁移模块24根据网络服务的新配置方案，确定当前配置到新配置的迁移序列时，用于：
[0175]
初始化open表和close表；
[0176]
对未迁移的网络服务，设置网络服务的原配置为起点，新配置为目标点，并将起点加入到open表中；
[0177]
将所述open表中代价函数最小的起点作为当前节点，检测当前节点是否存在目标点；
[0178]
若当前节点不是目标点，将所述当前节点移入close表中；
[0179]
若当前节点为目标点，按照a*算法思想从当前节点开始，通过每个节点的父指针依次回溯到起点，得到迁移序列并输出；
[0180]
针对所述当前节点未探索的邻居节点，若所述邻居节点为已缓存的不可行配置节点，则丢弃所述邻居节点；若所述邻居节点的配置为不可行的配置，则丢弃所述邻居节点；
[0181]
将剩余邻居节点放入所述open表中，并计算所述剩余邻居节点的代价函数，跳转到“将所述open表中代价函数最小的点作为当前节点”步骤执行。
[0182]
上述动态网络服务重配置装置，通过当触发网络服务重配置算法时，排序模块对网络服务进行优先级排序，确定重配置算法的执行顺序；重配置模块按照执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；迁移模块根据网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。基于上述网络服务重配置方法，能够在线地根据系统状态、执行映射后环境所给的反馈值进行学习，且考虑了网络服务对时延、带宽、节点负载均衡的差异化需求，以及重配置的成本开销，提出与业务需求匹配的专属重配置优化目标；针对重配置问题，采用启发式算法，加快了搜索速度，使得可以快速查找到当前配置到新配置的迁移序列。
[0183]
图3是本发明实施例提供的终端的示意图。如图3所示，该实施例的终端3包括：处
理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述各个动态网络服务重配置方法实施例中的步骤，例如图1所示的步骤101至步骤104。或者，所述处理器30执行所述计算机程序32时实现上述各装置实施例中各模块/单元的功能，例如图2所示模块/单元21至24的功能。
[0184]
示例性的，所述计算机程序32可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器30执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述终端3中的执行过程。例如，所述计算机程序32可以被分割成图2所示的模块/单元21至24。
[0185]
所述终端3可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是终端3的示例，并不构成对终端3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
[0186]
所称处理器30可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0187]
所述存储器31可以是所述终端3的内部存储单元，例如终端3的硬盘或内存。所述存储器31也可以是所述终端3的外部存储设备，例如所述终端3上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器31还可以既包括所述终端3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
[0188]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0189]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0190]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本发明的范围。
[0191]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0192]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0193]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0194]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个动态网络服务重配置方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。
[0195]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

技术特征：
1.一种动态网络服务重配置方法，其特征在于，包括：检测是否触发网络服务重配置算法；当触发网络服务重配置算法时，对所述网络服务进行优先级排序，确定重配置算法的执行顺序；按照所述执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；根据所述网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。2.根据权利要求1所述的动态网络服务重配置方法，其特征在于，触发网络服务重配置算法的方法包括：获取基础设施网络中各个物理节点的剩余计算资源和剩余链路带宽资源；根据各个物理节点的剩余计算资源，检测剩余计算资源的资源利用率方差是否满足第一条件；根据各个物理节点的剩余链路带宽资源，检测剩余链路带宽资源的资源利用率方差是否满足第二条件；当剩余计算资源的资源利用率方差满足第一条件，或剩余链路带宽资源的资源利用率方差满足第二条件时，确定触发网络服务重配置算法。3.根据权利要求2所述的动态网络服务重配置方法，其特征在于，当剩余计算资源的资源利用率方差满足第一条件，或剩余链路带宽资源的资源利用率方差满足第二条件时，确定触发网络服务重配置算法，包括：当或时，确定触发网络服务重配置算法；其中，n
s
表示物理节点的集合，表示第i个物理节点，表示第i个物理节点的剩余计算资源，γ
c
表示计算资源的利用率的方差阈值；l
s
表示物理节点之间的物理链路集合，表示物理节点与物理节点之间的物理链路，表示物理链路的剩余链路带宽资源，γ
b
表示带宽资源的利用率的方差阈值。4.根据权利要求1所述的动态网络服务重配置方法，其特征在于，对所述网络服务进行优先级排序，确定重配置算法的执行顺序，包括：计算每个网络服务的剩余生命周期占总生命周期的比值；根据所有网络服务对应的比值进行优先级排序，确定重配置算法的执行顺序，其中，比值越小优先级越高。5.根据权利要求1-4中任一项所述的动态网络服务重配置方法，其特征在于，按照所述执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案，包括：
在所述执行顺序下，检测未重配置的当前网络服务是否共享vnf；若所述当前网络服务共享vnf，则确定基础设施网络中与所述当前网络服务对应的第一个vnf类型相同且共享vnf的物理节点，部署vnf；若所述当前网络服务不共享vnf，则根据所述当前网络服务的服务类型确定负载最小的物理节点部署vnf；若为所述当前网络服务部署了vnf，则将所述当前网络服务对应的状态输入dqn网络中，得到状态下所有动作的q(s
t
,a；θ)值，将得到的动作输入环境中，得到所述当前网络服务对应的新状态；根据所述当前网络服务的业务类型确定所述当前网络服务的目标函数对应的反馈值；针对所述当前网络服务剩余的各个vnf，采用概率c随机选择动作，当采用概率c不能随机选择动作时，则根据最大的q(s
t
,a；θ)值确定动作，并将得到的动作输入环境中，得到新状态；并计算该vnf部署后的反馈值；将上述步骤得到的四元组(s,a,r,s')作为一条记录保存；其中，s表示所有网络服务对应的状态，a表示所有网络服务对应的动作，r表示所有vnf部署完成后的反馈值，s'表示所有网络服务对应的新状态；检测当前迭代次数是否达到预设迭代次数，若当前迭代次数未达到预设迭代次数时，则对所述当前网络服务的剩余vnf进行动作选择并计算反馈值；若所述当前网络服务的所有vnf均进行动作选择并计算反馈值完毕后，则跳转到“检测未重配置的当前网络服务是否共享vnf”步骤对下一网络服务进行对应处理；若当前迭代次数达到预设迭代次数时，在保存的所有记录中随机抽取预设数量的记录作为训练值，对神经网络进行训练，得到优化参数θ；根据预设策略以及所述优化参数θ，更新q(s
t
,a；θ)值，并根据更新后的q值迭代计算，直到迭代次数达到最大迭代次数时结束。6.根据权利要求5所述的动态网络服务重配置方法，其特征在于，所述根据所述当前网络服务的业务类型确定所述当前网络服务的目标函数对应的反馈值，包括：若所述当前网络服务的业务类型为urllc类型的网络服务时，根据确定所述当前网络服务的目标函数对应的反馈值；若所述当前网络服务的业务类型为mmtc类型的网络服务时，根据
确定所述当前网络服务的目标函数对应的反馈值；若所述当前网络服务的业务类型为embb类型的网络服务时，根据确定所述当前网络服务的目标函数对应的反馈值；其中，r
urllc
表示urllc类型的网络服务的反馈值，r
mmtc
表示mmtc类型的网络服务的反馈值，r
embb
表示embb类型的网络服务的反馈值，z表示将反馈值调整为正数的参数，α、β、γ、δ分别表示系数，d
tot
表示urllc类型的网络服务的当前物理节点与上一部署位置的传播延时，l
tot
表示mmtc类型的网络服务的节点负载均衡性，b
tot
表示embb类型的网络服务的链路带宽消耗量，c
tot
表示将vnf迁移到动作选择节点位置的总的系统开销，s表示网络服务器的集合，k表示边缘数据中心的数量，s
k
表示网络服务，表示物理链路是否属于网络服务s
k
的第j条虚拟链路的实际物理转发路径的值，表示链路时延，n
s
表示数据中心上的物理节点集合，表示物理节点的剩余计算资源，表示物理链路的链路带宽资源，表示物理链路的剩余链路带宽资源；α'、β'分别表示开销系数，表示vnf的网络服务器从物理节点迁移到的能耗开销，表示物理节点到的实际迁移路径，表示物理链路是否属于物理节点到的实际迁移路径的值，表示从物理节点迁移到的迁移开销，b(s
k
)表示物
理链路上资源消耗量，表示从物理节点迁移到的跳数。7.根据权利要求1所述的动态网络服务重配置方法，其特征在于，根据所述网络服务的新配置方案，确定当前配置到新配置的迁移序列，包括：初始化open表和close表；对未迁移的网络服务，设置网络服务的原配置为起点，新配置为目标点，并将起点加入到open表中；将所述open表中代价函数最小的起点作为当前节点，检测当前节点是否存在目标点；若当前节点不是目标点，将所述当前节点移入close表中；若当前节点为目标点，按照a*算法思想从当前节点开始，通过每个节点的父指针依次回溯到起点，得到迁移序列并输出；针对所述当前节点未探索的邻居节点，若所述邻居节点为已缓存的不可行配置节点，则丢弃所述邻居节点；若所述邻居节点的配置为不可行的配置，则丢弃所述邻居节点；将剩余邻居节点放入所述open表中，并计算所述剩余邻居节点的代价函数，跳转到“将所述open表中代价函数最小的点作为当前节点”步骤执行。8.一种动态网络服务重配置装置，其特征在于，包括：检测模块，用于检测是否触发网络服务重配置算法；排序模块，用于当触发网络服务重配置算法时，对所述网络服务进行优先级排序，确定重配置算法的执行顺序；重配置模块，用于按照所述执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；迁移模块，用于根据所述网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。9.一种终端，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述的动态网络服务重配置方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述的动态网络服务重配置方法的步骤。

技术总结
本发明提供一种动态网络服务重配置方法、装置及终端。该方法包括：检测是否触发网络服务重配置算法；当触发网络服务重配置算法时，对网络服务进行优先级排序，确定重配置算法的执行顺序；按照执行顺序，建立区分业务类型的网络服务重配置问题模型，并基于深度强化学习的服务重配置算法确定每个网络服务的新配置方案；根据网络服务的新配置方案，确定当前配置到新配置的迁移序列，对所有网络服务进行重配置。本发明能够可以降低资源消耗，快速进行网络服务的重配置，且可以对不同的业务类型的服务进行重配置，满足不同服务的需求。满足不同服务的需求。满足不同服务的需求。


技术研发人员：赵建华 樊会丛 梁莞笛 刘洋 耿少博 苏汉 李文霄 朱士加 高立坡 于洪光 郭伟 安佳坤 齐晓光 张倩茅
受保护的技术使用者：国网河北省电力有限公司 国家电网有限公司
技术研发日：2023.08.10
技术公布日：2023/10/15