基于实物ID的“边-端”设备现场快速集成组网方法

基于实物id的“边-端”设备现场快速集成组网方法
技术领域
1.本发明属于配电物联网实物id技术领域，涉及一种“边-端”设备现场快速集成组网方法，尤其是一种基于实物id的“边-端”设备现场快速集成组网方法。


背景技术：

2.面向电网电压等级越来越高、施工设备类型多等现状，存在以下问题：施工设备组网方式不具有鲁棒性，无法实时地改变组网结构从而提高稳定性、可靠性和运维便捷性，从而阻碍了对“边-端”设备以及事务流程的精细化溯源管理和高压施工过程管理的智能化管控。
3.目前，电网资产实物id可完成设备辨识，为“边-端”设备现场快速集成组网提供了技术基础。通过机器学习、启发式算法等人工智能技术为组网方案的快速优化提供了可能性。
4.经检索，未发现与本发明相同或相似的现有技术的文献。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提出一种基于实物id的“边-端”设备现场快速集成组网方法，能够实现配电设备的现场快速组网，从而优化能量损失、数据丢失和可靠性等问题。
6.本发明解决其现实问题是采取以下技术方案实现的：
7.一种基于实物id的“边-端”设备现场快速集成组网方法，包括以下步骤：
8.步骤1、构建考虑传输损耗与传输带宽的多元设备组网优化模型：
9.步骤2、构建基于可靠性硬约束的多元设备组网优化模型边界条件；
10.步骤3、采用深度强化学习-多目标细菌觅食优化器(drl-mbfo)，求解步骤1构建的考虑传输损耗与传输带宽的多元通信技术评价模型；
11.步骤4、主站通过实物“id”识别新接入的物联网终端设备并通过步骤3得到的组网方案为其分配模型库资源，然后生成现场参与组网的设备的实时拓扑图并以广播的通信方式转送给各设备，完成“边”、“端”设备间的即插即用快速组网。
12.而且，所述步骤1的具体步骤包括：
13.(1)构建多元dt组网通信的目标函数包括：
14.①
传输损耗：
15.无线传输的传播模型采用测试数据统计分析模型，其基本传输损耗计算公式如下：
16.δ＝69.55+26.16
×
lgfc-13.82
×
lgh
tra
+(44.9-6.55
×
lgh
tra
)
×
lgd
cov-α(h
rec
)+c
cell
17.式中：fc为工作频率，mhz；h
tra
为基站发射的有效天线高度，单位为米；h
rec
为终端接收的有效天线高度，单位为米；d
cov
为覆盖距离，单位为千米(km)；c
cell
为环境补偿因子；α
(hr)是天线修正因子，单位为db，与工作频率以及收发距离等因素有关，具体关系如下：
[0018][0019]ccell
为环境补偿因子，单位为db，具体关系如下:
[0020][0021]
②
信道容量计算：
[0022]
计算接收端信噪比(signal noise ratio，snr),单位为db：
[0023]
γ＝(p-δ)-(b+n0+ζ)
[0024]
式中：p为信号发射的功率；b为信号占用的带宽；ζ为接收端的噪声系数；n0为噪声功率谱密度。
[0025]
使用香农公式对信道容量(单位：bit/s)计算，即：
[0026]
c＝b
×
lg(1+γ)
[0027]
③
数据传输能量消耗
[0028]
配电终端设备将数据发送到无线网基站，考虑传输过程中的损耗，设定终端设发送1kbit数据，所消耗的能量如下所示：
[0029][0030]
式中：e
elec
是发送、接收电路的能耗，ε
fx
和ε
amp
是自由空间信道模型、多径衰落信道模型下的功率放大常数；d是发送端和接收端之间的距离；d0是区分两种信道模型的距离阈值。
[0031]
则终端设备每月消耗的能量为：
[0032]econ
＝n
dayntimeetx
(k,d)
[0033]
式中：n
day
表示传输的天数；n
time
表示每天每个终端设备传输的次数，根据其上传每天上传次数来设置。
[0034]
④
可靠性冗余：
[0035]
终端设备间地理位置的增大会导致通讯可靠性降低、影响数据传输质量，其中，通信距离与数据采集可靠性的关系为：
[0036][0037]
式中，k
uv
为第u台终端设备与第v台终端设备之间的通信可靠性程度，在区间[0,1]上；α、ε为与可靠性相关的系数。
[0038]
而且，所述步骤2的具体方法为：
[0039]
为确保多元终端设备之间的可靠连接与数据通信，区域内所以终端设备之间的通信距离必须限制在一定范围内，否则会严重影响通信质量：
[0040]auvruv
≤r
max
ꢀꢀꢀ
(7)
[0041]
式中，r
max
为该通信技术下终端设备之间能够正常通信的最大通信距离。
[0042]
而且，所述步骤3的具体步骤包括：
[0043]
步骤3.1、离线学习：
[0044]
步骤3.1.1、初始化d、n、θ、θ-，其中d＝[d1，d2，
···
，dn]
t
表示回放内存，n＝[n1，n2，
···
，nn]
t
表示d的容量，θ＝[θ1，θ2，
···
，θn]
t
和θ-＝[θ
1-，θ
2-、
···
、θ
n-]
t
分别为q_eval_net和q_target_net的权重参数。n为决策变量的维数。
[0045]
步骤3.1.2、执行循环。算法1存在三层循环，最外层的循环是第一个，它的迭代从1开始到m开始。第二个循环从1到t开始，第三个循环从1到n开始。此外，m、t和i分别是关于这三个循环的当前迭代次数。当第一个循环开始时，状态s0被随机初始化。状态的每个维度都表示相应循环中打开开关的序列号。当第三个循环开始时，将输入到q_eval_net，然后输出关于状态
st,i
i的所有动作的q值。然后，ε-贪婪策略选择在a
t,i
处的一个动作，并根据以下公式计算s′
t,i
。
[0046][0047]
式中s’t,i
表示第二个和第三个循环的迭代为t时代理的下一个状态，i.a
t,i
表示相应的动作，也表示s
t,i
的第i维变量s
t,ii
的变化。例如，当s
2,3
＝[s
12,3
、s
22,3
、s
32,3
、s
42,3
、s
52,3
]＝[1,2,3,4,5]和a
2,3
＝1时，根据(18)，下一个状态s’2,3
＝[1,2,3+1,4,5]＝[1,2,4,4,5]。
[0048]
接下来，计算适应度f
t,i
的s’t,i
以及奖励r
t,i
：
[0049][0050]
式中aj表示一个a中的帕累托解，a表示非主导的存档。aj＜f
t,i
表示f
t,i
由aj支配。
[0051]
如果r
t,i
＝1，将f
t,i
存储于a。然后，将数组《s
t,i
、a
t,i
、r
t,i
、s’t,i
》存储在di中，并且设置s
t,i+1
＝s’t,i
。然后，训练q_eval_net。在训练中，我们首先从di中随机抽取固定数量的样本来训练dqn1，并通过梯度下降法更新θi。在每个c步骤之后，我们将θi复制到θ
i-。之后，当最内层的循环完成时，为下一个循环设置s
t+1,1
＝s’t,n
。最后，我们重复上述循环，直到满足终止条件。
[0052]
步骤3.2、在线辅助：
[0053]
步骤3.2.1、趋化过程：
[0054]
状态s和动作a的意义与离线学习相同。此外，在趋化过程中，根据s的第一维数，将细菌的状态s
t,i
输入到dqn1中。然后，dqn1将输出这个维度中所有动作q
all
的q值。然后，我们选择将通过轮盘赌选择执行的动作，为了防止细菌状态变得恶化，relu函数用于过滤小于0的q值。因此，只有q值大于0的操作将被执行到状态s
t,i
，并将状态更新为s
t,i+1
，如(18)所示。重复上述过程，直到更新了所有维度的状态。最后，我们计算了状态s
t+1,1
的适应度f。然后，细菌的优势和所有的帕累托解被保存在一个非主导的档案γ中，如(20)所示，γ将根据(21)进行更新。
[0055]
γ＝γ∪x
best
ꢀꢀꢀ
(20)
[0056]
γ＝γ-b (21)
[0057]
其中，x
best
表示帕累托解集的解集，b表示来自γ的解集，但目前受x
best
支配。
[0058]
步骤3.2.2、在进行趋化操作后，计算每个细菌的拥挤距离。首先，根据优势性，将
细菌分为两部分，即nd和n
nond
。其中，nd和n
nond
代表了支配细菌和非支配细菌的部分。
[0059]
步骤3.2.3、然后，分别通过拥挤距离对这两部分细菌进行拥挤度排序。之后，将nd放在n
nond
之后，并消除一半的细菌。其余的细菌将交叉产生新的细菌。
[0060]
步骤3.2.4、最后，当该细菌满足消除的概率时，它将被消除，并在可行的区域内随机产生一个新的个体。重复上述过程，直到满足终止条件。最终算法收敛时得到的细菌个体即为当前的组网方案。
[0061]
本发明的优点和有益效果：
[0062]
1、本发明提出一种基于实物id的“边-端”设备现场快速集成组网方法，以电网资产实物id为索引，构建考虑传输损耗、通信容量、可靠性等因素的多元设备组网优化模型，然后开发了一种基于深度强化学习辅助启发式算法的方法求解该模型，实现“边-端”设备现场快速集成组网。
[0063]
2、本发明拟通过实物id、人工智能技术对考虑多种通信目标的快速组网最优化问题进行求解，实现“边-端”设备现场快速集成组网，降低数据传输的丢包率。
[0064]
3、本发明建立考虑组网可靠性、运维便捷性的多元设备组网优化模型，利用一种启发式算法求解该模型，并开发一种基于深度强化学习的算法来辅助该多目标优化问题的pareto解，可以实时地应对场景变化完成无模型自适应控制并快速求解最优组网方案。
附图说明
[0065]
图1是本发明的处理流程图。
具体实施方式
[0066]
以下结合附图对本发明实施例作进一步详述：
[0067]
一种基于实物id的“边-端”设备现场快速集成组网方法，如图1所示，包括以下步骤：
[0068]
步骤1、构建考虑传输损耗与传输带宽的多元设备组网优化模型：
[0069]
所述步骤1的具体步骤包括：
[0070]
(1)构建多元dt组网通信的目标函数包括：
①
传输损耗，
②
信道容量，
③
数据传输能量消耗，
④
可靠性冗余：
[0071]
①
传输损耗：
[0072]
无线传输的传播模型采用测试数据统计分析模型，其基本传输损耗计算公式如下：
[0073]
δ＝69.55+26.16
×
lgfc-13.82
×
lgh
tra
+(44.9-6.55
×
lgh
tra
)
×
lgd
cov-α(h
rec
)+c
cell
[0074]
式中：fc为工作频率，mhz；h
tra
为基站发射的有效天线高度，单位为米；h
rec
为终端接收的有效天线高度，单位为米；d
cov
为覆盖距离，单位为千米(km)；c
cell
为环境补偿因子；α(hr)是天线修正因子，单位为db，与工作频率以及收发距离等因素有关，具体关系如下：
[0075]
[0076]ccell
为环境补偿因子，单位为db，具体关系如下:
[0077][0078]
②
信道容量计算：
[0079]
计算接收端信噪比(signal noise ratio，snr),单位为db：
[0080]
γ＝(p-δ)-(b+n0+ζ)
[0081]
式中：p为信号发射的功率(单位:dbm)；b为信号占用的带宽(单位:db)；ζ为接收端的噪声系数(单位:db)；n0(单位:dbm/hz)为噪声功率谱密度(－174dbm/hz)。
[0082]
使用香农公式对信道容量(单位：bit/s)计算，即：
[0083]
c＝b
×
lg(1+γ)
[0084]
③
数据传输能量消耗
[0085]
配电终端设备将数据发送到无线网基站，考虑传输过程中的损耗，设定终端设发送1kbit数据，所消耗的能量如下所示：
[0086][0087]
式中：e
elec
是发送、接收电路的能耗，ε
fx
和ε
amp
是自由空间信道模型、多径衰落信道模型下的功率放大常数；d是发送端和接收端之间的距离；d0是区分两种信道模型的距离阈值。
[0088]
则终端设备每月消耗的能量为：
[0089]econ
＝n
dayntimeetx
(k,d)
[0090]
式中：n
day
表示传输的天数；n
time
表示每天每个终端设备传输的次数，根据其上传每天上传次数来设置。
[0091]
④
可靠性冗余：
[0092]
终端设备间地理位置的增大会导致通讯可靠性降低、影响数据传输质量，其中，通信距离与数据采集可靠性的关系为：
[0093][0094]
式中，k
uv
为第u台终端设备与第v台终端设备之间的通信可靠性程度，在区间[0,1]上；α、ε为与可靠性相关的系数。
[0095]
步骤2、构建基于可靠性硬约束的多元设备组网优化模型边界条件；
[0096]
所述步骤2的具体方法为：
[0097]
为确保多元终端设备之间的可靠连接与数据通信，区域内所以终端设备之间的通信距离必须限制在一定范围内，否则会严重影响通信质量：
[0098]auvruv
≤r
max
ꢀꢀꢀ
(7)
[0099]
式中，r
max
为该通信技术下终端设备之间能够正常通信的最大通信距离。
[0100]
步骤3、采用深度强化学习-多目标细菌觅食优化器(drl-mbfo)，求解步骤1构建的考虑传输损耗与传输带宽的多元通信技术评价模型；
[0101]
通过设置一些深度q网络(dqn)来协同处理动作空间，并且这个数量依赖于我们提
出的多元设备组网优化模型中待优化设备的数量，即为决策变量的数量；
[0102]
然后，将待优化设备的优化动作空间分解为多个子空间，每个子空间分别由一个dqn进行处理。
[0103]
所述步骤3的具体步骤包括：
[0104]
步骤3.1、离线学习：
[0105]
构建改进的深度q学习算法，用于训练离线学习的dqn。该算法的处理过程如算法1所示。
[0106]
步骤3.1.1、初始化d、n、θ、θ-，其中d＝[d1，d2，
···
，dn]
t
表示回放内存，n＝[n1，n2，
···
，nn]
t
表示d的容量，θ＝[θ1，θ2，
···
，θn]
t
和θ-＝[θ
1-，θ
2-、
···
、θ
n-]
t
分别为q_eval_net和q_target_net的权重参数。n为决策变量的维数。
[0107]
步骤3.1.2、执行循环。算法1存在三层循环，最外层的循环是第一个，它的迭代从1开始到m开始。第二个循环从1到t开始，第三个循环从1到n开始。此外，m、t和i分别是关于这三个循环的当前迭代次数。当第一个循环开始时，状态s0被随机初始化。状态的每个维度都表示相应循环中打开开关的序列号。当第三个循环开始时，将输入到q_eval_net，然后输出关于状态s
t,i
i的所有动作的q值。然后，ε-贪婪策略选择在a
t,i
处的一个动作，并根据以下公式计算s
′
t,i
。
[0108][0109]
式中s’t,i
表示第二个和第三个循环的迭代为t时代理的下一个状态，i.a
t,i
表示相应的动作，也表示s
t,i
的第i维变量s
t,ii
的变化。例如，当s
2,3
＝[s
12,3
、s
22,3
、s
32,3
、s
42,3
、s
52,3
]＝[1,2,3,4,5]和a
2,3
＝1时，根据(18)，下一个状态s’2,3
＝[1,2,3+1,4,5]＝[1,2,4,4,5]。
[0110][0111]
接下来，计算适应度(目标值)f
t,i
的s’t,i
以及奖励r
t,i
：
[0112][0113]
式中aj表示一个a中的帕累托解，a表示非主导的存档。aj＜f
t,i
表示f
t,i
由aj支配。
[0114]
如果r
t,i
＝1，将f
t,i
存储于a。然后，将数组《s
t,i
、a
t,i
、r
t,i
、s’t,i
》存储在di中，并且设置s
t,i+1
＝s’t,i
。然后，训练q_eval_net。在训练中，我们首先从di中随机抽取固定数量的样本来训练dqn1，并通过梯度下降法更新θi。在每个c步骤之后，我们将θi复制到θ
i-。之后，当最内层的循环完成时，为下一个循环设置s
t+1,1
＝s’t,n
。最后，我们重复上述循环，直到满足终止条件。
[0115]
步骤3.2、在线辅助：
[0116]
在线辅助过程中，细菌的位置用于表示组网方案，是求解搜索的代理。
[0117]
步骤3.2.1、趋化过程：
[0118]
状态s和动作a的意义与离线学习相同。此外，在趋化过程中，根据s的第一维数，将细菌的状态s
t,i
输入到dqn1中。然后，dqn1将输出这个维度中所有动作q
all
的q值。然后，我们选择将通过轮盘赌选择执行的动作，为了防止细菌状态变得恶化，relu函数用于过滤小于0的q值。因此，只有q值大于0的操作将被执行到状态s
t,i
，并将状态更新为s
t,i+1
，如(18)所示。重复上述过程，直到更新了所有维度的状态。最后，我们计算了状态s
t+1,1
的适应度f。然后，细菌的优势和所有的帕累托解被保存在一个非主导的档案γ中，如(20)所示，γ将根据(21)进行更新。
[0119]
γ＝γ∪x
best
ꢀꢀꢀ
(20)
[0120]
γ＝γ-b
ꢀꢀꢀ
(21)
[0121]
其中，x
best
表示帕累托解集的解集，b表示来自γ的解集，但目前受x
best
支配。
[0122]
步骤3.2.2、在进行趋化操作后，计算每个细菌的拥挤距离。首先，根据优势性，将细菌分为两部分，即nd和n
nond
。其中，nd和n
nond
代表了支配细菌和非支配细菌的部分。
[0123]
步骤3.2.3、然后，分别通过拥挤距离对这两部分细菌进行拥挤度排序。之后，将nd放在n
nond
之后，并消除一半的细菌。其余的细菌将交叉产生新的细菌。
[0124]
步骤3.2.4、最后，当该细菌满足消除的概率时，它将被消除，并在可行的区域内随机产生一个新的个体。重复上述过程，直到满足终止条件。最终算法收敛时得到的细菌个体即为当前的组网方案。
[0125]
步骤4、主站通过实物“id”识别新接入的物联网终端设备并通过步骤3得到的组网方案为其分配模型库资源，然后生成现场参与组网的设备的实时拓扑图并以广播的通信方式转送给各设备，完成“边”、“端”设备间的即插即用快速组网。
[0126]
综上所述，本发明基于实物id的技术支持，首先构建“边-端”设备组网的信号损失、能量消耗、可靠性等物理模型，然后提出了一种强化学习-多目标细菌觅食优化器来解决该问题；最后主站将组网设备的信息发送至各参与组网的配电设备，完成“边-端”设备间的即插即用快速组网。
[0127]
需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

技术特征：
1.一种基于实物id的“边-端”设备现场快速集成组网方法，其特征在于：包括以下步骤：步骤1、构建考虑传输损耗与传输带宽的多元设备组网优化模型：步骤2、构建基于可靠性硬约束的多元设备组网优化模型边界条件；步骤3、采用深度强化学习-多目标细菌觅食优化器(drl-mbfo)，求解步骤1构建的考虑传输损耗与传输带宽的多元通信技术评价模型；步骤4、主站通过实物“id”识别新接入的物联网终端设备并通过步骤3得到的组网方案为其分配模型库资源，然后生成现场参与组网的设备的实时拓扑图并以广播的通信方式转送给各设备，完成“边”、“端”设备间的即插即用快速组网。2.根据权利要求1所述的一种基于实物id的“边-端”设备现场快速集成组网方法，其特征在于：所述步骤1的具体步骤包括：(1)构建多元dt组网通信的目标函数包括：
①
传输损耗：无线传输的传播模型采用测试数据统计分析模型，其基本传输损耗计算公式如下：δ＝69.55+26.16
×
lgfc-13.82
×
lgh
tra
+(44.9-6.55
×
lgh
tra
)
×
lgd
cov-α(h
rec
)+c
cell
式中：fc为工作频率，mhz；h
tra
为基站发射的有效天线高度，单位为米；h
rec
为终端接收的有效天线高度，单位为米；d
cov
为覆盖距离，单位为千米(km)；c
cell
为环境补偿因子；α(h
r
)是天线修正因子，单位为db，与工作频率以及收发距离等因素有关，具体关系如下：c
cell
为环境补偿因子，单位为db，具体关系如下:
②
信道容量计算：计算接收端信噪比(signal noise ratio，snr),单位为db：γ＝(p-δ)-(b+n0+ζ)式中：p为信号发射的功率；b为信号占用的带宽；ζ为接收端的噪声系数；n0为噪声功率谱密度；使用香农公式对信道容量(单位：bit/s)计算，即：c＝b
×
lg(1+γ)
③
数据传输能量消耗配电终端设备将数据发送到无线网基站，考虑传输过程中的损耗，设定终端设发送1kbit数据，所消耗的能量如下所示：
式中：e
elec
是发送、接收电路的能耗，ε
fx
和ε
amp
是自由空间信道模型、多径衰落信道模型下的功率放大常数；d是发送端和接收端之间的距离；d0是区分两种信道模型的距离阈值；则终端设备每月消耗的能量为：e
con
＝n
day
n
time
e
tx
(k,d)式中：n
day
表示传输的天数；n
time
表示每天每个终端设备传输的次数，根据其上传每天上传次数来设置；
④
可靠性冗余：终端设备间地理位置的增大会导致通讯可靠性降低、影响数据传输质量，其中，通信距离与数据采集可靠性的关系为：式中，k
uv
为第u台终端设备与第v台终端设备之间的通信可靠性程度，在区间[0,1]上；α、ε为与可靠性相关的系数。3.根据权利要求1所述的一种基于实物id的“边-端”设备现场快速集成组网方法，其特征在于：所述步骤2的具体方法为：为确保多元终端设备之间的可靠连接与数据通信，区域内所以终端设备之间的通信距离必须限制在一定范围内，否则会严重影响通信质量：a
uv
r
uv
≤r
max
ꢀꢀꢀꢀ
(7)式中，r
max
为该通信技术下终端设备之间能够正常通信的最大通信距离。4.根据权利要求1所述的一种基于实物id的“边-端”设备现场快速集成组网方法，其特征在于：所述步骤3的具体步骤包括：步骤3.1、离线学习：步骤3.1.1、初始化d、n、θ、θ-，其中d＝[d1，d2，
···
，d
n
]
t
表示回放内存，n＝[n1，n2，
···
，nn]
t
表示d的容量，θ＝[θ1，θ2，
···
，θ
n
]
t
和θ-＝[θ
1-，θ
2-、
···
、θ
n-]
t
分别为q_eval_net和q_target_net的权重参数；n为决策变量的维数；步骤3.1.2、执行循环；算法1存在三层循环，最外层的循环是第一个，它的迭代从1开始到m开始；第二个循环从1到t开始，第三个循环从1到n开始；此外，m、t和i分别是关于这三个循环的当前迭代次数；当第一个循环开始时，状态s0被随机初始化；状态的每个维度都表示相应循环中打开开关的序列号；当第三个循环开始时，将输入到q_eval_net，然后输出关于状态s
t,i
i的所有动作的q值；然后，ε-贪婪策略选择在a
t,i
处的一个动作，并根据以下公式计算s’t,i
；式中s’t,i
表示第二个和第三个循环的迭代为t时代理的下一个状态，i.a
t,i
表示相应的动作，也表示s
t,i
的第i维变量s
t,ii
的变化；例如，当s
2,3
＝[s
12,3
、s
22,3
、s
32,3
、s
42,3
、s
52,3
]＝[1,2,3,4,5]和a
2,3
＝1时，根据(18)，下一个状态s’2,3
＝[1,2,3+1,4,5]＝[1,2,4,4,5]；接下来，计算适应度f
t,i
的s’t,i
以及奖励r
t,i
：
式中a
j
表示一个a中的帕累托解，a表示非主导的存档；a
j
＜f
t,i
表示f
t,i
由a
j
支配；如果r
t,i
＝1，将f
t,i
存储于a；然后，将数组<s
t,i
、a
t,i
、r
t,i
、s’t,i
>存储在d
i
中，并且设置s
t,i+1
＝s’t,i
；然后，训练q_eval_net；在训练中，我们首先从d
i
中随机抽取固定数量的样本来训练dqn1，并通过梯度下降法更新θ
i
；在每个c步骤之后，我们将θ
i
复制到θ
i-；之后，当最内层的循环完成时，为下一个循环设置s
t+1,1
＝s’t,n
；最后，我们重复上述循环，直到满足终止条件；步骤3.2、在线辅助：步骤3.2.1、趋化过程：状态s和动作a的意义与离线学习相同；此外，在趋化过程中，根据s的第一维数，将细菌的状态s
t,i
输入到dqn1中；然后，dqn1将输出这个维度中所有动作q
all
的q值；然后，我们选择将通过轮盘赌选择执行的动作，为了防止细菌状态变得恶化，relu函数用于过滤小于0的q值；因此，只有q值大于0的操作将被执行到状态s
t,i
，并将状态更新为s
t,i+1
，如(18)所示；重复上述过程，直到更新了所有维度的状态；最后，我们计算了状态s
t+1,1
的适应度f；然后，细菌的优势和所有的帕累托解被保存在一个非主导的档案γ中，如(20)所示，γ将根据(21)进行更新；γ＝γ∪x
best
ꢀꢀꢀꢀ
(20)γ＝γ-b
ꢀꢀꢀꢀ
(21)其中，x
best
表示帕累托解集的解集，b表示来自γ的解集，但目前受x
best
支配；步骤3.2.2、在进行趋化操作后，计算每个细菌的拥挤距离；首先，根据优势性，将细菌分为两部分，即n
d
和n
nond
；其中，n
d
和n
nond
代表了支配细菌和非支配细菌的部分；步骤3.2.3、然后，分别通过拥挤距离对这两部分细菌进行拥挤度排序；之后，将n
d
放在n
nond
之后，并消除一半的细菌；其余的细菌将交叉产生新的细菌；步骤3.2.4、最后，当该细菌满足消除的概率时，它将被消除，并在可行的区域内随机产生一个新的个体；重复上述过程，直到满足终止条件；最终算法收敛时得到的细菌个体即为当前的组网方案。

技术总结
本发明涉及一种基于实物ID的“边-端”设备现场快速集成组网方法，其特征在于：包括以下步骤：步骤1、构建考虑传输损耗与传输带宽的多元设备组网优化模型：步骤2、构建多元设备组网优化模型边界条件；步骤3、采用深度强化学习-多目标细菌觅食优化器，求解步骤1构建的考虑传输损耗与传输带宽的多元通信技术评价模型；步骤4、主站通过实物“ID”识别新接入的物联网终端设备并通过步骤3得到的组网方案为其分配模型库资源，然后生成现场参与组网的设备的实时拓扑图并以广播的通信方式转送给各设备，完成“边”、“端”设备间的即插即用快速组网。本发明能够实现配电设备的现场快速组网，从而优化能量损失、数据丢失和可靠性等问题。数据丢失和可靠性等问题。数据丢失和可靠性等问题。


技术研发人员：刘祥国 马延庆 高运兴 万斌 尚建华 秦松 王辉 冉亮 丁申 许玉伟 韩增永 柳晓 曹轶 杜玉鹏 张奇 葛磊蛟 俞露杰 李明玮
受保护的技术使用者：国家电网有限公司 天津大学
技术研发日：2022.12.26
技术公布日：2023/8/24