一种基于图知识库深度强化学习的变电站操作票生成方法

1.本发明属于电网调度运行技术领域，具体涉及变电站倒闸操作票的智慧生成技术。


背景技术：

2.电气操作票制度可有效地防止误操作，是电力系统运行管理中的重要制度。传统操作票为手工填写，对运行人员的操作经验要求较高。目前的智能操作票，多采用专家系统开发，这类操作票系统需要构建庞大的知识库和规则库。
3.张东英,张婧,李蕾,代悦,杨俊威等人提出了一种自动生成操作票任务的通用方法，戴黎明,钱波,苏慧民,马剑勋等人提出了变电站操作票自动生成方法，但是他们都是在间隔模型的基础上，通过线路和专家系统中的间隔模型的匹配来生成操作票。采用这种方式，一方面知识库和规则库的构建和维护成本高，当变电站扩容、改造导致主接线变化时，需要进行调整，普适性过差；另一方面，在形成操作方案时，需要人工进行干预，智能性不足，不能完全实现自动化。
4.由此，申请人提出一种基于图知识库深度强化学习的变电站操作票生成方法。


技术实现要素：

5.本发明的目的是为了解决现有操作票生成技术存在的当变电站扩容、改造导致主接线变化时，需要进行调整，普适性过差；另一方面，在形成操作方案时，需要人工进行干预，智能性不足，不能完全实现自动化的技术问题，而提出的一种基于图知识库深度强化学习的变电站操作票生成方法。
6.为解决上述技术问题，本发明采用的技术方案如下：
7.一种基于图知识库深度强化学习的变电站操作票生成方法，具体步骤为：
8.步骤1：形成包括设备基础信息以及主接线拓扑结构的知识图谱，并更新设备的基本信息；
9.步骤2：根据任务，判断是否需要恢复供电；需要恢复供电则对任务设备投退路径以及恢复供电路径进行搜索并获取设备信息，形成可恢复供电的开关组sz，否则仅搜索任务设备投退路径，并形成投退开关组sd；动作空间由恢复供电开关组和投退开关组共同组成。
10.步骤3：更新图知识库中各个设备节点的运行状态信息；
11.步骤4：配置强化学习环境，编辑开关设备动作规则及相关的奖惩函数。
12.步骤5：将图知识库的实时状态信息编码输出作为状态空间s
t
。
13.步骤6：将实时状态空间s
t
输入dqn算法，dqn算法从动作空间中选择动作动作于图知识库，并获得反馈r
t
。
14.步骤7：通过目标图知识库和dqn算法模型的交互，在不断迭代的过程中获得符合操作规则的最优操作序列，形成操作票。
15.在步骤1中，知识图谱的节点包括可操作设备节点，断路器、隔离开关、接地刀闸等，以及不可操作设备节点，节点、母线等，其中节点又包括设备端点和进线节点以及出现节点。可操作设备节点的属性包括带电状态、开合状态、设备类型等属性，不可操作设备节点的属性包括图谱中的关系包括带电状态、设备类型、运行状态等属性。知识图谱中节点之间的关系包括“相连”和“断开”，节点之间的关系类型由开关设备的开合状态决定。
16.本发明搜索构建的图知识库保存了变电站信息的拓扑结构。为模拟实际电路中的设备带负荷状态，定义进线节点为图知识库模型中的电源，当且仅当节点可以仅通过连接关系检索到电源时(即存在“设备-[:相连]-...-[:相连]-进线”时)，设备带电状态定义为带电，否则为断电。
[0017]
在步骤2中，恢复供电路径的判断策略如下：
[0018]
2-1：任务设备是否处在任务设备投退路径终点设备和进线之间，如果在则表面任务设备的投退会影响终点设备的带电状态，则需要转供，反之则不需要；
[0019]
2-2：当2-1所述情况成立时，通过“断开”关系搜索带电母线和进线，如果能够搜索到表示存在可行的恢复供电路径，否则则表示恢复供电路径不存在或者已经投入恢复供电路径，不需要再次操作；
[0020]
当且仅当上述两个判断策略均满足时，才判断为需要恢复供电，并对恢复供电路径进行搜索；
[0021]
特别的，当进行恢复供电路径搜索时，与任务设备投退路径终点设备同侧的带电母线或进线优先作为恢复供电路径的终点。将恢复供电路径中的设备信息记录进恢复供电开关组sz，将任务设备投退路径的设备信息记录进设备投退开关组sd。获取的设备信息包括断路器、隔离开关和接地刀闸设备，根据变电站主接线的特性，将每一条路径上的开关设备记作一个开关组，具体形式为开关组s＝[bn，d
n1
，..,d
nn
,gn],其中b
n、dn
和gn分别是开关组中包含的断路器、隔离开关和接地刀闸；任务设备投退路径中开关组内隔离开关按照跟负荷距离由近到远的距离顺序依次排列，恢复供电路径则相反。
[0022]
在步骤3中，定义任务设备运行状态和开关组运行状态；其父子级顺序为任务设备状态》开关组运行状态，当且仅当开关组都达到某一基础状态时，才判定任务设备状态为该状态；基础状态包括：运行状态、热备用状态、冷备用状态和检修状态。
[0023]
在步骤3中，包括五种基础状态，具体如下：
[0024]
3-1：运行状态：开关组内断路器和隔离开关均处于闭合状态，同时接地刀闸处于断开状态；
[0025]
3-2：热备用状态：开关组内隔离开关均处于闭合状态，同时断路器和接地刀闸处于断开状态；
[0026]
3-3：冷备用状态：开关组内断路器、隔离开关接地刀闸均处于断开状态；
[0027]
3-4：检修状态：开关组内断路器和隔离开关均处于断开状态，同时接地刀闸处于闭合状态
[0028]
3-5：过渡状态：为处于上述四种状态相互转换时出现的中间态。
[0029]
在步骤4中，所述规则具体如下：
[0030]
4-1：同一开关组设备在操作时，必须按照断电先断路器，后隔离开关，最后接地刀闸的顺序进线操作，在送电过程中则反之；
[0031]
4-2：不允许出现两个及以上开关组同时出现过渡状态，该情况定义为跨间隔误操作；
[0032]
4-3：同一开关组内隔离开关在操作时，必须按照断电先负荷侧后近线侧顺序进行操作，在送电过程中则反之。
[0033]
在步骤4中，按照以下步骤定义奖惩函数：
[0034]
s1：定义任务设备运行状态变换奖励函数rd，当任务设备运行状态发生基础状态-》过渡状态-》基础状态变换时，获得该奖励；
[0035]
s2：定义开关组运行状态变换奖励函数rg，当开关组运行状态发生基础状态-》过渡状态-》基础状态变换时，获得该奖励；
[0036]
s3：定义达到目标运行状态奖励函数ra，当任务设备运行状态达到目标状态时，获得该奖励；
[0037]
s4：定义跨间隔误操作惩罚函数ps，当开关组状态存在o
g1
＝...＝o
gn
＝5时，即2个及以上开关组处于过渡状态时，记作跨间隔误操作，给予惩罚ps；
[0038]
s5：定义违反开关设备安全操作惩罚函数p
bs
，当动作开关设备后出现下列情况时，给予惩罚p
bs
，开关设备合上记为1，断开记为0，包括以下情况：
[0039]
i)b
n(t-1)
＝1，d
n1t
＝0or d
n2t
＝0时；
[0040]
ii)b
n(t-1)
＝1or d
n(t-1)
＝1并且g
nt
＝0时；
[0041]
s6：定义违反开关设备操作惩罚函数p
bo
，当动作开关设备后出现b
n1(t-1)
＝1但是b
n2(t-1)
＝0情况时，给予惩罚p
bo
；
[0042]
s7：定义影响供电可靠性惩罚函数p
pf
，当存在恢复供电路径时，当操作设备导致出线停电时，定义为影响供电稳定性，给予惩罚p
pf
。
[0043]
在步骤5中，将图知识库的实时状态信息编码输出作为状态空间，为准确描述图知识库环境，将动作空间设备的状态及任务设备的状态编码输入，作为用于反应状态变化的量。
[0044]
图知识库为neo4j图知识库。
[0045]
与现有技术相比，本发明具有如下技术效果：
[0046]
1)本发明所构建的基于neo4j的知识图谱模型相较于传统关系型数据更直观简洁，同时在关系型数据库中，增删字段会引起表的重构并导致数据库性能的耗损，频繁的字段操作更会造成存储结构的零碎化，使得访问性能下降。而neo4j数据动态变化则只需要修改相应节点、边的属性，且不会对知识库的其它部分造成影响，有效解决了关系数据库应对数据动态变化时能力不足的问题；
[0047]
2)本发明所构建的深度强化学习模型解决了传统的操作票生成形式智能性不足和普适性不足的问题，本发明通过将通用的基础操作规则编辑进判定程序，同时运用neo4j知识库自身的cypher语言通过关系对图的拓扑结构进行探索，不需要创建固定的模板，对不同的电路都具有良好的搜索效果。同时，运用深度强化学习算法与neo4j图知识库的自动交互，在奖惩函数的约束下获取最优的操作序列，大大提高了操作票生成方式的智能性，解放了人工。
[0048]
3)本发明提供了转供路径的判断和自动识别，首先判断是否存在转供路径，并识别出恢复供电的路径，如果存在可恢复路径，则形成可恢复开关组；否则，仅形成设备投退
开关组。从而完成自动识别转供支路并实现负荷转供，提高了操作票的智能性。
附图说明
[0049]
下面结合附图和实施例对本发明作进一步说明：
[0050]
图1为本发明的流程图；
[0051]
图2为本发明对基于dqn的操作票生成模型进行迭代训练的实现流程图。
具体实施方式
[0052]
一种基于图知识库深度强化学习的变电站操作票生成方法，它包括以下步骤：
[0053]
步骤1：形成包括设备基础信息以及主接线拓扑结构的知识图谱，并更新设备的基本信息。首先通过设备信息数据构建图知识库的节点结构，根据(n：label{name：,property:})语句，构建包含设备信息数据和名称的节点；
[0054]
然后通过变电站拓扑结构数据，根据其中的共端点关系，将共端点的设备判定为存在连接关系，采用create(n：name)-[r:relationship]-(m：name)语句构建节点之间的关系。
[0055]
最后，根据开关设备在运行时所处的状态，改变节点之间关系的属性，如开关设备闭合，则定义为“相连”，否则定义为“断开”。根据定义好的连接关系对图知识库中各个设备按照“设备-[:相连]-...-[:相连]-进线”方式搜素更新各自的带电状态
[0056]
步骤2：根据任务，判断是否需要对电源进行恢复供电。需要恢复供电则对任务设备投退路径以及恢复供电路径进行搜索并获取设备信息，否则仅搜索任务设备投退路径。恢复供电路径的判断策略如下：
[0057]
①
任务设备是否处在任务设备投退路径终点设备和进线之间，如果在则表面任务设备的投退会影响终点设备的带电状态，则需要转供，反之则不需要。
[0058]
②
当策略
①
所述情况成立时。通过“断开”关系搜索带电母线和进线，如果能够搜索到表示存在可行的恢复供电路径，否则表示恢复供电路径不存在或者已经投入恢复供电路径，不需要再次操作。
[0059]
按照上述恢复供电路径判别策略对是否存在恢复供电路径进行判别，而后对路径进行检索，并获取包括断路器、隔离开关和接地刀闸设备的设备信息，根据变电站主接线的特性，将每一条路径上的开关设备记作一个开关组，按照开关组s＝[bn，d
n1
，..,d
nn
,gn]的形式进行记录。其中b
n、dn
和gn分别是开关组中包含的断路器、隔离开关和接地刀闸，不同的是，任务设备投退开关组sd中开关组内隔离开关按照跟负荷距离由近到远的距离顺序依次排列，恢复供电开关组sz中则相反。
[0060]
步骤3：更新图知识库中各个设备节点的运行状态信息。定义了任务设备运行状态和开关组运行状态。其父子级顺序为任务设备状态》开关组运行状态，当且仅当开关组都达到某一基础状态时，才判定任务设备状态为该状态。基础状态包括：运行状态、热备用状态、冷备用状态和检修状态。同时，本发明定义了过渡状态，五种状态的定义如下：
[0061]
①
运行状态：开关组内断路器和隔离开关均处于闭合状态，同时接地刀闸处于断开状态。
[0062]
②
热备用状态：开关组内隔离开关均处于闭合状态，同时断路器和接地刀闸处于
断开状态。
[0063]
③
冷备用状态：开关组内断路器、隔离开关接地刀闸均处于断开状态。
[0064]
④
检修状态：开关组内断路器和隔离开关均处于断开状态，同时接地刀闸处于闭合状态
[0065]
⑤
过渡状态：为处于上述四种状态相互转换时出现的中间态。
[0066]
按照上述定义，根据任务投退路径中开关组中开关的状态来判断开关组的运行状态，再根据开关组的运行状态判断任务设备的运行状态。
[0067]
步骤4：配置强化学习环境，编辑任务开关设备动作规则及相关的奖惩函数。编辑操作规则。
[0068]
主要包括规则
①‑③
：
[0069]
①
同一开关组设备在操作时，必须按照断电先断路器，后隔离开关，最后接地刀闸的顺序进线操作，在送电过程中则反之。
[0070]
②
不允许出现两个及以上开关组同时出现过渡状态，该情况定义为跨间隔误操作。
[0071]
③
同一开关组内隔离开关在操作时，必须按照断电先负荷侧后近线侧顺序进行操作，在送电过程中则反之。
[0072]
包括奖惩函数如下：
[0073]
①
任务设备运行状态变换奖励函数rd，当任务设备运行状态发生基础状态-》过渡状态-》基础状态变换时，获得该奖励；
[0074]
②
开关组运行状态变换奖励函数rg，当开关组运行状态发生基础状态-》过渡状态-》基础状态变换时，获得该奖励；
[0075]
③
达到目标运行状态奖励函数ra，当任务设备运行状态达到目标状态时，获得该奖励；
[0076]
④
跨间隔误操作惩罚函数ps，当开关组状态存在o
g1
＝...＝o
gn
＝5时，即2个及以上开关组处于过渡状态时，记作跨间隔误操作，给予惩罚ps。
[0077]
⑤
违反开关设备安全操作惩罚函数p
bs
，当动作开关设备后出现下列情况时，给予惩罚p
bs
(开关设备合上记为1，断开记为0)：
[0078]
iii)b
n(t-1)
＝1，d
n1t
＝0or d
n2t
＝0时；
[0079]
iv)b
n(t-1)
＝1or d
n(t-1)
＝1并且g
nt
＝0时；
[0080]
⑥
违反开关设备操作惩罚函数p
bo
，当动作开关设备后出现b
n1(t-1)
＝1但是b
n2(t-1)
＝0情况时，给予惩罚p
bo
。
[0081]
⑦
影响供电可靠性惩罚函数p
pf
。当存在恢复供电路径时，当操作设备导致出线停电时，定义为影响供电稳定性，给予惩罚p
pf
。
[0082]
步骤5：将图知识库的实时状态信息编码输出作为状态空间s
t
。状态空间内的内容主要包括动作空间内设备的类型、开合状态等，以及任务设备的运行状态等。
[0083]
步骤6：将实时状态空间s
t
输入dqn算法，算法从动作空间中选择动作动作于图知识库，并获得反馈r
t
。
[0084]
步骤7：通过neo4j图知识库和dqn算法模型的交互，在不断迭代的过程中获得符合操作规则的最优操作序列，形成操作票。

技术特征：
1.一种基于图知识库深度强化学习的变电站操作票生成方法，具体步骤为：步骤1：形成包括设备基础信息以及主接线拓扑结构的知识图谱，并更新设备的基本信息；步骤2：根据任务，判断是否需要恢复供电；需要恢复供电则对任务设备投退路径以及恢复供电路径进行搜索并获取设备信息，否则仅搜索任务设备投退路径；步骤3：更新图知识库中各个设备节点的运行状态信息；步骤4：配置强化学习环境，编辑开关设备动作规则及相关的奖惩函数；步骤5：将图知识库的实时状态信息编码输出作为状态空间s
t
；步骤6：将实时状态空间s
t
输入dqn算法，dqn算法从动作空间中选择动作动作于图知识库，并获得反馈r
t
；步骤7：通过目标图知识库和dqn算法模型的交互，在不断迭代的过程中获得符合操作规则的最优操作序列，形成操作票。2.根据权利要求1所述的方法，其特征在于，在步骤1中，知识图谱的节点包括可操作设备节点，以及不可操作设备节点；知识图谱中节点之间的关系包括“相连”和“断开”，节点之间的关系类型由开关设备的开合状态决定。3.根据权利要求1所述的方法，其特征在于，在步骤2中，恢复供电路径的判断策略如下：2-1：任务设备是否处在任务设备投退路径终点设备和进线之间，如果在则表面任务设备的投退会影响终点设备的带电状态，则需要转供，反之则不需要；2-2：当2-1所述情况成立时，通过“断开”关系搜索带电母线和进线，如果能够搜索到表示存在可行的恢复供电路径，否则则表示恢复供电路径不存在或者已经投入恢复供电路径，不需要再次操作；当且仅当上述两个判断策略均满足时，才判断为需要恢复供电，并对恢复供电路径进行搜索；当进行恢复供电路径搜索时，与任务设备投退路径终点设备同侧的带电母线或进线优先作为恢复供电路径的终点；获取的设备信息包括断路器、隔离开关和接地刀闸设备，根据变电站主接线的特性，将每一条路径上的开关设备记作一个开关组，具体形式为开关组s＝[b
n
，d
n1
，..,d
nn
,g
n
],其中b
n、
d
n
和g
n
分别是开关组中包含的断路器、隔离开关和接地刀闸；开关组分别任务设备投退开关组s
d
和恢复供电开关组s
z
，且都不限定为1；任务设备投退开关组内隔离开关按照跟负荷距离由近到远的距离顺序依次排列，恢复供电开关组则相反。4.根据权利要求1所述的方法，其特征在于，在步骤3中，定义任务设备运行状态和开关组运行状态；其父子级顺序为任务设备状态>开关组运行状态，当且仅当开关组都达到某一基础状态时，才判定任务设备状态为该状态；基础状态包括：运行状态、热备用状态、冷备用状态和检修状态。5.根据权利要求1或4所述的方法，其特征在于，在步骤3中，包括五种基础状态，具体如下：3-1：运行状态：开关组内断路器和隔离开关均处于闭合状态，同时接地刀闸处于断开状态；
3-2：热备用状态：开关组内隔离开关均处于闭合状态，同时断路器和接地刀闸处于断开状态；3-3：冷备用状态：开关组内断路器、隔离开关接地刀闸均处于断开状态；3-4：检修状态：开关组内断路器和隔离开关均处于断开状态，同时接地刀闸处于闭合状态3-5：过渡状态：为处于上述四种状态相互转换时出现的中间态。6.根据权利要求1所述的方法，其特征在于，在步骤4中，所述规则具体如下：4-1：同一开关组设备在操作时，必须按照断电先断路器，后隔离开关，最后接地刀闸的顺序进线操作，在送电过程中则反之；4-2：不允许出现两个及以上开关组同时出现过渡状态，该情况定义为跨间隔误操作；4-3：同一开关组内隔离开关在操作时，必须按照断电先负荷侧后近线侧顺序进行操作，在送电过程中则反之。7.根据权利要求1或6所述的方法，其特征在于，在步骤4中，按照以下步骤定义奖惩函数：s1：定义任务设备运行状态变换奖励函数r
d
，当任务设备运行状态发生基础状态->过渡状态->基础状态变换时，获得该奖励；s2：定义开关组运行状态变换奖励函数r
g
，当开关组运行状态发生基础状态->过渡状态->基础状态变换时，获得该奖励；s3：定义达到目标运行状态奖励函数r
a
，当任务设备运行状态达到目标状态时，获得该奖励；s4：定义跨间隔误操作惩罚函数p
s
，当开关组状态存在o
g1
＝...＝o
gn
＝5时，即2个及以上开关组处于过渡状态时，记作跨间隔误操作，给予惩罚p
s
；s5：定义违反开关设备安全操作惩罚函数p
bs
，当动作开关设备后出现下列情况时，给予惩罚p
bs
，开关设备合上记为1，断开记为0，包括以下情况：i)b
n(t-1)
＝1，d
n1t
＝0or d
n2t
＝0时；ii)b
n(t-1)
＝1or d
n(t-1)
＝1并且g
nt
＝0时；s6：定义违反开关设备操作惩罚函数p
bo
，当动作开关设备后出现b
n1(t-1)
＝1但是b
n2(t-1)
＝0情况时，给予惩罚p
bo
；s7：定义影响供电可靠性惩罚函数p
pf
，当存在恢复供电路径时，当操作设备导致出线停电时，定义为影响供电稳定性，给予惩罚p
pf
。8.根据权利要求1所述的方法，其特征在于，在步骤5中，将图知识库的实时状态信息编码输出作为状态空间，为准确描述图知识库环境，将动作空间设备的状态及任务设备的状态编码输入，作为用于反应状态变化的量。9.根据权利要求1所述的方法，其特征在于，所述图知识库为neo4j图知识库。

技术总结
一种基于图知识库深度强化学习的变电站操作票生成方法，具体步骤为：步骤1：形成包括设备基础信息以及主接线拓扑结构的知识图谱，并更新设备的基本信息；步骤2：根据任务，判断是否需要恢复供电；需要恢复供电则对任务设备投退路径以及恢复供电路径进行搜索并获取设备信息，否则仅搜索任务设备投退路径；步骤3：更新图知识库中各个设备节点的运行状态信息；步骤4：配置强化学习环境，编辑开关设备动作规则及相关的奖惩函数。步骤5：将图知识库的实时状态信息编码输出作为状态空间s


技术研发人员：陈铁 李鸿鑫 曹颖 汪长林
受保护的技术使用者：三峡大学
技术研发日：2023.04.11
技术公布日：2023/8/14