面向电网设施的数字孪生方法、装置及电子设备

1.本发明涉及数字孪生技术领域，尤其涉及一种面向电网设施的数字孪生方法、装置及电子设备。


背景技术：

2.随着以新能源为主体的新型电力系统建设目标的提出，如何最大限度地提升电网清洁能源的消纳水平和电网设施的智能化监控及管控能力，同时制定合理可靠的运行策略，维护电网安全稳定运行拥有较高的投资收益，是当前电网建设中亟待解决的技术难题。数字孪生技术的广泛发展为以上问题的解决提供了新的思路，数字孪生也以其深度融合新一代信息技术和数字模型理念引发了工业界和学术界广泛关注，数字孪生电网应运而生。工业4.0研究院分析显示，电网行业具有价值较高、技术要求不复杂等特点，非常适合作为数字孪生体应用的先导性场景。
3.数字孪生技术能够通过大数据采集和数字化模型构建，对物理世界进行精准映射，价值在于利用这些可视化的数据进行仿真和预测，从而为电网规划设计、建设实施、运维服务等全生命周期内的各环节带来回馈价值。相比于传统电网，在设备监控与管理方面，数字孪生电网可通过提供物理实体的实时虚拟化映射，设备传感器将电流、电压、温度、振动等数据实时输入数字孪生模型通过数字孪生在设备出现故障前提早进行预测，实现复杂设备的故障诊断和寿命评估等功能。在清洁能源消纳方面，数字孪生平台还可以助力预测可再生能源发电与供电负荷，实现分布式能源供需的就地平衡，助力解决高比例新能源接入及消纳为电网带来的可靠性挑战。与此同时，数字孪生电网数据和模型的可视化与互联互通，为更高层次的场景化应用提供了基础。
4.现有技术中电网设施的数字孪生方法对电网设施数据的实施映射和分析能力不足，导致不能够及时对电网设施进行远程监控和管理，难以对新能源消纳提供决策辅助。


技术实现要素：

5.本发明实施例提供了一种面向电网设施的数字孪生方法、装置及电子设备，以解决现有技术对电网清洁能源的消纳水平和电网设施的智能化监控及管控能力不足的问题。
6.第一方面，本发明实施例提供了一种面向电网设施的数字孪生方法，包括：
7.获取电网设施的多角度的物理实体图像和运动视频序列，并基于所述物理实体图像构建电网设施的静态模型；
8.确定所述静态模型与所述运动视频序列中每一帧的对应关系，以得到所述电网设施的动态模型；
9.将开发通信平台-统一架构(open platform communications unified architecture，opc ua)技术与消息队列遥测传输(message queuing telemetry transport，mqtt)技术相结合采集电网设施数据，并基于所述电网设施数据构建态势数据库和物理对象数据库；
10.基于所述态势数据库和物理对象数据库构建电网设施的逻辑模型，基于所述静态模型、所述动态模型和所述逻辑模型构建电网设施的虚拟实体。
11.在一种可能的实现方式中，所述电网设施数据包括电网设备的实时设备信息数据；
12.所述态势数据库用于存储电网设施的历史数据；所述物理对象数据库用于存储电网设施的几何模型数据和实时设备信息数据；
13.其中，所述几何模型包括所述静态模型和动态模型。
14.在一种可能的实现方式中，将opc ua技术与mqtt技术相结合采集电网设施数据，包括：
15.数据采集装置实时获取电网设施数据，将所述电网设施数据发送至opc ua服务器，并由所述opc ua服务器对所述电网设施数据进行协议转化、异构数据的融合和冗余处理；
16.所述opc ua服务器将处理后的电网设施数据发送至mqtt服务器；
17.所述mqtt服务器通过订阅机制将所述电网设施数据发送至mqtt客户端。
18.在一种可能的实现方式中，所述基于所述态势数据库和物理对象数据库构建电网设施的逻辑模型，包括：
19.基于当前已知隐性知识和电网设施领域标准与准则，采用随机梯度下降法作为深度学习网络的寻解算法，采用均方误差损失函数作为所述深度学习网络的损失函数，融合态势数据库和物理对象数据库的数据，构建电网设施的逻辑模型；
20.其中，所述已知隐性知识包括电网客观规律。
21.在一种可能的实现方式中，所述确定所述静态模型与所述运动视频序列中每一帧的对应关系，以得到所述电网设施的动态模型，包括：
22.将所述静态模型作为模板，得到初始模板网格；
23.结合所述运动视频序列，对所述初始模板网格进行时间和空间变换，得到变换后的模板网格；
24.获取各模板网格的网格信息；
25.其中，所述网格信息包括：顶点、顶点的颜色值、顶点在相机下的投影图像坐标及坐标处的颜色值；
26.基于所述网格信息构建目标能量函数，其中，所述目标能量函数为：
27.e＝λde
data
+λae
arap
+λ
ssespecial_smooth
+λ
tssetemporal_shape_smooth
28.其中，λd、λa、λ
ss
和λ
tss
为权重；e
data
为光度代价函数；e
arap
为形变代价函数；e
special_smooth
为空间平滑函数；e
temporal_shape_smooth
为时间平滑函数；
29.对所述目标能量函数进行非线性优化，输出所述静态模型与所述运动视频序列中每一帧的对应关系，以得到所述电网设施的动态模型。
30.在一种可能的实现方式中，所述基于所述物理实体图像构建电网设施的静态模型，包括：
31.基于加速稳健特征(speeded up robust features，surf)算法提取所述物理实体图像的特征点；
32.利用任意两点间最近邻比的方式实现图像特征点的匹配；
33.对已匹配的图像特征点使用两次随机抽样算法估计图像间本征矩阵，对所述本征矩阵进行奇异值分解得到旋转矩阵和平移矩阵，将匹配到的的图像特征点转移至三维空间，形成三维稀疏点云；
34.基于多视角密集重建算法获得图像深度图，基于所述图像深度图和三维稀疏点云生成电网设施的稠密点云；
35.基于泊松表面重建算法对所述稠密点云进行曲面重建，生成电网设施的静态模型。
36.在一种可能的实现方式中，所述基于surf算法提取所述物理实体图像的特征点，包括：
37.构建高斯尺度空间，并计算hessian矩阵；
38.将经过hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，定位出关键点；
39.滤除能量比较弱的关键点以及错误定位的关键点，得到最终的稳定的特征点；
40.确定特征点主方向分配并生成特征点的64位描述子。
41.第二方面，本发明实施例提供了一种面向电网设施的数字孪生装置，包括：
42.第一构建模块，用于获取电网设施的多角度的物理实体图像和运动视频序列，并基于所述物理实体图像构建电网设施的静态模型；
43.第二构建模块，用于确定所述静态模型与所述运动视频序列中每一帧的对应关系，以得到所述电网设施的动态模型；
44.第三构建模块，用于将opc ua技术与mqtt技术相结合采集电网设施数据，并基于所述电网设施数据构建态势数据库和物理对象数据库；
45.第四构建模块，用于基于所述态势数据库和物理对象数据库构建电网设施的逻辑模型，基于所述静态模型、所述动态模型和所述逻辑模型构建电网设施的虚拟实体。
46.第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
47.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
48.本发明实施例提供一种面向电网设施的数字孪生方法、装置及电子设备，通过获取电网设施的多角度的物理实体图像和运动视频序列，并构建电网设施的静态模型；然后确定静态模型与运动视频序列中每一帧的对应关系，以得到电网设施的动态模型；再将opc ua技术与mqtt技术相结合采集电网设施数据，构建态势数据库和物理对象数据库；最后基于态势数据库和物理对象数据库构建电网设施的逻辑模型，基于静态模型、动态模型和逻辑模型构建电网设施的虚拟实体。本发明实现了电网设施的数据实时映射与分析，能够提高电网设施的远程智能化监控与管理水平，以及电网清洁能源的消纳水平。
附图说明
49.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述
中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
50.图1是本发明实施例提供的面向电网设施的数字孪生方法的实现流程图；
51.图2是本发明一具体实施例提供的构建静态模型的开始界面；
52.图3是本发明一具体实施例提供的风力发电机的静态模型；
53.图4是本发明实施例提供的电网设施数据传输结构示意图；
54.图5是本发明实施例提供的构建电网设施虚拟实体的流程示意图；
55.图6是本发明一具体实施例提供的面向电网设施的数字孪生方法的实现流程图；
56.图7是本发明实施例提供的面向电网设施的数字孪生装置的结构示意图；
57.图8是本发明实施例提供的电子设备的示意图。
具体实施方式
58.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
59.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
60.参见图1，其示出了本发明实施例提供的面向电网设施的数字孪生方法的实现流程图，详述如下：
61.s101、获取电网设施的多角度的物理实体图像和运动视频序列，并基于物理实体图像构建电网设施的静态模型。
62.电网设施可以包括但不限于发电机、变压器、输配电线路和继电保护装置等。示例性的，以风力发电机为例，可以通过相机拍摄风力发电机得到标定板多角度图像，再基于张正友标定法计算单目相机的内部参数，具体可以利用matlab中camera calibrator工具箱求取相机内部参数，图2示出了相机标定完成后构建数字孪生电网设施静态模型的开始界面，页面包括“点击选择重建图片文件夹”区域和标定结果显示区域，当前标定完成后，可选择图片进行下一次标定，标定完成后在页面下方显示标定结果。
63.在一些实施例中，基于物理实体图像构建电网设施的静态模型，包括：
64.基于surf算法提取物理实体图像的特征点；
65.利用任意两点间最近邻比的方式实现图像特征点的匹配；
66.对已匹配的图像特征点使用两次随机抽样算法估计图像间本征矩阵，对本征矩阵进行奇异值分解得到旋转矩阵和平移矩阵，将匹配到的的图像特征点转移至三维空间，形成三维稀疏点云；
67.基于多视角密集重建算法获得图像深度图，基于图像深度图和三维稀疏点云生成电网设施的稠密点云；
68.基于泊松表面重建算法对稠密点云进行曲面重建，生成电网设施的静态模型。
69.在本发明实施例中，利用任意两点间最近邻比的方式实现特征点的匹配，具体实
现过程为计算不同图片中任意两个特征之间的最近距离d与次近距离d，当最近距离d与次近距离d之比小于某一阈值，判定为匹配。距离l的表达式为：
[0070][0071]
其中，xi,yi分别为不同特征64位描述子的第i位。
[0072]
对已匹配的图像特征点使用两次随机抽样算法估计图像间本征矩阵e，此过程中利用随机抽样算法多次随机选取五对匹配点计算本征矩阵，选取置信度最大的结果模型作为初步结果，并将符合此模型的点成为内点。然后对内点继续使用随机抽样算法多次随机选取五对匹配点计算本征矩阵，选取此时置信度最大的结果模型作为最终结果即本征矩阵e。五个匹配点计算本征矩阵e的求解方程如下：
[0073][0074]
其中，x1，y1，x2，y2分别是配对特征点的像素坐标。
[0075]
利用本征矩阵e进行奇异值分解得到旋转矩阵r和平移矩阵t，将匹配到的特征点转移至三维空间，形成三维稀疏点，图像上像素点与其在三维空间中的对应原理如下：
[0076][0077]
其中，u，v是图片的像素坐标；xw，yw，zw为像素点在空间中的三维坐标；r和t分别为本征矩阵e奇异值分解后得到旋转矩阵和平移矩阵；h为相机内参矩阵。
[0078]
使用多视角密集重建mvs算法估计图像的深度图，融合图像深度图与稀疏点云生成待建设施的稠密点云，对稠密点云结合泊松表面重建算法进行曲面重建，生成电网设施静态模型，图3示出了利用surf算法结合mvs算法与泊松表面重建构建的风力发电机的静态模型，不难看出，静态模型和风力发电机的物理实体是相对应的。
[0079]
在一些实施例中，基于surf算法提取物理实体图像的特征点，包括：
[0080]
构建高斯尺度空间，并计算hessian矩阵；
[0081]
将经过hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，定位出关键点；
[0082]
滤除能量比较弱的关键点以及错误定位的关键点，得到最终的稳定的特征点；
[0083]
确定特征点主方向分配并生成特征点的64位描述子。
[0084]
在本发明实施例中，给定图像中一点(x，y)，hessian矩阵h(x,y,σ)在尺度σ处具体表达式为：
[0085][0086]
其中，表示(x,y)处图像与高斯二阶微分的卷积，l
xy
(x,y,σ),l
yy
(x,y,σ)类似。
[0087]
s102、确定静态模型与运动视频序列中每一帧的对应关系，以得到电网设施的动态模型。
[0088]
在本发明实施例中，将生成的电网设施静态模型为模板，结合运动视频序列，确定电网设施的动态模型，能够呈现物体随时间进行的动态运动和形变，便于对电网设施的形变状态进行观察和判断。
[0089]
在一些实施例中，确定静态模型与运动视频序列中每一帧的对应关系，以得到电网设施的动态模型，包括：
[0090]
将静态模型作为模板，得到初始模板网格；
[0091]
结合运动视频序列，对初始模板网格进行时间和空间变换，得到变换后的模板网格；
[0092]
获取各模板网格的网格信息；
[0093]
其中，网格信息包括：顶点、顶点的颜色值、顶点在相机下的投影图像坐标及坐标处的颜色值；
[0094]
基于网格信息构建目标能量函数，其中，目标能量函数为：
[0095]
e＝λde
data
+λae
arap
+λ
ssespecial_smooth
+λ
tssetemporal_shape_smooth
[0096]
其中，λd、λa、λ
ss
和λ
tss
为权重；e
data
为光度代价函数；e
arap
为形变代价函数；e
special_smooth
为空间平滑函数；e
temporal_shape_smooth
为时间平滑函数；
[0097]
对目标能量函数进行非线性优化，输出静态模型与运动视频序列中每一帧的对应关系，以得到电网设施的动态模型。
[0098]
在本发明实施例中，目标能量函数表达式e由四项代价函数构成，每一项都有一定的权重λ，通过改变权重实现对目标能量函数的非线性优化。
[0099]
具体的，e
data
为光度代价函数，用于保证重建模型的投影成像具有与当前帧图像相似的外观，其表达式为：
[0100][0101]
其中，mi表示重建模板网格中的顶点i，表示时间步长t时刻模型网格中的顶点i，i(mi)表示模板网格m中顶点i的颜色值，π(.)为模型三维点在当前相机下的投影图像坐标，i(π(.))为当前图像帧中坐标π(.)处的颜色值，表示时间步长t刻模型网格中的顶点i经历旋转(r)与平移(t)后所对应的网格顶点。|x|
ε
为鲁棒核函数，保证目标函数避免因错误项或离群值使目标函数下降更多，导致优化算法专注于调整错误的值，避免算法走向错误的方向。
[0102][0103]earap
为形变代价函数，用于允许模型网格的弹性形变，保证形变近似于刚性形变，只要附近的点之间的相对位置保持不变，则允许顶点发生旋转而不受惩罚，其表达式为：
[0104][0105]
其中，ri是顶点i的局部旋转，ni是顶点i的相邻顶点集合，即顶点i的邻域。
[0106]especial_smooth
为空间平滑函数，用于促进模板的局部平滑形变，允许急剧的不连续性的强烈形变，其表达式为：
[0107][0108]etemporal_shape_smooth
为时间平滑函数，用于减少帧与帧之间的闪烁和突变，其表达式为：
[0109][0110]
其中，为矩阵x的frobenius范数，m
t
表示表示时间步长t时刻的网格模型。
[0111]
s103、将opc ua技术与mqtt技术相结合采集电网设施数据，并基于电网设施数据构建态势数据库和物理对象数据库。
[0112]
在本发明实施例中，在现场有多台来自不同厂家的设备或系统的情况下，每台设备或系统的协议是各不相同的，本发明提供的方法可以将这些数据传输到云端，实现远程访问。opc ua技术被广泛应用于工业中各种场景，可以统一各类物联感知设备的传输协议和数据接口在边缘侧应用较多。而mqtt基本上是国内工业物联网的首选云通信协议，自身旨在低资源设备，低带宽网络和高延迟中实现，轻量节能，基于json数据交换格式的mqtt协议更易在云平台使用。
[0113]
在一些实施例中，将opc ua技术与mqtt技术相结合采集电网设施数据，包括：
[0114]
数据采集装置实时获取电网设施数据，将电网设施数据发送至opc ua服务器，并由opc ua服务器对电网设施数据进行协议转化、异构数据的融合和冗余处理；
[0115]
opc ua服务器将处理后的电网设施数据发送至mqtt服务器；
[0116]
mqtt服务器通过订阅机制将电网设施数据发送至mqtt客户端。
[0117]
参见图4，其示出了本发明实施例提供的电网设施数据传输结构示意图，通过opc ua技术与mqtt技术将电网设施数据从电网设施实体映射到孪生电网系统的虚拟实体模型中去，数据采集装置从n个设备中采集电网设施实时数据，采集到的数据通过可编程逻辑控制器(programmable logic controller，plc)传入opc ua服务器中，opc ua服务器对数据进行处理并发送至mqtt服务器，再由mqtt服务器发送至mqtt客户端，电网设施数据存储在态势数据库和物理对象数据库中，构建孪生电网系统可以通过态势数据库和物理对象数据库对数据进行存储和调用。
[0118]
opc ua和mqtt技术都存在相似的“服务器-客户端”的订阅模式，opc ua服务器一
般集成在采集设备中，因为多种电网设施出自厂家不同，所传输的数据格式不同，多元异构数据在结构上存在较大差异，opc ua服务器能接收不同协议的数据并实现多元异构数据的处理和转化。现场采集设备数据经opc ua服务器后传入mqtt服务器中，以mqtt服务器作为opc ua服务器对应的客户端，接受来自opc ua服务器的数据并转发到云平台的mqtt客户端中。
[0119]
在一些实施例中，电网设施数据包括电网设备的实时设备信息数据；
[0120]
态势数据库用于存储电网设施的历史数据；物理对象数据库用于存储电网设施的几何模型数据和实时设备信息数据。
[0121]
在本发明实施例中，在云端融合服务器中构建态势数据库和物理对象数据库，方便数据的存储和调用。几何模型为几何参数(如形状、尺寸、位置等)与关系(如装配关系)的三维模型，是肉眼可见的外观模型，包括静态模型和动态模型。物理对象数据库中包含物理模型，主要物理实体的内在物理属性，既包含如实物材料、设备性能、人员特性等固有的物理属性，也包括生产加工参数、工艺流程参数、温度和湿度等基于物理车间采集信息动态变化的状态信息，主要为实时采集的设备信息数据。
[0122]
s104、基于态势数据库和物理对象数据库构建电网设施的逻辑模型，基于静态模型、动态模型和逻辑模型构建电网设施的虚拟实体。
[0123]
在本发明实施例中，逻辑模型分为行为模型和规则模型，行为模型描述了物理实体在不同时间尺度下的外部环境与干扰，以及内部运行机制共同作用下产生的实时响应及行为，如随时间推进的演化行为、动态功能行为和性能退化行为等。规则模型包括基于历史关联数据的规律规则，基于隐性知识总结的经验，以及相关领域标准与准则等。这些规则使虚拟实体具备实时的判断、评估、优化及预测的能力，对实体进行控制与运行指导。
[0124]
在一些实施例中，基于态势数据库和物理对象数据库构建电网设施的逻辑模型，包括：
[0125]
基于当前已知隐性知识和电网设施领域标准与准则，采用随机梯度下降法作为深度学习网络的寻解算法，采用均方误差损失函数作为深度学习网络的损失函数，融合态势数据库和物理对象数据库的数据，构建电网设施的逻辑模型。
[0126]
参见图5，其示出了本发明实施例提供的构建电网设施虚拟实体的流程示意图，在构建电网设施的逻辑模型时，将客户端订阅到的电网设施运行数据及运行状态作为输入，通过深度学习网络和已有的固定的知识构建电网设施的逻辑模型，逻辑模型可以同时构建多个，用来表述电网设施的不同属性，基于电网设施图像，通过稠密点云和表面重建算法，得到电网设施的静态模型和动态模型，融合逻辑模型一同构建电网设施的虚拟实体。具体应用中，可在发电侧构建一块光伏板的数字孪生虚拟实体，用该光伏板的逻辑模型可以实时计算出光伏板在不同外部条件下的发电量，能够预测未来一段时间内的发电量，有助于提前做出决策来调节负荷侧的设施进行消纳。在用电侧可以建立电网设施的逻辑模型，比如建立电动汽车、电热水器、空调等负荷的用电模型，预测负荷在不同指令比如温度上升一度时能消耗多少电能，以此辅助调控中心去决策。
[0127]
进一步的，本发明构建的虚拟实体可通过相关平台实现数字孪生电网的三维可视化展示及应用服务。
[0128]
下面通过一个实施示例对上述面向电网设施的数字孪生方法进行说明，参照图6，
该方法包括：
[0129]
s601、利用相机获取电网设施的多角度物理实体图像及运动视频序列。
[0130]
s602、基于张正友标定法计算单目相机内部参数，通过surf算法及最近邻比的方式实现图像特征点的提取及匹配。
[0131]
s603、使用已匹配特征点两次结合随机抽样一致性算法估计图像间的本征矩阵e获取图像间的旋转、平移信息，转移特征点至三维空间，形成电网设施稀疏点云。
[0132]
s604、基于多视角密集重建mvs算法进行图像深度图估计，恢复待建设施稠密点云，结合泊松表面重建算法进行曲面重建，生成电网设施的静态模型。
[0133]
s605、以上述步骤所生成的电网设施静态模型为模板结合运动视频序列，构建目标能量函数，求得模板与动态视频中每一帧的对应关系，得到目标物体时变的动态模型，来呈现物体的随时间进行的动态运动和形变。
[0134]
s606、将opc ua技术与mqtt技术相结合，采集电网设施数据通过opc ua通信将数据发送至mqtt服务器，再由mqtt服务器通过订阅机制将数据转送至云平台中的mqtt客户端中。
[0135]
s607、在云平台构建态势数据库及物理对象数据库，态势数据库用于历史数据的存储，物理对象数据库存储大量电网设施几何模型数据以及对应的实时设备信息数据。
[0136]
s608、以态势数据库和物理对象数据库为基础，利用深度学习网络实现设施运行模式的学习并结合设施隐性知识，构建设施运行时的逻辑模型，同静、动态模型相结合实现孪生电网设施的虚拟实体的构建。
[0137]
s609、基于有关平台实现数字孪生电网的三维可视化展示及应用服务。
[0138]
在本实施例中，通过获取电网设施的多角度的物理实体图像和运动视频序列，并构建电网设施的静态模型；然后确定静态模型与运动视频序列中每一帧的对应关系，以得到电网设施的动态模型；再将opc ua技术与mqtt技术相结合采集电网设施数据，构建态势数据库和物理对象数据库；最后基于态势数据库和物理对象数据库构建电网设施的逻辑模型，基于静态模型、动态模型和逻辑模型构建电网设施的虚拟实体。本发明实现了电网设施的数据实时映射与分析，能够提高电网设施的远程智能化监控与管理水平，以及电网清洁能源的消纳水平。
[0139]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0140]
以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
[0141]
图7示出了本发明实施例提供的一种面向电网设施的数字孪生装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，如图7所示，面向电网设施的数字孪生装置7包括：第一构建模块701、第二构建模块702、第三构建模块703和第四构建模块704。
[0142]
其中，第一构建模块701用于用于获取电网设施的多角度的物理实体图像和运动视频序列，并基于物理实体图像构建电网设施的静态模型；
[0143]
第二构建模块702用于确定静态模型与运动视频序列中每一帧的对应关系，以得
到电网设施的动态模型；
[0144]
第三构建模块703用于将opc ua技术与mqtt技术相结合采集电网设施数据，并基于电网设施数据构建态势数据库和物理对象数据库；
[0145]
第四构建模块704用于基于态势数据库和物理对象数据库构建电网设施的逻辑模型，基于静态模型、动态模型和逻辑模型构建电网设施的虚拟实体。
[0146]
在一种可能的实现方式中，第一构建模块701具体用于：基于surf算法提取物理实体图像的特征点；
[0147]
利用任意两点间最近邻比的方式实现图像特征点的匹配；
[0148]
对已匹配的图像特征点使用两次随机抽样算法估计图像间本征矩阵，对本征矩阵进行奇异值分解得到旋转矩阵和平移矩阵，将匹配到的的图像特征点转移至三维空间，形成三维稀疏点云；
[0149]
基于多视角密集重建算法获得图像深度图，基于图像深度图和三维稀疏点云生成电网设施的稠密点云；
[0150]
基于泊松表面重建算法对稠密点云进行曲面重建，生成电网设施的静态模型。
[0151]
在一种可能的实现方式中，第一构建模块701具体还用于：构建高斯尺度空间，并计算hessian矩阵；
[0152]
将经过hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，定位出关键点；
[0153]
滤除能量比较弱的关键点以及错误定位的关键点，得到最终的稳定的特征点；
[0154]
确定特征点主方向分配并生成特征点的64位描述子。
[0155]
在一种可能的实现方式中，第二构建模块702具体用于：将静态模型作为模板，得到初始模板网格；
[0156]
结合运动视频序列，对初始模板网格进行时间和空间变换，得到变换后的模板网格；
[0157]
获取各模板网格的网格信息；
[0158]
其中，网格信息包括：顶点、顶点的颜色值、顶点在相机下的投影图像坐标及坐标处的颜色值；
[0159]
基于网格信息构建目标能量函数，其中，目标能量函数为：
[0160]
e＝λde
data
+λae
arap
+λ
ssespecial_smooth
+λ
tssetemporal_shape_smooth
[0161]
其中，λd、λa、λ
ss
和λ
tss
为权重；e
data
为光度代价函数；e
arap
为形变代价函数；e
special_smooth
为空间平滑函数；e
temporal_shape_smooth
为时间平滑函数；
[0162]
对目标能量函数进行非线性优化，输出静态模型与运动视频序列中每一帧的对应关系，以得到电网设施的动态模型。
[0163]
在一种可能的实现方式中，第三构建模块703具体用于：数据采集装置实时获取电网设施数据，将电网设施数据发送至opc ua服务器，并由opc ua服务器对电网设施数据进行协议转化、异构数据的融合和冗余处理；
[0164]
opc ua服务器将处理后的电网设施数据发送至mqtt服务器；
[0165]
mqtt服务器通过订阅机制将电网设施数据发送至mqtt客户端。
[0166]
在一种可能的实现方式中，第三构建模块703具体用于：电网设施数据包括电网设
备的实时设备信息数据；
[0167]
态势数据库用于存储电网设施的历史数据；物理对象数据库用于存储电网设施的几何模型数据和实时设备信息数据；
[0168]
其中，几何模型包括静态模型和动态模型。
[0169]
在一种可能的实现方式中，第四构建模块704具体用于：基于当前已知隐性知识和电网设施领域标准与准则，采用随机梯度下降法作为深度学习网络的寻解算法，采用均方误差损失函数作为深度学习网络的损失函数，融合态势数据库和物理对象数据库的数据，构建电网设施的逻辑模型；
[0170]
其中，已知隐性知识包括电网客观规律。
[0171]
综上，本发明实施例通过获取电网设施的多角度的物理实体图像和运动视频序列，并构建电网设施的静态模型；然后确定静态模型与运动视频序列中每一帧的对应关系，以得到电网设施的动态模型；再将opc ua技术与mqtt技术相结合采集电网设施数据，构建态势数据库和物理对象数据库；最后基于态势数据库和物理对象数据库构建电网设施的逻辑模型，基于静态模型、动态模型和逻辑模型构建电网设施的虚拟实体。本发明实现了电网设施的数据实时映射与分析，能够提高电网设施的远程智能化监控与管理水平，以及电网清洁能源的消纳水平。
[0172]
图8是本发明实施例提供的电子设备的示意图。如图8所示，该实施例的电子设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个面向电网设施的数字孪生方法实施例中的步骤，例如图1所示的步骤s101至步骤s104。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块701至704的功能。
[0173]
示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述电子设备8中的执行过程。例如，所述计算机程序82可以被分割成图7所示的模块701至704。
[0174]
所述电子设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备8可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是电子设备8的示例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
[0175]
所称处理器80可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0176]
所述存储器81可以是所述电子设备8的内部存储单元，例如电子设备8的硬盘或内
存。所述存储器81也可以是所述电子设备8的外部存储设备，例如所述电子设备8上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器81还可以既包括所述电子设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
[0177]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0178]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0179]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0180]
在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0181]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0182]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0183]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个面向电网设施的数字孪生方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形
式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0184]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

技术特征：
1.一种面向电网设施的数字孪生方法，其特征在于，包括：获取电网设施的多角度的物理实体图像和运动视频序列，并基于所述物理实体图像构建电网设施的静态模型；确定所述静态模型与所述运动视频序列中每一帧的对应关系，以得到所述电网设施的动态模型；将开发通信平台-统一架构opc ua技术与消息队列遥测传输mqtt技术相结合采集电网设施数据，并基于所述电网设施数据构建态势数据库和物理对象数据库；基于所述态势数据库和物理对象数据库构建电网设施的逻辑模型，基于所述静态模型、所述动态模型和所述逻辑模型构建电网设施的虚拟实体。2.根据权利要求1所述的方法，其特征在于，所述电网设施数据包括电网设备的实时设备信息数据；所述态势数据库用于存储电网设施的历史数据；所述物理对象数据库用于存储电网设施的几何模型数据和实时设备信息数据；其中，所述几何模型包括所述静态模型和动态模型。3.根据权利要求1所述的方法，其特征在于，将opc ua技术与mqtt技术相结合采集电网设施数据，包括：数据采集装置实时获取电网设施数据，将所述电网设施数据发送至opc ua服务器，并由所述opc ua服务器对所述电网设施数据进行协议转化、异构数据的融合和冗余处理；所述opc ua服务器将处理后的电网设施数据发送至mqtt服务器；所述mqtt服务器通过订阅机制将所述电网设施数据发送至mqtt客户端。4.根据权利要求1所述的方法，其特征在于，所述基于所述态势数据库和物理对象数据库构建电网设施的逻辑模型，包括：基于当前已知隐性知识和电网设施领域标准与准则，采用随机梯度下降法作为深度学习网络的寻解算法，采用均方误差损失函数作为所述深度学习网络的损失函数，融合态势数据库和物理对象数据库的数据，构建电网设施的逻辑模型；其中，所述已知隐性知识包括电网客观规律。5.根据权利要求1所述的方法，其特征在于，所述确定所述静态模型与所述运动视频序列中每一帧的对应关系，以得到所述电网设施的动态模型，包括：将所述静态模型作为模板，得到初始模板网格；结合所述运动视频序列，对所述初始模板网格进行时间和空间变换，得到变换后的模板网格；获取各模板网格的网格信息；其中，所述网格信息包括：顶点、顶点的颜色值、顶点在相机下的投影图像坐标及坐标处的颜色值；基于所述网格信息构建目标能量函数，其中，所述目标能量函数为：e＝λ
d
e
data
+λ
a
e
arap
+λ
ss
e
special_smooth
+λ
tss
e
temporal_shape_smooth
其中，λ
d
、λ
a
、λ
ss
和λ
tss
为权重；e
data
为光度代价函数；e
arap
为形变代价函数；e
special_smooth
为空间平滑函数；e
temporal_shape_smooth
为时间平滑函数；对所述目标能量函数进行非线性优化，输出所述静态模型与所述运动视频序列中每一
帧的对应关系，以得到所述电网设施的动态模型。6.根据权利要求1所述的方法，其特征在于，所述基于所述物理实体图像构建电网设施的静态模型，包括：基于加速稳健特征surf算法提取所述物理实体图像的特征点；利用任意两点间最近邻比的方式实现图像特征点的匹配；对已匹配的图像特征点使用两次随机抽样算法估计图像间本征矩阵，对所述本征矩阵进行奇异值分解得到旋转矩阵和平移矩阵，将匹配到的的图像特征点转移至三维空间，形成三维稀疏点云；基于多视角密集重建算法获得图像深度图，基于所述图像深度图和三维稀疏点云生成电网设施的稠密点云；基于泊松表面重建算法对所述稠密点云进行曲面重建，生成电网设施的静态模型。7.根据权利要求6所述的方法，其特征在于，所述基于加速稳健特征surf算法提取所述物理实体图像的特征点，包括：构建高斯尺度空间，并计算hessian矩阵；将经过hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，定位出关键点；滤除能量比较弱的关键点以及错误定位的关键点，得到最终的稳定的特征点；确定特征点主方向分配并生成特征点的64位描述子。8.一种面向电网设施的数字孪生装置，其特征在于，包括：第一构建模块，用于获取电网设施的多角度的物理实体图像和运动视频序列，并基于所述物理实体图像构建电网设施的静态模型；第二构建模块，用于确定所述静态模型与所述运动视频序列中每一帧的对应关系，以得到所述电网设施的动态模型；第三构建模块，用于将开发通信平台-统一架构opc ua技术与消息队列遥测传输mqtt技术相结合采集电网设施数据，并基于所述电网设施数据构建态势数据库和物理对象数据库；第四构建模块，用于基于所述态势数据库和物理对象数据库构建电网设施的逻辑模型，基于所述静态模型、所述动态模型和所述逻辑模型构建电网设施的虚拟实体。9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述方法的步骤。

技术总结
本发明涉及数字孪生技术领域，尤其涉及一种面向电网设施的数字孪生方法、装置及电子设备。该方法包括：获取电网设施的多角度的物理实体图像和运动视频序列，并构建电网设施的静态模型；然后确定静态模型与运动视频序列中每一帧的对应关系，以得到电网设施的动态模型；再将OPC UA技术与MQTT技术相结合采集电网设施数据，构建态势数据库和物理对象数据库；最后基于态势数据库和物理对象数据库构建电网设施的逻辑模型，基于静态模型、动态模型和逻辑模型构建电网设施的虚拟实体。本发明实现了电网设施的数据实时映射与分析，提高了电网设施的远程智能化监控与管理水平，以及新能源消纳水平。纳水平。纳水平。


技术研发人员：韩璟琳 侯若松 武昕 陈志永 刘宇航 邢志坤 李洪涛
受保护的技术使用者：国网河北省电力有限公司 华北电力大学 国家电网有限公司
技术研发日：2023.04.14
技术公布日：2023/8/22