一种基于变长语义编码的电力视频监控方法及装置

1.本发明涉及电力监控技术领域，尤其涉及一种基于变长语义编码的电力视频监控方法及装置。


背景技术：

2.我国已经实现了对人口的供电全覆盖，彻底解决了用电问题，但有些家庭并没有集中居住在城市或乡村中，因此需要通过输电铁塔的方式，将电力投运到离城市较远的山区中。
3.用于电力供应的电力设备可能会发生故障，电力设备的故障会不同程度的影响电力系统的稳定，所以电力设备需要定期巡视检查，如果出现故障需要及时修理，但是某些设备安装的位置并不适合人类高频率的巡视检查，巡查效率较低，且难以通过非人工的方式对电力设备进行监控。


技术实现要素：

4.鉴于此，本发明的实施例提供了一种基于变长语义编码的电力视频监控方法，以消除或改善现有技术中存在的一个或更多个缺陷。
5.本发明的一个方面提供了一种基于变长语义编码的电力视频监控方法，所述方法的步骤包括：
6.每隔预设间隔时间从多个角度采集电力设备的图像数据，获取间隔时间前后所采集的图像数据，对所述图像数据通过第一模型进行语义分割，将所述图像数据分割为多个区域；
7.提取目标区域的图像参数，基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输；
8.若需要对间隔时间后的图像数据进行传输，则基于传输信道的信道参数确定编码长度；
9.基于所述编码长度采用transformer模型对待传输的图像数据进行编码，并通过信道向接收端发送。
10.采用上述方案，本方案首先通过比间隔时间前后所采集的目标区域图像数据，确定是否在该区域发生变化，若发生变化较大，则说明可能发生故障，需要将图像进行传输；若发生变化较小或没有变化，则说明发生故障可能较小，不需要将图像进行传输；即本方案不需要对图像进行全部传输，仅需要对存在故障可能时对图像进行传输，适合高频率的巡视检查，提高巡查效率，且不需要人工干预。
11.在本发明的一些实施方式中，所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤为，获取间隔时间前后所采集的目标区域图像数据中各个像素点的像素值，基于目标区域图像数据中各个像素点的像素值计算间隔时间前后所采集的目标区域图像数据的图片相似性，基于所述图片相似性确定是
否需要对间隔时间后的图像数据进行传输。
12.在本发明的一些实施方式中，所述基于目标区域图像数据中各个像素点的像素值计算间隔时间前后所采集的目标区域图像数据的图片相似性的步骤包括：
13.基于间隔时间前后的目标区域图像数据中各个像素点的像素值分别计算亮度参数、对比度参数和结构参数；
14.基于亮度参数、对比度参数和结构参数计算图片相似性。
15.在本发明的一些实施方式中，在基于亮度参数、对比度参数和结构参数计算图片相似性的步骤中，根据如下公式计算图片相似性：
16.ssim(x,y)＝[l(x,y)
α
c(x,y)
β
s(x,y)
γ
]；
[0017]
其中，x表示间隔时间前的目标区域图像数据，y表示间隔时间后的目标区域图像数据，ssim(x,y)表示间隔时间前后的目标区域图像数据的图片相似性，l(x,y)表示间隔时间前后的目标区域图像数据的亮度参数，c(x,y)表示间隔时间前后的目标区域图像数据的对比度参数，s(x,y)表示间隔时间前后的目标区域图像数据的结构参数，α、β和γ均为预设的参数。
[0018]
在本发明的一些实施方式中，在基于间隔时间前后的目标区域图像数据中各个像素点的像素值分别计算亮度参数、对比度参数和结构参数的步骤中，根据如下公式计算亮度参数、对比度参数和结构参数：
[0019][0020]
其中，l(x,y)表示间隔时间前后的目标区域图像数据的亮度参数，μ
x
和μy分别表示间隔时间前后的目标区域图像数据的像素值的平均值，c1为预设的参数；
[0021][0022]
其中，c(x,y)表示间隔时间前后的目标区域图像数据的对比度参数，σ
x
和σy分别表示间隔时间前后的目标区域图像数据的像素值的标准差，和分别表示间隔时间前后的目标区域图像数据的像素值的的方差，c2为预设的参数；
[0023][0024]
其中，s(x,y)表示间隔时间前后的目标区域图像数据的结构参数，c3为预设的参数。
[0025]
在本发明的一些实施方式中，所述对间隔时间后的图像数据进行传输的步骤包括，基于目标区域图像数据中每个像素点的像素值计算每个像素点的信息熵，基于所述信息熵确定该像素点是否被传输。
[0026]
在本发明的一些实施方式中，在基于目标区域图像数据中每个像素点的像素值计算每个像素点的信息熵的步骤中，基于如下公式计算像素点的信息熵：
[0027]
[0028][0029]
其中，h(m)表示像素点m的信息熵，p(m)表示像素点m的概率参数，σy表示间隔时间后的目标区域图像数据的像素值的标准差，表示间隔时间后的目标区域图像数据的像素值的方差，q表示像素点m的像素值，μ1间隔时间后的目标区域图像数据的像素值的平均值。
[0030]
在本发明的一些实施方式中，所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤包括，基于预设的第二模型将多个角度的目标区域图像数据构建为目标区域的3d点云模型；
[0031]
基于间隔时间前后的3d点云模型的点云图像参数确定对间隔时间后的3d点云模型进行传输。
[0032]
在本发明的一些实施方式中，所述基于间隔时间前后的3d点云模型的点云图像参数确定对间隔时间后的3d点云模型进行传输的步骤包括：
[0033]
基于间隔时间前后的3d点云模型中每个点云的位置参数计算峰值信噪比，基于所述峰值信噪比确定是否需要对间隔时间后的3d点云模型进行传输。
[0034]
在本发明的一些实施方式中，在基于间隔时间前后的3d点云模型中每个点云的位置参数计算峰值信噪比的步骤中，基于如下公式计算峰值信噪比：
[0035][0036][0037]
其中，psnr表示峰值信噪比，mse表示均方误差，n表示图像数据中每像素的比特数，h、w和z分别表示3d点云模型的长宽高，i、j和k分别表示长、宽和高的坐标参数，x(i,j,k)表示间隔时间前的3d点云模型的点云坐标，y(i,j,k)表示间隔时间后的3d点云模型的点云坐标。
[0038]
在本发明的一些实施方式中，若所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤包括，基于预设的第二模型将多个角度的目标区域图像数据构建为目标区域的3d点云模型；
[0039]
则所述对间隔时间后的图像数据进行传输的步骤包括，获取3d点云模型中每个点云在目标区域图像中对应的像素值，基于点云在目标区域图像中对应的像素值计算每个点云的信息熵，基于所述信息熵确定该点云是否被传输。
[0040]
在具体实施过程中，获取3d点云模型中每个点云在目标区域图像中对应的像素值为点云在多个目标区域的图像的对应位置的像素值的平均值。
[0041]
在具体实施过程中，将每个点云的信息熵与预设的第二信息熵阈值进行比对，若点云的信息熵低于预设的第二信息熵阈值，则不需要传输该点云。
[0042]
在本发明的一些实施方式中，在基于点云在目标区域图像中对应的像素值计算每个点云的信息熵的步骤中，根据如下公式计算点云的信息熵：
[0043]
[0044][0045]
其中，h(τ)表示点云τ的信息熵，p(τ)表示点云τ的概率参数，σ'y表示间隔时间后的3d点云模型中各个点云所对应的像素值的标准差，表示间隔时间后的3d点云模型中各个点云所对应的像素值的方差，μ2表示间隔时间后的3d点云模型中各个点云所对应的像素值的平均值，ω表示间隔时间后的3d点云模型中点云τ所对应的像素值。
[0046]
本发明的第二方面还提供一种基于变长语义编码的电力视频监控装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。
[0047]
本发明的第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于变长语义编码的电力视频监控方法所实现的步骤。
[0048]
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
[0049]
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
[0050]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
[0051]
图1为本发明基于变长语义编码的电力视频监控方法一种实施方式的示意图；
[0052]
图2为本发明基于变长语义编码的电力视频监控方法另一种实施方式的示意图；
[0053]
图3为本发明基于变长语义编码的电力视频监控方法再一种实施方式的示意图；
[0054]
图4为unet模型的结构示意图；
[0055]
图5为图像数据语义分割前后的对比示意图；
[0056]
图6为电力设备采集图像的场景示意图。
具体实施方式
[0057]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
[0058]
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
[0059]
为解决以上问题，如图1所示，本发明提出一种基于变长语义编码的电力视频监控方法，所述方法的步骤包括：
[0060]
如图6所示，步骤s100，每隔预设间隔时间从多个角度采集电力设备的图像数据，获取间隔时间前后所采集的图像数据，对所述图像数据通过第一模型进行语义分割，将所述图像数据分割为多个区域；
[0061]
在本发明的一些实施方式中，所述电力设备可以为输电杆塔，所述电力设备的图像数据可以通过摄像机进行采集，所述间隔时间可以为12小时、24小时或48小时。
[0062]
在具体实施过程中，所述第一模型可以为unet模型，unet模型可以为如图4所示结果，所述图像数据语义分割前后的对比示意图如图5所示。
[0063]
在具体实施过程中，预先设置有目标区域，采用上述方案，每次进行语义分割后仅需提取目标区域，一方面降低了计算量，另一方面能够防止其他区域对目标区域的干扰。
[0064]
步骤s200，提取目标区域的图像参数，基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输；
[0065]
在本发明的一些实施方式中，所述图像参数包括目标区域的图像中各个像素点的像素值。
[0066]
步骤s300，若需要对间隔时间后的图像数据进行传输，则基于传输信道的信道参数确定编码长度；
[0067]
在具体实施过程中，将所述信道参数输入到预设的多层感知机模型中，通过所述多层感知机模型输出编码长度。
[0068]
多层感知机(mlp，multi-layer perception)是一种前馈人工神经网络模型，将输入的多个数据集映射到单一的输出的数据集上。mlp可以看作是一个有向图，由多个节点层组成，每一层全连接到下一层，使用bp反向传播算法的监督学习方法来训练mlp。mlp也可以使用任何形式的激活函数，将非线性引入神经元，因此能够处理非线性问题。
[0069]
在本发明的一些实施方式中，若不需要对间隔时间后的图像数据进行传输，则等待下一次间隔时间后的图像，重新判定是否需要对此次的间隔时间后的图像数据进行传输。
[0070]
在本发明的一些实施方式中，所述信道参数包括信道的信噪比(snr，signal noise rate)、信道状态信息(csi，channel state information)和接收信号强度(rssi，received signal strength indicator)。
[0071]
将所述信噪比和/或信道状态信息和/或接收信号强度作为多层感知机网络模型的输入。
[0072]
在本发明的一些实施方式中，将信噪比、信道状态信息和接收信号强度组合为输入向量，输入到多层感知机网络模型中，通过所述多层感知机模型输出编码长度。
[0073]
在本发明的一些实施方式中，以信道的信噪比(snr，signal noise rate)作为所述多层感知机模型的输入，使用信噪比评估信道条件，选择不同的编码长度。
[0074]
在本发明的一些实施方式中，以信道的信道状态信息(csi，channel state information)作为所述多层感知机模型的输入，使用信道状态信息中的一些参数来评估信道条件，选择不同的编码长度；
[0075]
在本发明的一些实施方式中，以信道的接收信号强度(rssi，received signal strength indicator)作为所述多层感知机模型的输入，使用接收信号强度评估信道条件，选择不同的编码长度。
[0076]
采用上述方案，将信道参数作为输入，使用多层感知机网络对输入进行计算，得出在当前信道状态下的最优编码长度，如果信道质量较好，则使用较短的编码长度，如果信道质量较差，则使用较长的编码长度。编码器根据多层感知机网络的输出，对传输的变化部分的信息进行语义编码，经过一段时间后重新检测信道状态，如果信道参数没有发生明显变化，则不改变编码长度；如果信道参数发生较大变化，使用多层感知机网络重新计算编码长度，这样就可以提高视频传输对信道状况的适应性。
[0077]
步骤s400，基于所述编码长度采用transformer模型对待传输的图像数据进行编码，并通过信道向接收端发送。
[0078]
在本发明的一些实施方式中，采用transformer模型将待传输的图像数据编码为多层感知机模型所输出的编码长度，并通过信道向接收端发送。
[0079]
transformer是基于一种编码器-解码器架构的模型。解码器中的注意力层是自注意力机制，虽然有三个输入分别表示query、key和value，但其实这三个输入的值是同一个。解码器中有两个注意力层，第一个注意力层中使用了mask，将来自其他输入的权重设为0；第二个注意力层不再是自注意机制，它的value和key来自于编码器的输出，query来自于下一层解码器的输出。
[0080]
transformer模型的输入是要传的信息以及编码的长度，模型的输出是编码后的信号。
[0081]
采用上述方案，本方案首先通过比间隔时间前后所采集的目标区域图像数据，确定是否在该区域发生变化，若发生变化较大，则说明可能发生故障，需要将图像进行传输；若发生变化较小或没有变化，则说明发生故障可能较小，不需要将图像进行传输；即本方案不需要对图像进行全部传输，仅需要对存在故障可能时对图像进行传输，适合高频率的巡视检查，提高巡查效率，且不需要人工干预。
[0082]
如图2所示，在本发明的一些实施方式中，所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤为，步骤s210，获取间隔时间前后所采集的目标区域图像数据中各个像素点的像素值；步骤s220，基于目标区域图像数据中各个像素点的像素值计算间隔时间前后所采集的目标区域图像数据的图片相似性；步骤s230，基于所述图片相似性确定是否需要对间隔时间后的图像数据进行传输。
[0083]
在本发明的一些实施方式中，将目标区域的图像分割为多个子区域，分别计算每个子区域的图片相似性，并计算对比间隔时间前后的每个子区域的图片相似性，若图片相似性低于相似度阈值，则将该子区域的图像进行传输。
[0084]
采用上述方案，将目标区域的图像分割为多个子区域，分别对比每个子区域的图像，一方面可以降低整个目标区域计算的计算量，也可以精确确定需要传输的子区域，提高传输效率。
[0085]
在本发明的一些实施方式中，所述基于目标区域图像数据中各个像素点的像素值计算间隔时间前后所采集的目标区域图像数据的图片相似性的步骤包括：
[0086]
基于间隔时间前后的目标区域图像数据中各个像素点的像素值分别计算亮度参数、对比度参数和结构参数；
[0087]
基于亮度参数、对比度参数和结构参数计算图片相似性。
[0088]
在本发明的一些实施方式中，在基于亮度参数、对比度参数和结构参数计算图片
相似性的步骤中，根据如下公式计算图片相似性：
[0089]
ssim(x,y)＝[l(x,y)
α
c(x,y)
β
s(x,y)
γ
]；
[0090]
其中，x表示间隔时间前的目标区域图像数据，y表示间隔时间后的目标区域图像数据，ssim(x,y)表示间隔时间前后的目标区域图像数据的图片相似性，l(x,y)表示间隔时间前后的目标区域图像数据的亮度参数，c(x,y)表示间隔时间前后的目标区域图像数据的对比度参数，s(x,y)表示间隔时间前后的目标区域图像数据的结构参数，α、β和γ均为预设的参数；
[0091]
若得到的图像相似度参数低于预设的图像相似度阈值，则需要对该图像进行传输。
[0092]
采用上述方案，本方案能够从多个维度计算两个图像的相似度，提高图像比对的准确性。
[0093]
在本发明的一些实施方式中，在基于间隔时间前后的目标区域图像数据中各个像素点的像素值分别计算亮度参数、对比度参数和结构参数的步骤中，根据如下公式计算亮度参数、对比度参数和结构参数：
[0094][0095]
其中，l(x,y)表示间隔时间前后的目标区域图像数据的亮度参数，μ
x
和μy分别表示间隔时间前后的目标区域图像数据的像素值的平均值，c1为预设的参数；
[0096][0097]
其中，c(x,y)表示间隔时间前后的目标区域图像数据的对比度参数，σ
x
和σy分别表示间隔时间前后的目标区域图像数据的像素值的标准差，和分别表示间隔时间前后的目标区域图像数据的像素值的方差，c2为预设的参数；
[0098][0099]
其中，s(x,y)表示间隔时间前后的目标区域图像数据的结构参数，c3为预设的参数。
[0100]
在具体实施过程中，当将α、β和γ设定为1，可以得到
[0101][0102]
在具体实施过程中，根据如下公式计算c1、c2和c3：
[0103]
c1＝(k1l)2，c2＝(k2l)2，
[0104]
其中，l为像素值的范围，k1和k2均为预设的参数。
[0105]
在具体实施过程中，若所述目标区域的图像为8位图像，则l为255；k1和k2可以分别设置为k1＝0.01，k2＝0.03。
[0106]
若图像是彩色图像，可以用三种方式计算：分别计算rgb三个通道的psnr，然后取平均值；计算rgb三通道的mse，然后再除以3；将图片转化为ycbcr格式，然后只计算y分量也
就是亮度分量的psnr。
[0107]
计算结果为一个正值，越大说明相似性越高。两个完全意义是计算不出来的，相似度较高的结果可以有100多。也是设定一个判断阈值，低于该阈值就判定为变化，高于该阈值就判定为基本不变。
[0108]
如图2所示，在本发明的一些实施方式中，所述对间隔时间后的图像数据进行传输的步骤包括，步骤s310，基于目标区域图像数据中每个像素点的像素值计算每个像素点的信息熵；步骤s320，基于所述信息熵确定该像素点是否被传输。
[0109]
s330，基于传输信道的信道参数确定编码长度。
[0110]
在本发明的一些实施方式中，在基于目标区域图像数据中每个像素点的像素值计算每个像素点的信息熵的步骤中，基于如下公式计算像素点的信息熵：
[0111][0112][0113]
其中，h(m)表示像素点m的信息熵，p(m)表示像素点m的概率参数，σy表示间隔时间后的目标区域图像数据的像素值的标准差，表示间隔时间后的目标区域图像数据的像素值的方差，q表示像素点m的像素值，μ1间隔时间后的目标区域图像数据的像素值的平均值。
[0114]
在具体实施过程中，将每个像素点计算得到的信息熵参数与预设的第一信息熵阈值进行比较，不需要传输低于第一信息熵阈值的像素点。
[0115]
采用上述方案，本方案通过计算每个像素点的信息熵能够进一步对每个像素点的重要度进行计算，若信息熵较高则说明重要程度较高，本方案仅对重要程度较高的像素点进行传输，提高传输效率，减轻信道压力。
[0116]
本方案使用熵打孔的方式进行压缩，在图像中，高对比度的区域往往包含更多信息，如边缘区域，或者纹理区域。引入超先验，就可以更好的捕捉依赖关系，实现更好的压缩性能。
[0117]
在图中信息熵比较高的部分意味着对还原图片的过程的作用较大，如果在传输时，根据信息熵矩阵的元素位置，对模型输出的特征图进行处理，将作用较小的部分的比特丢弃，在接收机处只使用保留的部分进行算法还原，还是可以达成比较好的效果。根据信道条件的不同，调整抛弃矩阵中的像素的比例，在信道条件较好时，抛弃的比例较低；在信道条件较差时，抛弃的比例较高。在输出编码结果时，标记原本的像素位置，这样在不同的信道条件下，被编码的像素就会改变，使输出的编码长度也随之改变。
[0118]
如图3所示，在本发明的一些实施方式中，所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤包括，步骤s240，基于预设的第二模型将多个角度的目标区域图像数据构建为目标区域的3d点云模型；
[0119]
步骤s250，基于间隔时间前后的3d点云模型的点云图像参数确定对间隔时间后的3d点云模型进行传输。
[0120]
在具体实施过程中，所述第二模型可以为采用神经辐射场模型(nerf)，通过神经辐射场模型将多个角度的目标区域图像数据构建为目标区域的3d点云模型。
[0121]
采用上述方案，3d点云模型更为具象化，通过对比3d点云模型，提高对比精准度。
[0122]
在本发明的一些实施方式中，所述基于间隔时间前后的3d点云模型的点云图像参数确定对间隔时间后的3d点云模型进行传输的步骤包括：
[0123]
基于间隔时间前后的3d点云模型中每个点云的位置参数计算峰值信噪比；基于所述峰值信噪比确定是否需要对间隔时间后的3d点云模型进行传输。
[0124]
在具体实施过程中，将3d点云模型分割为多个三维区域，基于上述方案计算每个三维区域的峰值信噪比，基于所述峰值信噪比确定是否需要对每个三维区域进行传输。
[0125]
若计算得到的峰值信噪比低于预设的峰值信噪比，则相似度较低，需要进行传输。
[0126]
采用上述方案，将3d点云模型分割为多个三维区域，分别对比每个三维区域，一方面可以降低整个3d点云模型计算的计算量，也可以精确确定需要传输的三维区域，提高传输效率。
[0127]
在本发明的一些实施方式中，在基于间隔时间前后的3d点云模型中每个点云的位置参数计算峰值信噪比的步骤中，基于如下公式计算峰值信噪比：
[0128][0129][0130]
其中，psnr表示峰值信噪比，mse表示均方误差，n表示图像数据中每像素的比特数，h、w和z分别表示3d点云模型的长宽高，i、j和k分别表示长、宽和高的坐标参数，x(i,j,k)表示间隔时间前的3d点云模型的点云坐标，y(i,j,k)表示间隔时间后的3d点云模型的点云坐标。
[0131]
在均方误差的计算公式中，扫描每个位置，若在间隔时间前的3d点云模型中的某个位置存在点云，且间隔时间后的3d点云模型中的同样位置不存在点云，则个位置存在点云，且间隔时间后的3d点云模型中的同样位置不存在点云，则若在间隔时间后的3d点云模型中的某个位置存在点云，且间隔时间前的3d点云模型中的同样位置不存在点云，则云，且间隔时间前的3d点云模型中的同样位置不存在点云，则若在间隔时间后的3d点云模型中的某个位置存在点云，且间隔时间前的3d点云模型中的同样位置存在点云，则云，且间隔时间前的3d点云模型中的同样位置存在点云，则
[0132]
如图3所示，在本发明的一些实施方式中，若所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤包括，基于预设的第二模型将多个角度的目标区域图像数据构建为目标区域的3d点云模型；
[0133]
则所述对间隔时间后的图像数据进行传输的步骤包括：步骤s340，获取3d点云模型中每个点云在目标区域图像中对应的像素值；步骤s350，基于点云在目标区域图像中对应的像素值计算每个点云的信息熵；步骤s360，基于所述信息熵确定该点云是否被传输。
[0134]
在具体实施过程中，将每个点云计算得到的信息熵参数与预设的第二信息熵阈值进行比较，不需要传输低于第二信息熵阈值的点云。
[0135]
s370，基于传输信道的信道参数确定编码长度。
[0136]
采用上述方案，本方案通过计算每个点云的信息熵能够进一步对每个点云的重要度进行计算，若信息熵较高则说明重要程度较高，本方案仅对重要程度较高的像素点进行传输，提高传输效率，减轻信道压力。
[0137]
在本发明的一些实施方式中，在基于点云在目标区域图像中对应的像素值计算每个点云的信息熵的步骤中，根据如下公式计算点云的信息熵：
[0138][0139][0140]
其中，h(τ)表示点云τ的信息熵，p(τ)表示点云τ的概率参数，σ'y表示间隔时间后的3d点云模型中各个点云所对应的像素值的标准差，表示间隔时间后的3d点云模型中各个点云所对应的像素值的方差，μ2表示间隔时间后的3d点云模型中各个点云所对应的像素值的平均值，ω表示间隔时间后的3d点云模型中点云τ所对应的像素值。
[0141]
本发明实施例还提供一种基于变长语义编码的电力视频监控装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。
[0142]
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于变长语义编码的电力视频监控方法所实现的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、软盘、硬盘、可移动存储盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
[0143]
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
[0144]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
[0145]
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他
实施方式的特征。
[0146]
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于变长语义编码的电力视频监控方法，其特征在于，所述方法的步骤包括：每隔预设间隔时间从多个角度采集电力设备的图像数据，获取间隔时间前后所采集的图像数据，对所述图像数据通过第一模型进行语义分割，将所述图像数据分割为多个区域；提取目标区域的图像参数，基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输；若需要对间隔时间后的图像数据进行传输，则基于传输信道的信道参数确定编码长度；基于所述编码长度采用transformer模型对待传输的图像数据进行编码，并通过信道向接收端发送。2.根据权利要求1所述的基于变长语义编码的电力视频监控方法，其特征在于，所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤为，获取间隔时间前后所采集的目标区域图像数据中各个像素点的像素值，基于目标区域图像数据中各个像素点的像素值计算间隔时间前后所采集的目标区域图像数据的图片相似性，基于所述图片相似性确定是否需要对间隔时间后的图像数据进行传输。3.根据权利要求2所述的基于变长语义编码的电力视频监控方法，其特征在于，所述基于目标区域图像数据中各个像素点的像素值计算间隔时间前后所采集的目标区域图像数据的图片相似性的步骤包括：基于间隔时间前后的目标区域图像数据中各个像素点的像素值分别计算亮度参数、对比度参数和结构参数；基于亮度参数、对比度参数和结构参数计算图片相似性。4.根据权利要求3所述的基于变长语义编码的电力视频监控方法，其特征在于，在基于亮度参数、对比度参数和结构参数计算图片相似性的步骤中，根据如下公式计算图片相似性：ssim(x，y)＝[l(x，y)
α
c(x，y)
β
s(x，y)
γ
]；其中，x表示间隔时间前的目标区域图像数据，y表示间隔时间后的目标区域图像数据，ssim(x，y)表示间隔时间前后的目标区域图像数据的图片相似性，l(x，y)表示间隔时间前后的目标区域图像数据的亮度参数，c(x，y)表示间隔时间前后的目标区域图像数据的对比度参数，s(x，y)表示间隔时间前后的目标区域图像数据的结构参数，α、β和γ均为预设的参数。5.根据权利要求3或4所述的基于变长语义编码的电力视频监控方法，其特征在于，在基于间隔时间前后的目标区域图像数据中各个像素点的像素值分别计算亮度参数、对比度参数和结构参数的步骤中，根据如下公式计算亮度参数、对比度参数和结构参数：其中，l(x，y)表示间隔时间前后的目标区域图像数据的亮度参数，μ
x
和μ
y
分别表示间隔时间前后的目标区域图像的像素值平均值，c1为预设的参数；
其中，c(x，y)表示间隔时间前后的目标区域图像数据的对比度参数，σ
x
和σ
y
分别表示间隔时间前后的目标区域图像的像素值的标准差，和分别表示间隔时间前后的目标区域图像的像素值的方差，c2为预设的参数；其中，s(x，y)表示间隔时间前后的目标区域图像数据的结构参数，c3为预设的参数。6.根据权利要求1所述的基于变长语义编码的电力视频监控方法，其特征在于，所述对间隔时间后的图像数据进行传输的步骤包括，基于目标区域图像数据中每个像素点的像素值计算每个像素点的信息熵，基于所述信息熵确定该像素点是否被传输。7.根据权利要求6所述的基于变长语义编码的电力视频监控方法，其特征在于，在基于目标区域图像数据中每个像素点的像素值计算每个像素点的信息熵的步骤中，基于如下公式计算像素点的信息熵：式计算像素点的信息熵：其中，h(m)表示像素点m的信息熵，p(m)表示像素点m的概率参数，σ
y
表示间隔时间后的目标区域图像数据的像素值的标准差，表示间隔时间后的目标区域图像数据的像素值的方差，q表示像素点m的像素值，μ1间隔时间后的目标区域图像数据的像素值的平均值。8.根据权利要求1所述的基于变长语义编码的电力视频监控方法，其特征在于，所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤包括，基于预设的第二模型将多个角度的目标区域图像数据构建为目标区域的3d点云模型；基于间隔时间前后的3d点云模型的点云图像参数确定对间隔时间后的3d点云模型进行传输。9.根据权利要求8所述的基于变长语义编码的电力视频监控方法，其特征在于，所述基于间隔时间前后的3d点云模型的点云图像参数确定对间隔时间后的3d点云模型进行传输的步骤包括：基于间隔时间前后的3d点云模型中每个点云的位置参数计算峰值信噪比，基于所述峰值信噪比确定是否需要对间隔时间后的3d点云模型进行传输。10.根据权利要求9所述的基于变长语义编码的电力视频监控方法，其特征在于，在基于间隔时间前后的3d点云模型中每个点云的位置参数计算峰值信噪比的步骤中，基于如下公式计算峰值信噪比：
其中，psnr表示峰值信噪比，mse表示均方误差，n表示图像数据中每像素的比特数，h、w和z分别表示3d点云模型的长宽高，i、j和k分别表示长、宽和高的坐标参数，x(i，j，k)表示间隔时间前的3d点云模型的点云坐标，y(i，j，k)表示间隔时间后的3d点云模型的点云坐标。11.根据权利要求8所述的基于变长语义编码的电力视频监控方法，其特征在于，若所述基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输的步骤包括，基于预设的第二模型将多个角度的目标区域图像数据构建为目标区域的3d点云模型；则所述对间隔时间后的图像数据进行传输的步骤包括，获取3d点云模型中每个点云在目标区域图像中对应的像素值，基于点云在目标区域图像中对应的像素值计算每个点云的信息熵，基于所述信息熵确定该点云是否被传输。12.根据权利要求11所述的基于变长语义编码的电力视频监控方法，其特征在于，在基于点云在目标区域图像中对应的像素值计算每个点云的信息熵的步骤中，根据如下公式计算点云的信息熵：算点云的信息熵：其中，h(τ)表示点云τ的信息熵，p(τ)表示点云τ的概率参数，σ
′
y
表示间隔时间后的3d点云模型中各个点云所对应的像素值的标准差，表示间隔时间后的3d点云模型中各个点云所对应的像素值的方差，μ2表示间隔时间后的3d点云模型中各个点云所对应的像素值的平均值，ω表示间隔时间后的3d点云模型中点云τ所对应的像素值。13.一种基于变长语义编码的电力视频监控装置，其特征在于，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1-12任一项所述方法所实现的步骤。

技术总结
本发明提供一种基于变长语义编码的电力视频监控方法及装置，所述方法的步骤包括：每隔预设间隔时间从多个角度采集电力设备的图像数据，获取间隔时间前后所采集的图像数据，对所述图像数据通过第一模型进行语义分割，将图像数据分割为多个区域；提取目标区域的图像参数，基于间隔时间前后所采集的目标区域图像的图像参数确定是否对间隔时间后的图像数据进行传输；若需要对间隔时间后的图像数据进行传输，则基于传输信道的信道参数确定编码长度；基于编码长度采用多层感知机网络模型对待传输的图像数据进行编码，并通过信道向接收端发送。本方案仅需要对存在故障可能时对图像进行传输，适合高频率的巡视检查，提高巡查效率，且不需要人工干预。且不需要人工干预。且不需要人工干预。


技术研发人员：刘庚 郭祺赟 鲍智成 王祎唅 董辰 陈立博
受保护的技术使用者：北京邮电大学 国网思极紫光（青岛）微电子科技有限公司
技术研发日：2023.04.17
技术公布日：2023/8/5