面向电力场景单张图像距离量测的深度神经网络模型的制作方法

1.本发明涉及一种面向电力场景单张图像距离量测的深度神经网络模型，它用于从单张图像中提取电力场景的距离信息。


背景技术：

2.单张图像距离量测主要通过复杂的非线性仿射变换建立rgb像素与空间距离间的回归模型。
3.单张图像距离量测技术发展经历了传统算法、机器学习算法和深度学习算法三个阶段。传统算法利用图像的纹理几何信息来估计局部距离信息，只能用于严格限定的应用场景，且仅能计算图像中相对距离，不仅计算量大、预测精度也不高。
4.机器学习算法利用马尔可夫/条件随机场进行建模，以能量函数最小为准则求解距离，由于需要人工假定rgb与距离之间的关系，因而其预测精度有限。
5.深度学习算法利用深层卷积神经网络来逐层抽象图像的特征，并通过反向传播优化权重，因此其精度较传统方法和机器学习方法要高。
6.但是现有深度学习算法所使用的卷积层，提取出的局部特征无法有效地和全局特征融合，成为制约距离量测精度的重要因素。


技术实现要素：

7.本发明的目的在于克服上述现有背景技术的不足之处，而提供一种面向电力场景单张图像距离量测的深度神经网络模型，本发明可以提高单张图像距离量测的精度，尤其是电力场景下单张图像距离量测的精度。
8.本发明的目的是通过如下措施来达到的：面向电力场景单张图像距离量测的深度神经网络模型,其特征在于包含以下模块：特征提取模块、空洞卷积模块和距离映射模块；
9.所述特征提取模块用于将输入的rgb图像抽取为特征向量，包含n层卷积层，n≥3，其中第1层卷积层的输入为原始图像，第i层卷积层的输入为第1至第i-1层卷积层的经降采样的输出之和，i≥2；
10.所述空洞卷积模块用于扩大感受野，包含n个子模块，n≥3，其中第i个子模块用于连接第i层特征提取模块和第i层距离映射模块，i＝1,2,
…
,n；且第i个子模块的输入为所述特征提取模块中第i层卷积层的输出、第i+1至第n个子模块的经上采样的输出之和；
11.所述距离映射模块用于生成距离信息，包含n个映射层，n≥3，且其中第i个映射层的输入为第i层空洞卷积子模块的输出、第n至第i+1层距离映射层的经上采样的输出、第i层特征提取层的输出之和。
12.在上述技术方案中，所述神经网络模型的损失函数为：其中n为像素个数，表示距离预测值li与距离参考值之间的差值，log为对数函数，d
ij
表示两个像素点之间的像素距离。
13.在上述技术方案中，所述降采样采用平均池化，所述上采样采用双线性插值。
14.在上述技术方案中，所述特征提取模块中，第1层卷积层输出128个通道，第i层卷积层的输出通道数为第i-1层卷积层的2倍，i≥2。
15.在上述技术方案中，所述距离映射模块中的每一个映射层，由上采样层、通道降维卷积层、合成卷积层构成。
16.本发明针对电力场景下，距离较为连续平滑的特点，通过构建具有特殊结构的深度神经网络模型，将单张图像的局部与全局特征进行多尺度融合，提升了距离量测的准确率。通过引入空洞卷积，扩大了特征提取的感受野，提高了获取全局特征的运算效率。通过多层子模块之间的直接连接，能很好地解决现有技术中深层网络梯度消失问题。
17.传统的损失函数仅考虑各个像素上的距离预测误差，未考虑不同像素上预测误差之间的相关性，因而不能客观的反映整体的预测效果。本发明构造的损失函数，不仅包含各个像素上的距离预测误差，同时还顾及了不同像素之间距离预测误差的符号一致性和数值相关性，利用不同像素间的像素距离计算权重，相比传统损失函数能更好地反映全局计算误差。
附图说明
18.图1为本发明一个实施例模型的结构示意图。
19.图中：raw表示原始输入图像，out表示最终输出的距离图像，a表示特征提取模块，b表示空洞卷积模块，c表示距离映射模块，字母后面的数字表示层的序号，如：a1-4表示特征提取模块的第1-4层；b1-4表示空洞卷积模块的第1-4个子模块；c1-4表示距离映射模块的第1-4层；箭头方向为传输方向。
具体实施方式
20.下面结合附图详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明本发明的优点将变得更加清楚和容易理解。
21.参阅附图可知：本发明面向电力场景单张图像距离量测的深度神经网络模型,其特征在于包含以下模块：特征提取模块a、空洞卷积模块b和距离映射模块c；
22.所述特征提取模块a用于将输入的rgb图像抽取为特征向量，包含n层卷积层，n≥3，其中第1层卷积层的输入为原始图像，第i层卷积层的输入为第1至第i-1层卷积层的经降采样的输出之和，i≥2；
23.所述空洞卷积模块b用于扩大感受野，包含n个子模块，n≥3，其中第i个子模块用于连接第i层特征提取模块和第i层距离映射模块，i＝1,2,
…
,n；且第i个子模块的输入为所述特征提取模块中第i层卷积层的输出、第i+1至第n个子模块的经上采样的输出之和；
24.所述距离映射模块c用于生成距离信息，包含n个映射层，n≥3，且其中第i个映射层的输入为第i层空洞卷积子模块的输出、第n至第i+1层距离映射层的经上采样的输出、第i层特征提取层的输出之和。
25.所述神经网络模型的损失函数为：其中n为像素个数，表示距离预测值li与距离参考值之间的差值，log为对数函数，d
ij
表示两个像素点之间的像素距离。
26.所述降采样采用平均池化，所述上采样采用双线性插值。
27.所述特征提取模块中，第1层卷积层输出128个通道，第i层卷积层的输出通道数为第i-1层卷积层的2倍，i≥2。
28.所述距离映射模块c中的每一个映射层，由上采样层、通道降维卷积层、合成卷积层构成。
29.图1示意性地给出了本发明的一个实施例。该实施例由特征提取模块a1-a4、空洞卷积模块b1-b4和距离映射模块c1-c4构成，每一个模块包含4层，也可以根据需要增加或减少层数。其中距离映射模块中的每一层均由上采样层、通道降维卷积层、合成卷积层构成。
30.表1为各模块之间的构成关系
[0031][0032]
其中表示和，f(x)表示x模块的输出，d表示平均池化下采样，u表示双线性插值上采样，l为图像分辨率。
[0033]
本发明采用的损失函数为：其中n为像素个数，表示距离预测值li与距离参考值相应对数值之间的差值，，log为对数函数，d
ij
表示两个像素点之间的像素距离。
[0034]
为使本神经网络模型能有效识别出电力场景下单张图像中所蕴含的距离信息，首先建立具有距离标定信息的电力场景图像样本集，可通过深度摄像头或双目摄像头拍摄电力设施获得，其中前者可直接获得具有距离信息的单张图像，而后者需首先形成立体像对，进行相应处理后方可获得单张图像中各像素点的距离信息。
[0035]
为保障网络的适用性，采集样本时应涵盖各类电力设施，且应从多种与实际应用
时较为接近的场景下采集图像，即从多个不同距离、角度和在多种可能的光照和气象条件下进行拍摄，样本集图像数量不应低于10000。随后利用电力场景图像样本集对网络进行训练，输入为单张rgb图像，输出为对应的距离信息图，将样本集按照9:1的比例划分为训练集和测试集，采用前述损失函数对网络参数和权重进行迭代调整，条件允许时应开启gpu并行计算提升训练效率。最终收敛后获得的网络，即可实现输入单张rgb图像、输出对应的距离信息图，从而实现基于单张图像的距离量测。后续增加样本时，可将前期训练的权重作为预权重，在此基础上对增加的样本进行训练，以减少训练时间，加快收敛过程。
[0036]
本发明的在不同层级的特征提取和距离映射模块间建立了直接连接，在此基础上引入空洞卷积来实现多尺度信息的有效融合，并采用了顾及不同像素点间预测误差符号一致性及数值相关性的损失函数，提升了网络的距离信息预测精度。
[0037]
其它未详细说明的均为现有技术。

技术特征：
1.面向电力场景单张图像距离量测的深度神经网络模型,其特征在于包含以下模块：特征提取模块(a)、空洞卷积模块(b)和距离映射模块(c)；所述特征提取模块(a)用于将输入的rgb图像抽取为特征向量，包含n层卷积层，n≥3，其中第1层卷积层的输入为原始图像，第i层卷积层的输入为第1至第i-1层卷积层的经降采样的输出之和，i≥2；所述空洞卷积模块(b)用于扩大感受野，包含n个子模块，n≥3，其中第i个子模块用于连接第i层特征提取模块和第i层距离映射模块，i＝1,2,
…
,n；且第i个子模块的输入为所述特征提取模块中第i层卷积层的输出、第i+1至第n个子模块的经上采样的输出之和；所述距离映射模块(c)用于生成距离信息，包含n个映射层，n≥3，且其中第i个映射层的输入为第i层空洞卷积子模块的输出、第n至第i+1层距离映射层的经上采样的输出、第i层特征提取层的输出之和。2.根据权利要求1所述的面向电力场景单张图像距离量测的深度神经网络模型,其特征在于：所述神经网络模型的损失函数为：其中n为像素个数，表示距离预测值l
i
与距离参考值之间的差值，log为对数函数，d
ij
表示两个像素点之间的像素距离。3.根据权利要求1所述的面向电力场景单张图像距离量测的深度神经网络模型,其特征在于：所述降采样采用平均池化，所述上采样采用双线性插值。4.根据权利要求1所述的面向电力场景单张图像距离量测的深度神经网络模型,其特征在于：所述特征提取模块(a)中，第1层卷积层输出128个通道，第i层卷积层的输出通道数为第i-1层卷积层的2倍，i≥2。5.根据权利要求1-4中任一权利要求所述的面向电力场景单张图像距离量测的深度神经网络模型,其特征在于：所述距离映射模块(c)中的每一个映射层，由上采样层、通道降维卷积层、合成卷积层构成。

技术总结
本发明面向电力场景单张图像距离量测的深度神经网络模型,包含以下模块：特征提取模块(A)、空洞卷积模块(B)和距离映射模块(C)；所述特征提取模块(A)用于将输入的RGB图像抽取为特征向量；所述空洞卷积模块(B)用于扩大感受野；所述距离映射模块(C)用于生成距离信息，本发明构造的损失函数，不仅包含各个像素上的距离预测误差，同时还顾及了不同像素之间距离预测误差的符号一致性和数值相关性，利用不同像素间的像素距离计算权重，相比传统损失函数能更好地反映全局计算误差。能更好地反映全局计算误差。能更好地反映全局计算误差。


技术研发人员：吴新桥 覃平 陈远 刘岚 张宸瑞 詹谭博驰 董永明 黄林超 周雨迪 张可颖 沈家旭 金石
受保护的技术使用者：南方电网数字电网科技（广东）有限公司
技术研发日：2023.06.25
技术公布日：2023/9/20