一种风机内部视频流缺陷识别方法

1.本发明涉及一种风机内部视频流缺陷识别方法，属于风机内部缺陷检测技术领域。


背景技术：

2.随着风电行业发展，风电设备也越来越普及，但风力发电设备长期处于恶劣环境下，会使得风机部件发生损伤。若未能尽早地发现风机故障并及时处理，可能引发严重的事故，不仅会给生产单位带来巨大的经济损失，还会给员工生命安全造成极大威胁。
3.在风力发电得到迅速发展的同时，风机组的检修维护正逐渐成为制约风电产业快速发展的瓶颈。据统计，维护修理费用约占风力发电总成本的五分之一左右。然而风机尺寸大、内部情况不易检测给风机内部缺陷检测带来诸多不便，尤其是在恶劣的自然环境中长期大负荷运行，极易产生缺陷。若不能对风机内部的缺陷做到及时的检查和维修，将会造成严重的经济损失。因此，及时、高效地对风机内部进行缺陷检测和定位是非常必要的。
4.深度学习是机器学习的一个分支，该方法能够降低风机检测对人工的依赖，可以较为高效的进行分析与学习，让机器能够自己掌握学习能力，在图像识别领域有着很好的应用前景。深度学习是一种基于神经网络的建模方法，可以通过多个层次的分析和计算，并结合实际风机缺陷数据集，达到风机缺陷识别的目的。
5.目前基于深度学习建立的缺陷检测模型也存在一定的缺点，即模型能实现对多数明显缺陷的识别，但对于早期缺陷这种小目标缺陷的检测能力存在不足，无法尽早发现风机缺陷。对检测到的缺陷，未计算出对应的缺陷长度与宽度，不便于维护人员对缺陷进行评估分析。


技术实现要素：

6.为了克服现有技术中的缺点，本发明提供一种风机内部视频流缺陷识别方法，本发明利用由两个并行连接的特征提取块组成的全局局部视觉融合模块，加强主干特征提取网络的顶部特征提取，保留全局信息特征，提升模型局部信息获取能力，从而提升小目标检测精度，实现快速准确识别风机内部缺陷的目的。同时计算缺陷识别框的长度与宽度，即为对应缺陷的长度与宽度。
7.本发明解决上述技术问题所提供的技术方案是：一种风机内部视频流缺陷识别方法，包括以下步骤：步骤s10、收集风机内部检测视频数据，包括人工巡检拍摄的风机内部视频、机器小车通过固定相机拍摄的风机内部视频，接下来将视频进行逐秒切片，然后把切片图片随机裁剪为固定大小(640x640)，之后对切片图片进行数据增广，最后对增广后的图片中的发白、分层、干沙、开裂、褶皱、异物缺陷进行标注，剔除无缺陷的图片，构建风机内部缺陷图像数据集；步骤s20、将风机内部缺陷图像数据集输入到带有残差结构和注意力机制的主干
特征提取网络，以便提取缺陷特征；步骤s30、通过全局局部视觉融合模块，将主干特征提取网络所提取的顶层特征融合，以获取融合了全局信息与局部信息的特征；步骤s40、利用主干特征提取网络和全局局部视觉融合模块提取的特征，构建特征金字塔加强特征提取网络，随后，通过两个卷积处理每一层提取的加强特征，从而获得缺陷类别与位置的预测结果，并生成缺陷检测框。
8.进一步的技术方案是，所述主干特征提取网络可分为底层、中下层、中间层和顶层，主要由卷积、标准化、激活函数构成；其中，中下层和中层采用残差结构，用于增强主干特征提取网络的特征提取能力，顶层含有一个cbam(通道和空间注意力机制)模块，用于集中学习有用特征并减少冗余信息。
9.进一步技术方案是，所述全局局部视觉融合模块由全局特征捕捉块和局部信息聚集块并行组成，用于提升小目标缺陷特征提取能力；其中全局特征捕捉块包括基于深度卷积和基于通道多层感知机的残差模块，用于提升分层、褶皱、异物这些遮挡类的缺陷特征学习能力；局部信息聚集块是一个编码器，具有固有的字典，用于提升发白、干沙这类缺陷宽度小于5cm的缺陷特征学习能力。
10.进一步技术方案是，所述加强特征提取网络具体过程为：主干特征提取网络提取到的中下层、中间层特征和全局局部视觉融合模块提取到的特征分别记为p1、p2和p3；p3经过两次上采样分别和p2、p1堆叠获得加强特征p3_out；p3_out经过下采样和p2堆叠获得加强特征p2_out；p2_out经过下采样和p1堆叠获得加强特征p1_out；由此获得3个加强特征p3_out、p2_out、p1_out。
11.与现有技术相比，具有以下优点：(1)本发明能够有效地对风机内部缺陷进行识别，并且给出缺陷位置来辅助工作人员对缺陷进行处理；(2)本发明能够有效识别早期风机内部微小缺陷，便于工作人员判断缺陷风险，减少事故发生概率；(3)本发明将风机内部视频数据与深度学习模型结合，可以自动检测风机内部缺陷，减少人工巡检工作量，提升缺陷检测效率。
附图说明
12.图1为本发明流程图（输入输出示意图）。
具体实施方式
13.下面结合附图及实施案例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白，应当理解，此处所描述的具体实施案列仅用以解释本发明，不能理解为对本发明包括范围的限制，该领域的技术熟练人员可以依据上述本发明的内容做出一些非本质的改进和调整。以图1为例，本发明的流程为采集风机内部检测视频、对视频进行切片处理、在切片后的图像上标注缺陷、主干网络提取风机内部缺陷特征、加强特征提取、预测缺陷的类别与位置，计算缺陷长度与宽度，具体步骤如下。
14.步骤s1、收集风机内部检测视频，包括人工巡检拍摄的风机内部视频、机器小车通
过固定相机拍摄的检测视频，然后对视频进行逐秒切片，将切片图片随机裁剪为640x640大小，再通过随机旋转图像、随机改变图片对比度、随机添加图像噪声的方式进行数据增广。
15.步骤s2、对切片图像中的缺陷进行标注，标注标签如表1所示：表1缺陷标注完成后，生成标注文件，然后剔除无缺陷的切片图片，构建风机内部缺陷图像数据集。
16.步骤s3、将风机内部缺陷图像数据集输入到带有残差结构和注意力机制的主干特征提取网络，以便提取缺陷特征；本发明中主干特征提取网络由多个卷积、标准化、激活函数构成。卷积用conv表示、标准化用bn表示、激活函数为silu函数。首先一个conv、一个bn和一个silu构成一个cbs模块。其次利用7个cbs模块构成多分支堆叠模块，其中包含4个并行分支，两个分支分别由1个cbs模块构成，两个分支分别由2个cbs模块构成，4个分支经过堆叠后再经过一个cbs模块输出。然后由3个cbs模块和一个最大池化构成双分支堆叠模块。
17.输入数据在主干特征提取网络中首先经过4个cbs模块，其次接入一个多分支堆叠模块，然后经过两组由双分支堆叠模块和多分支堆叠模块构成的残差结构块，接着经过一组双分支堆叠模块和多分支堆叠模块，最后一个cbam(通道和空间注意力机制)模块作为主干特征提取网络的顶层输出。
18.步骤s4、通过全局局部视觉融合模块，将主干特征提取网络所提取的顶层特征融合，以获取融合了全局信息与局部信息的特征；全局局部视觉融合模块由全局特征捕捉块和局部信息聚集块并行组成。全局特征捕捉块包括基于深度卷积和基于通道多层感知机的残差模块，其中基于通道的多层感知机模块的输入是基于深度卷积模块的输出。
19.局部信息聚集块是一种具有固有字典的编码器，输入特征首先通过由1
×
1卷积、3
×
3卷积和1
×
1卷积组成的卷积层进行编码。然后编码特征由cbr块处理，其中cbr块由bn、conv和relu激活函数组成。紧接着将编码的特征输入到码本中，码本用于将输入特征映射为一组可学习的图像重要特征，通过学习这些特征，编码器可以捕捉图像中重要的特征，并对其进行有效的表示。图像特征映射通过以下计算方式：
其中，表示第k个重要特征相对于整个图像的权重；表示特征图中的第i个像素点；表示第k个重要特征；表示一组可学习的参数，用于对点与之间的距离进行加权；表示与之间的差异；k表示重要特征的总数；n表示像素点的总数；中的是常数自然对数的底数，即e≈2.71828。
20.接下来融合所有的，计算整个图像相对于这些k个重要特征的全局信息：其中，表示k个重要特征相对于整个图像的权重之和；表示激活函数；表示标准化处理。
21.获得码本输出后，进一步馈送到全连接层和卷积层输出，该输出作为局部信息聚集块的输出。
22.主干特征提取网络提取到的顶层特征并行经过全局特征捕捉块和局部信息聚集块后，全局局部视觉融合模块将两个并行模块输出进行堆叠，提取到融合全局信息与局部信息的风机缺陷特征。
23.步骤s5、利用主干特征提取网络和全局局部视觉融合模块提取的特征，构建特征金字塔加强特征提取网络；加强特征提取步骤如下：步骤51、从主干特征提取网络的中下层、中间层提取特征记为p1和p2，全局局部视觉融合模块输出特征记为p3；步骤52、对p3进行1次1x1卷积调整通道，然后通过上采样与p2经过一次卷积后的特征进行堆叠，再使用多分支堆叠模块进行特征提取获得特征p3_2；步骤53、对p3_2进行1次1x1卷积调整通道，然后通过上采样与p1经过一次卷积后的特征进行堆叠，再使用多分支堆叠模块进行特征提取获得加强特征p1_out；步骤54、p3_out通过一个双分支堆叠模块进行下采样，下采样后与p3_2堆叠，然后使用多分支堆叠模块进行特征提取获得加强特征p2_out；步骤55、p2_out通过一个双分支堆叠模块进行下采样，下采样后与p3堆叠，使用多分支堆叠模块进行特征提取获得加强特征p3_out。
24.特征p3、p2、p1构成的特征金字塔经过加强特征提取网络可以将不同大小的特征进行特征融合，获得加强特征p3_out、p2_out、p1_out。
25.步骤s6、将特征金字塔加强特征提取网络提取到的每层特征通过两个卷积进行处理，获取缺陷的类别与位置的预测结果，并生成缺陷检测框；首先进行回归预测为每个特征点生成三个预测框，每个预测框都计算出每个缺陷种类的置信度，计算公式为：其中，表示缺陷为种类的置信度，表示缺陷种类存在的概率，存在为1，不存在为0；表示缺陷属于种类的概率。
26.其次设定阈值，大于阈值则判断为检测到的目标。然后对每一种类缺陷进行筛选，选出一定区域内属于同一种类得分最大的框。接着根据置信度对该种类进行从大到小排序。最后每次取出得分最大的框，计算与其它所有预测框的重合程度，重合程度过大的则剔除，生成最终缺陷检测框。
27.步骤s7、获取缺陷检测框的长度与宽度，经过尺度变换，计算获得缺陷的实际长度与宽度，其中尺度变换公式为：其中，表示实际长度，表示缺陷在图像中的像素长度，表示图像中参考物体的实际长度，表示图像中参考物体的像素长度。
28.对于风机内部缺陷不易检查，人工缺陷检测工作量大的问题，通过本发明所述的一种风机内部视频流缺陷识别方法，能够方便快捷的对风机内部进行缺陷检测、定位，减少人工成本，提高检测效率。
29.以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种风机内部视频流缺陷识别方法，其特征在于，包括以下步骤：步骤s10、收集风机内部检测视频数据，包括人工巡检拍摄的风机内部视频、机器小车通过固定相机拍摄的风机内部视频，接下来将视频进行逐秒切片，然后把切片图片随机裁剪为640x640像素大小，之后对切片图片进行数据增广，最后对增广后的图片中的发白、分层、干沙、开裂、褶皱、异物缺陷进行标注，剔除无缺陷的图片，构建风机内部缺陷图像数据集；步骤s20、将风机内部缺陷图像数据集输入到带有残差结构和注意力机制的主干特征提取网络，以便提取缺陷特征；步骤s30、通过全局局部视觉融合模块，将主干特征提取网络所提取的顶层特征融合，以获取融合了全局信息与局部信息的特征；步骤s40、利用主干特征提取网络和全局局部视觉融合模块提取的特征，构建特征金字塔加强特征提取网络，随后，通过两个卷积处理每一层提取的加强特征，从而获得缺陷类别与位置的预测结果，并生成缺陷检测框。2.根据权利要求1所述的一种风机内部视频流缺陷识别方法，其特征在于，所述主干特征提取网络可分为底层、中下层、中间层和顶层，主要由卷积、标准化、激活函数构成；其中，中下层和中层采用残差结构，用于增强主干特征提取网络的特征提取能力，顶层含有一个cbam模块，用于集中学习有用特征并减少冗余信息。3.根据权利要求1所述的一种风机内部视频流缺陷识别方法，其特征在于，所述全局局部视觉融合模块由全局特征捕捉块和局部信息聚集块并行组成，用于提升小目标缺陷特征提取能力；其中全局特征捕捉块包括基于深度卷积和基于通道多层感知机的残差模块，用于提升分层、褶皱、异物这些遮挡类的缺陷特征学习能力；局部信息聚集块是一个编码器，具有固有的字典，用于提升发白、干沙这类缺陷宽度小于5cm的缺陷特征学习能力。4.根据权利要求1所述的一种风机内部视频流缺陷识别方法，其特征在于，所述加强特征提取网络具体过程为：主干特征提取网络提取到的中下层、中间层特征和全局局部视觉融合模块提取到的特征分别记为p1、p2和p3；p3经过两次上采样分别和p2、p1堆叠获得加强特征p3_out；p3_out经过下采样和p2堆叠获得加强特征p2_out；p2_out经过下采样和p1堆叠获得加强特征p1_out；由此获得3个加强特征p3_out、p2_out、p1_out。

技术总结
本发明涉及一种风机内部视频流缺陷识别方法，包括以下步骤：收集风机内部检测视频数据并进行逐秒切片，然后对图像进行缺陷标注，构建风机内部缺陷图像数据集；将数据集输入到带有残差结构和注意力机制的主干特征提取网络提取缺陷特征；将主干特征提取网络提取到的顶层特征通过全局局部视觉融合模块，加强特征提取；利用全局局部视觉融合模块提取到的特征与主干网络其他层提取到的特征构建特征金字塔加强特征提取网络；将每层加强特征进行处理，获取缺陷的类别与位置的预测结果，并生成缺陷检测框；本发明从新颖的角度出发，将风机内部检测视频和深度学习模型结合，可快速准确识别风机内部缺陷，减少人工成本。减少人工成本。减少人工成本。


技术研发人员：张倬实 汪敏 邱毅 张安安 吕子博 伍文静 肖伊曼 陈金令
受保护的技术使用者：西南石油大学
技术研发日：2023.09.05
技术公布日：2023/10/11