一种工业设备指示灯状态识别方法与流程

1.本发明涉及计算机视觉领域，尤其涉及一种工业设备指示灯状态识别方法。


背景技术：

2.随着人工智能技术和物联网技术的发展，越来越多的设备和系统需要进行监控和管理。其中，设备状态指示灯作为重要信息来源，常使用包括红、蓝、绿等颜色来展示设备运行状态。
3.为了满足即时运行控制的要求，获得更高效的运行控制策略，设备状态的监测识别也不断向智能化方向转变，
4.目前工业上主要是通过安装固定的辅助摄像头或设计巡检机器人采集设备上包括指示灯的仪器仪表图像视频，并在此基础上做进一步识别工作。
5.在设备指示灯识别技术方面，目前也有研究者对yolo系列算法的应用，如使用yolo v3模型确定设备位置后，首先采用预先设定好的图像比例确定设备中指示灯位置，并裁剪出来。再将图像进行色域变化，转换到hsv空间，然后设定红、绿、黄三种颜色的阈值进行二值化，最后选取特定颜色查找指示灯轮廓并计数。或者使用yolov5算法识别指示灯位置，再使用色值筛选和二值化方法识别状态。
6.目前进行设备状态识别普遍缺少操作简便、适应性强、识别精度高的检测方法。其中使用辅助摄像头识别仍是较为主流的方法，如使用openmv摄像头模块自带的颜色识别方法对工作指示灯进行状态识别，但其需事先通过openmv ide软件向openmv摄像头模块写入最新颜色阈值，操作较为繁琐，每台设备都需要根据环境进行手动调整。巡检机器人的使用在室外使用较少，且容易受路线障碍阻碍，机器人本身只能拍摄图片，仍需要搭载相应识别技术或者回收照片进行人工识别，而人工识别效率较低，且难以保证实时性和准确性检测要求。
7.而在设备上所搭载的技术多仅使用yolo模型识别指示灯或设备的位置，再结合其它方法，例如传统的色域变化、二值化方法来确定指示灯的亮灭状态，或是通过其它神经网络进行类别和状态的识别，仍存在技术应用上的一些局限性，需要进一步探索和改进，以提高识别准确度和可靠性。


技术实现要素：

8.本发明提供了一种工业设备指示灯状态识别方法，具备高效的、能够快速准确地判断出设备指示灯类别、位置以及设备状态的优点，解决了现有技术中存在的准确度和可靠性差的问题。
9.根据本技术实施例提供的一种工业设备指示灯状态识别方法，包括如下步骤：
10.获取设备指示灯图片数据，对数据进行预处理，清理较低质量的数据，打好标签后并按照一定比例随机划分为训练集、测试集和检验集；
11.将训练数据带入改进的yolov7-tiny模型中，通过迭代调整网络模型参数；
12.yolov7模型通过由多层卷积层与elan-t层构成的主干网络和加强特征提取网络提取特征，通过检测头进行指示灯状态识别；
13.利用测试集图像对训练好的模型测试，模型可以输出工业设备指示灯状态信息。
14.优选地，上述获取设备指示灯图片数据步骤具体为：
15.获取数据集，获取多张设备指示灯图片，包括不同角度、不同光照条件下的设备指示灯图像，并且每个图像应该有相应的标签来表示该图像中出现的指示灯状态；
16.基于此建立初始图像数据集，并进行预处理，去除一些异常、分辨率低的图片，并将图像数据集按照一定比例随机划分为训练集，验证集和测试集。
17.优选地，上述步骤还包括：
18.网络及结构改进，yolov7-tiny网络结构包括输入层，主干网络和头部网络三部分；
19.输入层，使用mosaic数据增强，将四张图片进行随机缩放裁剪等操作，并拼接起来以丰富数据集；
20.主干网络，包括bconv层、mp层以及多层级特征融合模块，结合空间金字塔池化模块；
21.头部网络，yolov7模型将neck部分和head部分进行了合并，以sppcsp为基准，分为五个阶段，前四个阶段包括了卷积层、spp层、csp层和上采样层，用于提取特征并进行特征融，对引入的sppcsp结构，通过空间金字塔池化和卷积操作，实现了对不同尺度特征的提取和融合，最终通过三个卷积层，用于预测每个网格单元格的边界框坐标、物体得分和类别概率，在头部网络中的两个上采样层之后添加cbam注意力机制，由通道注意力和空间注意力两部分组成，可以自适应地融合特征；
22.回归框损失函数，为使模型能够在训练时减少受到低质量样本的影响，引入基于动态的非单调焦点机制wise-iou损失函数；
23.选择训练模型，使用改进的yolov7-tiny算法来实现指示灯状态识别。
24.本技术实施例提供的技术方案可以包括以下有益效果：
25.1、提高检测精度：与已有技术相比，本发明采用yolov7-tiny结合cbam注意力机制进行改进，依靠更为高效、准确的特征提取方法，提高了目标检测的精度和召回率。
26.2、减少计算成本：本发明的模型架构经过优化，采用wise-iou这类结构更为简单，参数量更少(改进模型在参数量减少83.5％)的回归框损失函数，具有更小的模型大小和更快的推理速度，能够在保证检测精度的同时，降低计算成本，适用于边缘设备等资源受限的场景。
27.3、支持多种目标分类检测：本发明的模型支持多类目标的检测和分类，一次性完成目标识别与检测，并且可以根据实际需求进行灵活配置和扩展，具有较强的通用性和可扩展性。
28.4、本发明涉及一种工业设备指示灯状态识别方法，该方法通过引入cbam注意力模块和改进iou损失函数，为基于动态非单调聚焦的wise-iou函数，提高了模型的目标识别能力和边界框损失的拟合效果。针对设备指示灯数据集特点，对yolov7模型的训练要求进行了相应调整。解决了目前工业设备指示灯状态识别中存在的精度低、效率低等问题，具有较强的实用性和广泛的应用前景。此技术方案可以为工业设备状态检测提供有效的支持，为
企业降低生产成本，提高生产效率提供了有力的保障。此外，本研究的方法也可以应用到其他领域的图像识别和目标检测任务中，例如自动驾驶、智能安防、医疗影像等领域，具有重要的理论和实践意义。
附图说明
29.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明一种工业设备指示灯状态识别方法的流程示意图；
31.图2为本发明一种工业设备指示灯状态识别方法的网络结构图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
34.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
35.请参阅图1和图2，本发明提供一种工业设备指示灯状态识别方法，用于解决人工巡检效率低下，检测实时性、准确性低的问题。基于yolov7-tiny进行模型改进，使模型可以满足在设备上简便地迅速部署，且模型在自建数据集中能够达到较高的检测精度和速度，能够满足实时检测的要求。一种工业设备指示灯状态识别方法包括如下步骤：
36.获取设备指示灯图片数据，对数据进行预处理，清理较低质量的数据，打好标签后并按照一定比例随机划分为训练集、测试集和检验集；
37.将训练数据带入改进的yolov7-tiny模型中，通过迭代调整网络模型参数；
38.yolov7模型通过由多层卷积层与elan-t层构成的主干网络和加强特征提取网络提取特征，通过检测头进行指示灯状态识别；
39.利用测试集图像对训练好的模型测试，模型可以输出工业设备指示灯状态信息。
40.一种工业设备指示灯状态识别方法的具体过程包括：
41.一、获取数据集：
42.获取多张设备指示灯图片，可以包括不同角度、不同光照条件下的设备指示灯图像，并且每个图像应该有相应的标签来表示该图像中出现的指示灯状态。
43.基于此建立初始图像数据集，并进行预处理，去除一些异常、分辨率低的图片，并将图像数据集按照一定比例随机划分为训练集，验证集和测试集。
44.二、选择训练模型：使用改进的yolov7-tiny算法来实现指示灯状态识别。yolov7-tiny是yolov7的轻量化改进版本，具有更小的网络结构和更快的检测速度，同时也是专门
为边缘设备而开发的目标检测算法。本发明针对设备指示灯数据集的特点进行一些算法改进，通过引入“cbam注意力机制”和“改进bbr损失函数为wise-iou”，来提高模型在本任务上的性能。
45.三、网络及结构改进：本发明的yolov7-tiny网络结构包括输入层，主干网络和头部网络三部分。
46.①
输入层：使用mosaic数据增强，将四张图片进行随机缩放裁剪等操作，并拼接起来以丰富数据集，间接地增大了batchsize，降低了显存需求，提高了训练速度。可以自适应锚定框计算，和自适应图片缩放，快速更新网路参数，减少输入数据的信息冗余。
47.②
主干网络：其主要由若干bconv层、mp层以及多层级特征融合模块(elan-t)组成，结合空间金字塔池化模块，能够更好地处理不同尺度的目标，并提高模型的检测精度。本发明通过微调操作对网络进行优化，以提高模型的性能。
48.③
头部网络：yolov7模型将neck部分和head部分进行了合并，以sppcsp为基准，可以分为五个阶段，其中前四个阶段包括了卷积层、spp层、csp层和上采样层，用于提取特征并进行特征融。对引入的sppcsp结构，其通过空间金字塔池化和卷积操作，实现了对不同尺度特征的提取和融合，进一步提高了模型的检测性能，最终通过三个卷积层，用于预测每个网格单元格的边界框坐标、物体得分和类别概率。本发明为提高模型对指示灯图像的特征识别能力，分别在头部网络中的两个上采样层之后添加cbam注意力机制，其由两部分组成：通道注意力和空间注意力，可以自适应地融合特征。
49.④
回归框损失函数：为使模型能够在训练时减少受到低质量样本的影响，本发明引入基于动态的非单调焦点机制wise-iou损失函数，来提高模型训练质量。
50.四、训练细节：本发明使用训练集对网络进行训练，并使用验证集对网络进行验证和微调。训练过程中采用了一些技巧来提高模型的性能：
51.①
数据增强：数据增强可以有效扩充数据集，增加网络的泛化性能。本发明使用mosaic数据增强对数据进行随机裁剪、缩放、旋转、水平翻转等方法对图像进行扩充。
52.②
学习率调整：本发明采用学习率衰减等技巧来提高模型的学习效果。
53.③
样本平衡：如果一段时间内采集到的数据标签分布不均匀，本发明就需要采用如，过采样(oversampling)、欠采样(undersampling)等方法，来平衡每个标签的样本数。
54.其中训练时模型参数和配置环境如下：
55.④
训练参数：
[0056][0057]
⑤
环境配置：
[0058][0059]
五、评估指标：本发明在评估指标方面选用了查准率(precision,p,准确率)，全率(recall，r，又称召回率)，平均精度(average precision，ap)和平均精度均值(mean average precision，map)等，具体公式如下：
[0060][0061][0062][0063][0064]
六、实验结果分析：本发明使用测试集对算法进行评估，分析算法在实验时不同阶段下改进得到的性能和精度，结果如下：
[0065][0066]
本技术实施例提供的技术方案可以包括以下有益效果：
[0067]
1、提高检测精度：与已有技术相比，本发明采用yolov7-tiny结合cbam注意力机制进行改进，依靠更为高效、准确的特征提取方法，提高了目标检测的精度和召回率。
[0068]
2、减少计算成本：本发明的模型架构经过优化，采用wise-iou这类结构更为简单，参数量更少(改进模型在参数量减少83.5％)的回归框损失函数，具有更小的模型大小和更快的推理速度，能够在保证检测精度的同时，降低计算成本，适用于边缘设备等资源受限的场景。
[0069]
3、支持多种目标分类检测：本发明的模型支持多类目标的检测和分类，一次性完成目标识别与检测，并且可以根据实际需求进行灵活配置和扩展，具有较强的通用性和可扩展性。
[0070]
4、本发明涉及一种工业设备指示灯状态识别方法，该方法通过引入cbam注意力模块和改进iou损失函数，为基于动态非单调聚焦的wise-iou函数，提高了模型的目标识别能力和边界框损失的拟合效果。针对设备指示灯数据集特点，对yolov7模型的训练要求进行了相应调整。解决了目前工业设备指示灯状态识别中存在的精度低、效率低等问题，具有较强的实用性和广泛的应用前景。此技术方案可以为工业设备状态检测提供有效的支持，为企业降低生产成本，提高生产效率提供了有力的保障。此外，本研究的方法也可以应用到其他领域的图像识别和目标检测任务中，例如自动驾驶、智能安防、医疗影像等领域，具有重要的理论和实践意义。
[0071]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种工业设备指示灯状态识别方法，其特征在于，包括如下步骤：获取设备指示灯图片数据，对数据进行预处理，清理较低质量的数据，打好标签后并按照一定比例随机划分为训练集、测试集和检验集；将训练数据带入改进的yolov7-tiny模型中，通过迭代调整网络模型参数；yolov7模型通过由多层卷积层与elan-t层构成的主干网络和加强特征提取网络提取特征，通过检测头进行指示灯状态识别；利用测试集图像对训练好的模型测试，模型可以输出工业设备指示灯状态信息。2.根据权利要求1所述的一种工业设备指示灯状态识别方法，其特征在于，上述获取设备指示灯图片数据步骤具体为：获取数据集，获取多张设备指示灯图片，包括不同角度、不同光照条件下的设备指示灯图像，并且每个图像应该有相应的标签来表示该图像中出现的指示灯状态；基于此建立初始图像数据集，并进行预处理，去除一些异常、分辨率低的图片，并将图像数据集按照一定比例随机划分为训练集，验证集和测试集。3.根据权利要求1所述的一种工业设备指示灯状态识别方法，其特征在于，上述步骤还包括：网络及结构改进，yolov7-tiny网络结构包括输入层，主干网络和头部网络三部分；输入层，使用mosaic数据增强，将四张图片进行随机缩放裁剪等操作，并拼接起来以丰富数据集；主干网络，包括bconv层、mp层以及多层级特征融合模块，结合空间金字塔池化模块；头部网络，yolov7模型将neck部分和head部分进行了合并，以sppcsp为基准，分为五个阶段，前四个阶段包括了卷积层、spp层、csp层和上采样层，用于提取特征并进行特征融，对引入的sppcsp结构，通过空间金字塔池化和卷积操作，实现了对不同尺度特征的提取和融合，最终通过三个卷积层，用于预测每个网格单元格的边界框坐标、物体得分和类别概率，在头部网络中的两个上采样层之后添加cbam注意力机制，由通道注意力和空间注意力两部分组成，可以自适应地融合特征；回归框损失函数，为使模型能够在训练时减少受到低质量样本的影响，引入基于动态的非单调焦点机制wise-iou损失函数；选择训练模型，使用改进的yolov7-tiny算法来实现指示灯状态识别。

技术总结
本发明公开了一种工业设备指示灯状态识别方法，包括如下步骤：获取设备指示灯图片数据，对数据进行预处理，清理较低质量的数据，打好标签后并按照一定比例随机划分为训练集、测试集和检验集；将训练数据带入改进的YOLOv7-tiny模型中，通过迭代调整网络模型参数；YOLOv7模型通过由多层卷积层与ELAN-T层构成的主干网络和加强特征提取网络提取特征，通过检测头进行指示灯状态识别。本发明提供的一种工业设备指示灯状态识别方法具备高效的、能够快速准确地判断出设备指示灯类别、位置以及设备状态的优点。备状态的优点。备状态的优点。


技术研发人员：赵利月 李晓飞 张振国 汪晴 史鑫 石宇 王国庆 张宇
受保护的技术使用者：国电电力内蒙古新能源开发有限公司
技术研发日：2023.07.21
技术公布日：2023/9/19