一种基于深度学习的传输机皮带智能检测装置

1.本发明涉及传输机皮带检测领域，尤其涉及一种基于深度学习的传输机皮带智能检测装置。


背景技术：

2.在现代社会中，交通运输是社会经济重要的基础结构之一，是经济发展的基本需要和先决条件。传输机皮带在我国运输业中发挥着巨大的作用，可节省大量的人力物力，因此广泛应用于冶金、化工等行业中，适用于众多场合。然而，由于传输机皮带终年不间断的工作、运输物资的磨损等因素，传输机皮带极易产生断裂甚至是偏移等故障，会造成极大的经济损失和安全隐患。因此，为了保证工厂生产加工的稳定性和安全性，急需一种检测传输机皮带各种撕裂的检测系统。
3.目前传统的传输机皮带缺陷检测方法分为两类，一类是接触式的缺陷检测，一类是非接触式的缺陷检测。接触类的缺陷检测原理是当传输机皮带撕裂或跑偏缺陷发生后,通过缺陷检测设备上的传感器感知受力变化来进行报警，这种方式造价昂贵且容易发生误检、漏检情况。非接触式检测设备通常通过传输机皮带上的热、声、光等特殊变化，来判断传输机皮带是否发生缺陷情况，从而进行报警。当前市场上非接触式传送带裂痕检测装置大都体积大、造价高、难以维护、检测准确率低，需要部署多个摄像头，布线艰难，且都需连接台式机，要部署在拥有十几条传送带的港口运输单位费时费力。


技术实现要素：

4.本发明提供一种基于深度学习的传输机皮带智能检测装置，以克服上述技术问题。
5.一种基于深度学习的传输机皮带智能检测装置，包括gpu运算平台、嵌入式单片机、报警装置、除尘装置、摄像头、实时显示装置以及可伸缩三角支架，
6.所述可伸缩三角支架为底座，通过调整自身的高低和倾斜角度来改变检测位置以及检测角度；
7.所述除尘装置用于根据嵌入式单片机的信号对摄像头的表面进行清洁，所述除尘装置包括舵机和除尘刷，
8.所述报警装置用于根据嵌入式单片机的信号进行报警，所述报警装置包括报警器和报警灯，
9.所述摄像头用于获取传输机皮带的实时图像，并通过usb数据线将实时图像传输至gpu运算平台，
10.所述实时显示装置用于获取gpu运算平台的检测结果并进行显示，所述实时显示装置通过usb数据线和gpu运算平台连接，
11.所述嵌入式单片机用于获取gpu运算平台的检测结果并根据检测结果生成报警信号，将报警信号传输至报警装置，并生成定时信号传输至舵机，舵机根据定时信号控制除尘
刷对摄像头的表面进行清洁，所述嵌入式单片机与报警装置、gpu运算平台和舵机连接，
12.所述gpu运算平台用于对传输机皮带的实时图像进行检测并将检测结果发送至实时显示装置和嵌入式单片机。
13.优选地，所述gpu运算平台包括数据处理模块、目标识别模块、裂痕精准检测模块以及传输机皮带偏移检测模块，
14.数据处理模块用于获取包含传输机皮带的图像数据集并对图像数据集进行扩充，所述扩充为获取图像数据集中包含传输机皮带裂痕的图片，分别对包含传输机皮带裂痕的图片进行不同角度的旋转和不同比例的缩放，将旋转、缩放后的图片添加至图像数据集，对扩充后的图像数据集进行标注并划分为训练集和测试集，
15.目标识别模块用于根据yolov5s模型对实时图像中传输机皮带上的物料和裂痕进行检测，所述目标识别模块包括构建yolov5s模型，对yolov5s模型进行修改，所述修改包括设计激活函数、损失函数与锚框预测函数，使用训练集对修改后的yolov5s模型进行训练，获取训练后的yolov5s模型，获取实时图像，根据训练后的yolov5s模型对实时图像进行检测，获取第一检测结果，将第一检测结果发送至实时显示装置进行显示，
16.裂痕精准检测模块用于根据u-net模型获取图像中传输机皮带上裂痕的位置，所述裂痕精准检测模块包括获取训练集，通过暗通道去雾法对训练集中的图像进行处理，构建u-net模型，根据处理后的训练集对u-net模型进行训练，获取训练后的u-net模型，根据训练后的u-net模型对实时图像进行检测，获取第二检测结果，将第二检测结果发送至实时显示装置进行显示以及发送至嵌入式单片机，
17.传输机皮带偏移检测模块用于对图像中传输机皮带是否发生偏移进行检测，所述传输机皮带偏移检测模块包括获取当前时刻与前一时刻的两张实时图像，对两张实时图像进行去噪，通过canny边缘检测算法获取实时图像中传输机皮带的边缘，根据霍夫直线检测算法对包含传输机皮带边缘的图像进行直线拟合，得到拟合后的传输机皮带边缘线，分别获取两张实时图像的传输机皮带边缘线，判断相邻时刻传输机皮带边缘线的斜率差值是否满足阈值，若满足阈值，表示传输机皮带没有发生偏移，若不满足阈值，则表示传输机皮带发生偏移，将偏移信息发送至实时显示装置进行显示以及发送至嵌入式单片机。
18.优选地，所述对yolov5s模型进行修改包括根据公式(1)设计激活函数，根据公式(2)设计损失函数，根据公式(3)、(4)设计锚框预测函数，
19.f(x)＝x/(e-x
+1)(1)
20.loss＝λ1lcls+λ2lobj+λ3lloc(2)
21.bw＝pw
·
(2
·
σ(tw))
·
(2
·
σ(tw))(3)
22.bh＝ph
·
(2
·
σ(th))
·
(2
·
σ(th))(4)
23.其中，x为输入的图像，λ1、λ2、λ3为平衡系数，lcls为矩形框损失，lobj为置信度损失，lloc为分类损失，tw是预测的目标中心宽偏移量，th是预测的目标中心高偏移量，pw是输入图片的宽，ph是输入图片的高，σ是sigmoid激活函数，bw和bh为预测边界框的锚框的宽和高。
24.优选地，所述通过暗通道去雾法对训练集中的图像进行处理包括根据公式(5)进行处理，
[0025][0026]
其中，i(x)为输入的图像，j(x)为输出的图像，a为输入图像的全局大气光值，t0为透射率阈值，t(x)表示输入图像的透射率。
[0027]
优选地，所述根据霍夫直线检测算法对包含传输机皮带边缘的图像进行直线拟合包括，
[0028]
s11、将包含传输机皮带边缘的图像进行二值化处理，
[0029]
s12、通过边缘检测算子对图像的边缘像素点进行检测，获取检测后的边缘像素点，
[0030]
s13、根据霍夫变换对边缘像素点进行拟合，获取拟合后对直线集合，
[0031]
s14、通过离群值过滤法对直线集合中进行过滤，获取过滤后的直线集合，
[0032]
s15、根据最小二乘拟合对过滤后的直线集合进行拟合，获取拟合后的传输机皮带边缘线。
[0033]
本发明提供一种基于深度学习的传输机皮带智能检测装置，基于gpu运算平台和嵌入式单片机，可将各个模块进行封装，本装置为小型的一体化设备，体积更小且部署容易。除此之外，考虑到工厂环境昏暗，将定时器与防尘刷结合定期除净镜头前的灰尘；在gpu运算平台中封装了数据处理模块、目标识别模块、裂痕精准检测模块以及传输机皮带偏移检测模块，通过暗通道处理机制及滤波算法增强待识别的目标图像，提高目标清晰度，使准确率更高，先对传输机皮带数据集进行预处理，然后对传输机皮带裂痕和偏移进行检测，降低了由于缺少数据和数据异常带来了裂痕检测的过拟合和误判等问题，提高了传输机皮带检测效率。同时使用暗通道去雾法增强待识别的目标板块，提高目标清晰度，提高了检测准确率。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0035]
图1是本发明正视装置结构图；
[0036]
图2是本发明后视装置图(无盖)；
[0037]
图3是本发明后视装置图(有盖)；
[0038]
图4是本发明后视装置图(有盖)；
[0039]
图5是本发明yolov5s目标识别流程图；
[0040]
图6是本发明u-net流程图；
[0041]
附图标号说明：
[0042]
1、舵机；2、除尘刷；3、摄像头；4、gpu运算平台；5、嵌入式单片机；6、报警装置；7、实时显示装置；8、可伸缩三角支架；9、传输机皮带；10、传送带控制线；11、电源线。
具体实施方式
[0043]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
图1为本发明装置结构图，如图1所示：包括gpu运算平台、嵌入式单片机、报警装置、除尘装置、摄像头、实时显示装置以及可伸缩三角支架，
[0045]
所述可伸缩三角支架为底座，所述可伸缩三角支架为底座，通过调整自身的高低和倾斜角度来改变检测位置以及检测角度；
[0046]
所述除尘装置用于根据嵌入式单片机的信号对摄像头的表面进行清洁，所述除尘装置包括舵机和除尘刷，
[0047]
所述报警装置用于根据嵌入式单片机的信号进行报警，所述报警装置包括报警器和报警灯，
[0048]
所述摄像头用于获取传输机皮带的实时图像，并通过usb数据线将实时图像传输至gpu运算平台，
[0049]
所述实时显示装置用于获取gpu运算平台的检测结果并进行显示，所述实时显示装置通过usb数据线和gpu运算平台连接，
[0050]
所述嵌入式单片机用于获取gpu运算平台的检测结果并根据检测结果生成报警信号，将报警信号传输至报警装置，并生成定时信号传输至舵机，舵机根据定时信号控制除尘刷对摄像头的表面进行清洁，所述嵌入式单片机与报警装置、gpu运算平台和舵机连接，
[0051]
所述gpu运算平台用于对传输机皮带的实时图像进行检测并将检测结果发送至实时显示装置和嵌入式单片机。
[0052]
基于上述方案，基于gpu运算平台和嵌入式单片机，可将各个模块进行封装，本装置为小型的一体化设备，体积更小且部署容易。除此之外，考虑到工厂环境昏暗，将定时器与防尘刷结合定期除净镜头前的灰尘；在gpu运算平台中封装了数据处理模块、目标识别模块、裂痕精准检测模块以及传输机皮带偏移检测模块，通过暗通道处理机制及滤波算法增强待识别的目标图像，提高目标清晰度，使准确率更高，先对传输机皮带数据集进行预处理，然后对传输机皮带裂痕和偏移进行检测，降低了由于缺少数据和数据异常带来了裂痕检测的过拟合和误判等问题，提高了传输机皮带检测效率。同时使用暗通道去雾法增强待识别的目标板块，提高目标清晰度，提高了检测准确率。
[0053]
如图2、3、4所示，整个装置的连接方式为使用数据线连接。通过对电源线进行通电来控制传送带，摄像头通过usb数据线与gpu运算平台连接，摄像头采集到图像后gpu运算平台会对图像进行分析，并将实时检测画面显示在实时显示装置上，实时显示装置通过usb数据线和gpu运算平台连接，同时还有一根电源线对实时显示装置进行供电。当摄像头的检测画面出现裂痕或检测到传送带偏移时，gpu运算平台会对实时图像进行分析，并且会标出图像上的裂痕；同时，gpu运算平台会通过串口将报错信息发送给嵌入式单片机，gpu运算平台和单片机的tx串口和rx串口对应连接，当单片机收到报错信息后，输出一个信号给报警装置，报警灯亮起的同时报警器也开始报警，并且通过输出一个低电平信号，通过传送带控制线从而使传送带停止运动。为了防止灰尘影响检测准确率，嵌入式通过引脚输出一个pwm信
号从而控制舵机，进而控制除尘刷的转动，每十秒清扫一次摄像头，防止灰尘落在摄像头上。为了更好的控制和监测装置，gpu运算平台上同时插入了鼠标和键盘的无线接收器，从而能够实现更好的控制整个装置。为了方便部署，使用可伸缩三脚支架作为底座，通过改变三脚架的高低和倾斜角度来改变检测位置以及检测角度，从而使检测装置能够更好地布置在工业现场。
[0054]
在gpu运算平台上将各个模块进行封装，用于实时监测皮带状态。为了更好地监测实时状况，将gpu运算平台与小型实时显示装置连接，当出现裂痕时，能够更好地显示裂痕位置，帮助工人快速、准确地发现裂痕。一旦发现裂痕，gpu运算平台将反馈给嵌入式单片机，单片机控制报警装置以及电源，发出警报的同时为在线运行的传送带断电，便于工厂使用和管理。
[0055]
由于工业现场环境恶劣，灰尘较多且光线不足。因此，为摄像头外装了尘罩，并配有定时器和除尘刷，每隔十秒钟清理像头表面，对镜头前的灰尘定期除净。
[0056]
所述gpu运算平台包括数据处理模块、目标识别模块、裂痕精准检测模块以及传输机皮带偏移检测模块，
[0057]
数据处理模块用于获取包含传输机皮带的图像数据集并对图像数据集进行扩充，所述扩充为获取图像数据集中包含传输机皮带裂痕的图片，分别对包含传输机皮带裂痕的图片进行不同角度的旋转和不同比例的缩放，将旋转、缩放后的图片添加至图像数据集，对扩充后的图像数据集进行标注并划分为训练集和测试集，
[0058]
具体地，由于收集到包含传输机皮带裂痕的图像数据较少，需要在原有数据集基础上进行数据扩充。为了扩充数据集，首先使用带有裂痕图片生成多角度和大小不同的裂痕图像。由于传输机皮带数据较少，通过去大连某海港工厂进行传输机皮带的图片收集，作为背景图片，然后使用ps技术并将裂痕图像随机放置在背景图像中，并使用进行数据集扩充得到几千张图片。然后使用labelimg工具，给自己的数据集来打上标签，选定需要标注的对象，将其框出，并对其进行分类。打好标签的文件存为xml格式，并将所有数据按照9:1的比例随机划分为训练集和测试集，用作模型的训练和测试。
[0059]
目标识别模块用于根据yolov5s模型对实时图像中传输机皮带上的物料和裂痕进行检测，所述目标识别模块包括构建yolov5s模型，对yolov5s模型进行修改，所述修改包括设计激活函数、损失函数与锚框预测函数，具体地，构建yolov5s模型，对yolov5s模型进行修改，所述修改包括设计激活函数、损失函数与锚框预测函数。在选择激活函数上，由于sigmoid函数会导致过拟合，而relu容易导致梯度消失，无法再进行模型训练。silu是sigmoid和relu的改进版。silu具备无上界有下界、平滑、非单调的特性，并且silu在深层模型上的效果优于relu，所以选择silu作为激活函数，来提高模型预测的准确率。在输出层，使用损失函数对预测结果进行调整，损失函数能够度量神经网络预测信息与期望信息的距离，预测信息越接近期望信息，损失函数值越小。训练时主要包含三个方面的损失：矩形框损失(classesloss)、置信度损失(objectnessloss)、分类损失(locationloss)。在计算损失的时候，为了消除敏感度，使计算损失更加准确，调整了预测目标高宽的计算公式。原锚框预测公式为：
[0060]
bw＝pw
·etw
(1)
[0061]
bh＝ph
·eth
(2)
[0062]
所述对yolov5s模型进行修改包括根据公式(3)设计激活函数，根据公式(4)设计损失函数，根据公式(5)、(6)设计锚框预测函数，
[0063]
f(x)＝x/(e-x
+1)(3)
[0064]
loss＝λ1lcls+λ2lobj+λ3lloc(4)
[0065]
bw＝pw
·
(2
·
σ(tw))
·
(2
·
σ(tw))(5)
[0066]
bh＝ph
·
(2
·
σ(th))
·
(2
·
σ(th))(6)
[0067]
其中，x为输入的图像，λ1、λ2、λ3为平衡系数，lcls为矩形框损失，lobj为置信度损失，lloc为分类损失，tw是预测的目标中心宽偏移量，th是预测的目标中心高偏移量，pw是输入图片的宽，ph是输入图片的高，σ是sigmoid激活函数，将预测的偏移量限制在0到1之间，即预测的中心点不会超出对应的gridcell区域。将输出预测框与真实框进行比对，计算偏移量后再反向更新，不断代入上述公式(5)、(6)迭代参数来获取最大概率的预测边界框的锚框的宽和高，即bw和bh，从而提高裂痕检测准确率。
[0068]
使用训练集对修改后的yolov5s模型进行训练，获取训练后的yolov5s模型，获取实时图像，根据训练后的yolov5s模型对实时图像进行检测，获取第一检测结果，将第一检测结果发送至实时显示装置进行显示，
[0069]
具体地，在传输机皮带裂痕目标识别模块中，由于对检测装置的实时性和检测准确率及检测速度要求很高，而yolov5s具有训练时间更短和推理速度更快的特点，所以在传输机皮带裂痕检测模块使用了yolov5s模型。配置好数据集后，yolov5s模型先对图片进行数据增强。yolov5中使用的mosaic是参考2019年底提出的cutmix数据增强的方式，但cutmix只使用了两张图片进行拼接，而mosaic数据增强则采用了4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果是不错的。数据增强可以丰富数据集，减少gpu的运算量。然后进行自适应锚框计算，训练时，自适应计算不同训练集中数据的最佳锚框值和真实框(groundtruth)即在数据预处理时的锚框进行比对，计算真实的边框位置相对于预设边框的偏移量，供后面的网络使用，接下来提取融合图片特征，最后根据损失函数对锚框进行调整，经过多次训练后，可以快速而精确地对训练集图片上的裂痕进行锚框，过程如图5所示，yolov5s模型包括输入端(input)、backbone网络、neck网络和head网络、预测网络四个部分，其中，loss为损失函数，gradient backforword为梯度前向传播。
[0070]
裂痕精准检测模块用于根据u-net模型获取图像中传输机皮带上裂痕的位置，所述裂痕精准检测模块包括获取训练集，通过暗通道去雾法对训练集中的图像进行处理，构建u-net模型，根据处理后的训练集对u-net模型进行训练，获取训练后的u-net模型，根据训练后的u-net模型对待检测图像进行检测，获取第二检测结果，将第二检测结果发送至实时显示装置进行显示以及发送至嵌入式单片机，
[0071]
具体地，包括获取训练集，通过暗通道去雾法对训练集中的图像进行处理，为了使输入的图像更加清晰，减少检测错误，提升准确率，在对图像进行卷积前加入了暗通道去雾算法，引导滤波优化，对得到的图像进行颜色校正。暗通道去雾算法可以恢复出高质量的图像，同时还能得到高质量的深度图。
[0072]
所述通过暗通道去雾法对训练集中的图像进行处理包括根据公式(7)进行处理，
[0073]
[0074]
其中，i(x)为输入的图像，j(x)为输出的图像，a为输入图像的全局大气光值，t0为透射率阈值，一般取值为0.1，t(x)表示输入图像的透射率，由于场景的亮度通常不如大气中的光线明亮，所以去除雾霾后的图像看起来很暗淡，当根据公式(5)得到去雾图后，需要对图像进行曝光调整。
[0075]
为了更好地识别并标出裂痕，使用u-net模型对裂痕进行检测，u-net模型针对纹理和小裂痕以及不规则外形的边缘能很好的分割并进行识别。先用暗通道去雾法对图片进行处理，经过去雾的图像使用u-net网络进行卷积。u-net网络能从极少的训练图像中，依靠数据增强更有效地使用有限的标注数据，并实现图片像素的定位，该网络对图像中的每一个像素点进行分类，最后输出的是根据像素点的类别分割好的图像。具体流程如图6所示。
[0076]
构建u-net模型，根据处理后的训练集对u-net模型进行训练，获取训练后的u-net模型，所述训练后的u-net模型用于对图像中裂痕的位置进行判断，u-net模型由收缩路径和扩张路径组成，其中，收缩路径用于获取上下文信息，扩张路径用于精确的定位。u-net主要分为三部分：特征提取、拼接、上采样。特征提取部分是一个收缩网络，在不断下采样的过程中，提取到浅层信息；拼接部分目的是融合特征信息，使深层和浅层的信息融合起来；上采样部分提取的是深层信息，融合了左边的浅层信息即拼接了左边的特征。u-net的主干分为对称的左右两部分：左边对原始输入图像通过卷积-最大池化进行四次下采样，获得四层级的特征图，处理完图像后，u-net网络会提取图像的重要特征并降低图像分辨率，使神经网络复杂性最小化，且保持分割精度；右边对各层级特征图与经过反卷积获得的特征图通过跳接方式进行特征融合，然后逐步修复图像细节；最后一层通过与标签计算损失进行语义图预测，精确定位裂痕位置。在多次训练后，可以精确标定裂痕位置。
[0077]
传输机皮带偏移检测模块用于对图像中传输机皮带是否发生偏移进行检测，所述传输机皮带偏移检测模块包括获取当前时刻与前一时刻的两张待检测图像，对两张待检测图像进行去噪，通过canny边缘检测算法获取待检测图像中传输机皮带的边缘，根据霍夫直线检测算法对包含传输机皮带边缘的图像进行直线拟合，得到拟合后的传输机皮带边缘线，分别获取两张待检测图像的传输机皮带边缘线，判断相邻时刻传输机皮带边缘线的斜率差值是否满足阈值，若满足阈值，表示传输机皮带没有发生偏移，若不满足阈值，则表示传输机皮带发生偏移，将偏移信息发送至实时显示装置进行显示以及发送至嵌入式单片机。
[0078]
在运输中，传输机皮带有时会发生跑偏，为了检测传输机皮带是否跑偏，使用opencv边缘检测算法对传输机皮带边缘进行实时监测，一旦传输机皮带跑偏，将立刻通过上位机反馈给下位机，下位机会立刻报警，并给传输机皮带断电。传输机皮带边缘的特征提取关键在于像素亮度的突然变化，即根据图像的梯度幅值和梯度方向来确定边缘，一般均采用sobel算子对图像进行梯度幅值与梯度方向计算，在获取图像的梯度幅值和梯度方向后，需要通过获取的梯度幅值和梯度方向对图像边缘进行非极大值抑制(抑制不是极大值的元素，搜索局部的极大值)操作。为了检测边缘，寻找出存在于相邻像素之间的这种变化。在载入图像之后，首先通过滤波去除图片中的噪声，然后进行canny边缘检测，为获取传输机皮带边缘做准备。
[0079]
获取当前时刻与前一时刻的两张待检测图像，对两张待检测图像进行去噪，通过canny边缘检测算法获取待检测图像中传输机皮带的边缘，canny边缘检测步骤包括：
[0080]
1.使用高斯模糊，去除噪音点。
[0081]
2.进行灰度转换。
[0082]
3.使用sobel算子，计算出每个点的梯度大小和梯度方向。
[0083]
4.使用非极大值抑制(只有最大的保留)，消除边缘检测带来的杂散效应。
[0084]
5.应用双阈值边界跟踪，来确定真实和潜在的边缘。
[0085]
6.通过抑制弱边缘来完成最终的边缘检测。
[0086]
再对图像进行roi(regionofinterest,图像目标区域裁剪)提取获取确切的传输机皮带边缘，与之前的canny图像进行与操作，即可得到需要的传输机皮带边缘。
[0087]
根据霍夫直线检测算法对包含传输机皮带边缘的图像进行直线拟合，得到拟合后的传输机皮带边缘线，分别获取两张待检测图像的传输机皮带边缘线，判断相邻时刻传输机皮带边缘线的斜率差值是否满足阈值，若满足阈值，表示传输机皮带没有发生偏移，返回步骤四重新获取的待检测图像，若不满足阈值，则表示传输机皮带发生偏移，根据偏移信息进行报警断电处理。
[0088]
所述根据霍夫直线检测算法对包含传输机皮带边缘的图像进行直线拟合包括，
[0089]
s11、将包含传输机皮带边缘的图像进行二值化处理，
[0090]
s12、通过边缘检测算子对图像的边缘像素点进行检测，获取检测后的边缘像素点，
[0091]
s13、根据霍夫变换对边缘像素点进行拟合，获取拟合后对直线集合，
[0092]
s14、通过离群值过滤法对直线集合中进行过滤，获取过滤后的直线集合，
[0093]
s15、根据最小二乘拟合对过滤后的直线集合进行拟合，获取拟合后的传输机皮带边缘线，
[0094]
具体地，首先对图像进行灰度变换，然后比较各相邻像素间的亮度差别，亮度产生突变的地方就是边缘像素，生成多个边缘像素点，对这些边缘像素点进行霍夫变换，霍夫变换通过将图像中的像素在一个空间坐标系中变换到另一个坐标空间坐标系中，拟合出多条直线，形成了边缘图像。
[0095]
使用边缘检测算子寻找那些像素亮度突然变化的边缘，当对亮度函数求一阶导数的时候，会获得更加明显的峰值。g
x
是水平方向x上的一阶导数，gy是竖直方向y方向上的一阶导数，根据一阶导数得到梯度和方向。梯度公式和方向公式如下(8)、(9)所示。
[0096][0097][0098]
将斜率代入以上公式后，可以获得梯度的方向和大小，并去除那些非边界上的点。
[0099]
为了更好地去除不必要的直线，进行离群值过滤，剔除斜率相差过大的线段。设置两个阈值：最小值和最大值。先获取所有的线段的斜率，然后计算斜率的平均值。遍历所有斜率，计算和平均斜率的差值，寻找最大的那个斜率对应的直线，如果差值大于阈值，那么就从列表中剔除对应的线段和斜率。循环执行以上操作，直到剩下的全部都是小于阈值的线段。
[0100]
最后进行最小二乘拟合，实现将左边和右边的线段互相拟合成一条直线，形成传输机皮带边缘线。一旦边缘线斜率有大幅改变，gpu运算平台能够立即发送信号给下位机。
gpu运算平台会通过串口向嵌入式单片机发送一个信号。在部署至gpu运算平台上时，根据场景做tensorrt的量化优化并同时使用cuda加速，由此模型性能可提升10倍。
[0101]
当前市场上传输机皮带裂痕检测装置大都体积大，需要部署多个摄像头，布线艰难，且都需连接台式机，要部署在拥有十几条传输机皮带的港口运输单位费时费力；现在市场上的设备大都体积较大、造价高、难以维护、检测准确率低，缺乏一种体积小、价格低、可靠性强、便于维护的一整套检测系。而本设备基于gpu运算平台和嵌入式单片机，可将模块封装，是小型的一体化设备，价格更低，体积更小且部署容易。本实施例中将系统集成在装置中，装置包括：gpu运算平台、嵌入式单片机、电源、报警装置、除尘装置以及实时显示装置。
[0102]
本实施例中将系统整体部署在gpu运算平台上，将系统模块化封装，用于实时监测皮带状态。为了更好地监测实时状况，将gpu运算平台与小型实时显示装置连接，当出现裂痕时，能够更好地显示裂痕位置，帮助工人快速、准确地发现裂痕。一旦发现裂痕，gpu运算平台将反馈给嵌入式单片机，单片机控制报警装置以及电源，发出警报的同时为在线运行的传输机皮带断电，便于工厂使用和管理。由于工业现场环境恶劣，灰尘较多且光线不足。因此，为摄像头外装了尘罩，并配有定时器和除尘刷，每隔十秒钟清理像头表面，对镜头前的灰尘定期除净。
[0103]
整体的有益效果：
[0104]
本发明提供一种基于深度学习的传输机皮带智能检测装置，基于gpu运算平台和嵌入式单片机，可将各个模块进行封装，本装置为小型的一体化设备，体积更小且部署容易。除此之外，考虑到工厂环境昏暗，将定时器与防尘刷结合定期除净镜头前的灰尘；在gpu运算平台中封装了数据处理模块、目标识别模块、裂痕精准检测模块以及传输机皮带偏移检测模块，通过暗通道处理机制及滤波算法增强待识别的目标图像，提高目标清晰度，使准确率更高，先对传输机皮带数据集进行预处理，然后对传输机皮带裂痕和偏移进行检测，降低了由于缺少数据和数据异常带来了裂痕检测的过拟合和误判等问题，提高了传输机皮带检测效率。同时使用暗通道去雾法增强待识别的目标板块，提高目标清晰度，提高了检测准确率。
[0105]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于深度学习的传输机皮带智能检测装置，其特征在于，包括gpu运算平台、嵌入式单片机、报警装置、除尘装置、摄像头、实时显示装置以及可伸缩三角支架，所述可伸缩三角支架为底座，通过调整自身的高低和倾斜角度来改变检测位置以及检测角度；所述除尘装置用于根据嵌入式单片机的信号对摄像头的表面进行清洁，所述除尘装置包括舵机和除尘刷，所述报警装置用于根据嵌入式单片机的信号进行报警，所述报警装置包括报警器和报警灯，所述摄像头用于获取调整后的传输机皮带的实时图像，并通过usb数据线将实时图像传输至gpu运算平台，所述实时显示装置用于获取gpu运算平台的检测结果并进行显示，所述实时显示装置通过usb数据线和gpu运算平台连接，所述嵌入式单片机用于获取gpu运算平台的检测结果并根据检测结果生成报警信号，将报警信号传输至报警装置，并生成定时信号传输至舵机，舵机根据定时信号控制除尘刷对摄像头的表面进行清洁，所述嵌入式单片机与报警装置、gpu运算平台和舵机连接，所述gpu运算平台用于对传输机皮带的实时图像进行检测并将检测结果发送至实时显示装置和嵌入式单片机。2.根据权利要求1所述的一种基于深度学习的传输机皮带智能检测装置，其特征在于，所述gpu运算平台包括数据处理模块、目标识别模块、裂痕精准检测模块以及传输机皮带偏移检测模块，数据处理模块用于获取包含传输机皮带的图像数据集并对图像数据集进行扩充，所述扩充为获取图像数据集中包含传输机皮带裂痕的图片，分别对包含传输机皮带裂痕的图片进行不同角度的旋转和不同比例的缩放，将旋转、缩放后的图片添加至图像数据集，对扩充后的图像数据集进行标注并划分为训练集和测试集，目标识别模块用于根据yolov5s模型对实时图像中传输机皮带上的物料和裂痕进行检测，所述目标识别模块包括构建yolov5s模型，对yolov5s模型进行修改，所述修改包括设计激活函数、损失函数与锚框预测函数，使用训练集对修改后的yolov5s模型进行训练，获取训练后的yolov5s模型，获取实时图像，根据训练后的yolov5s模型对实时图像进行检测，获取第一检测结果，将第一检测结果发送至实时显示装置进行显示，裂痕精准检测模块用于根据u-net模型获取图像中传输机皮带上裂痕的位置，所述裂痕精准检测模块包括获取训练集，通过暗通道去雾法对训练集中的图像进行处理，构建u-net模型，根据处理后的训练集对u-net模型进行训练，获取训练后的u-net模型，根据训练后的u-net模型对实时图像进行检测，获取第二检测结果，将第二检测结果发送至实时显示装置进行显示以及发送至嵌入式单片机，传输机皮带偏移检测模块用于对图像中传输机皮带是否发生偏移进行检测，所述传输机皮带偏移检测模块包括获取当前时刻与前一时刻的两张实时图像，对两张实时图像进行去噪，通过canny边缘检测算法获取实时图像中传输机皮带的边缘，根据霍夫直线检测算法对包含传输机皮带边缘的图像进行直线拟合，得到拟合后的传输机皮带边缘线，分别获取两张实时图像的传输机皮带边缘线，判断相邻时刻传输机皮带边缘线的斜率差值是否满足
阈值，若满足阈值，表示传输机皮带没有发生偏移，若不满足阈值，则表示传输机皮带发生偏移，将偏移信息发送至实时显示装置进行显示以及发送至嵌入式单片机。3.根据权利要求2所述的一种基于深度学习的传输机皮带智能检测装置，其特征在于，所述对yolov5s模型进行修改包括根据公式(1)设计激活函数，根据公式(2)设计损失函数，根据公式(3)、(4)设计锚框预测函数，f(x)＝x/(e-x
+1) (1)loss＝λ1lcls+λ2lobj+λ3lloc (2)bw＝pw
·
(2
·
σ(tw))
·
(2
·
σ(tw)) (3)bh＝ph
·
(2
·
σ(th))
·
(2
·
σ(th)) (4)其中，x为输入的图像，λ1、λ2、λ3为平衡系数，lcls为矩形框损失，lobj为置信度损失，lloc为分类损失，tw是预测的目标中心宽偏移量，th是预测的目标中心高偏移量，pw是输入图片的宽，ph是输入图片的高，σ是sigmoid激活函数，bw和bh为预测边界框的锚框的宽和高。4.根据权利要求2所述的一种基于深度学习的传输机皮带智能检测装置，其特征在于，所述通过暗通道去雾法对训练集中的图像进行处理包括根据公式(5)进行处理，其中，i(x)为输入的图像，j(x)为输出的图像，a为输入图像的全局大气光值，t0为透射率阈值，t(x)表示输入图像的透射率。5.根据权利要求2所述的一种基于深度学习的传输机皮带智能检测装置，其特征在于，所述根据霍夫直线检测算法对包含传输机皮带边缘的图像进行直线拟合包括，s11、将包含传输机皮带边缘的图像进行二值化处理，s12、通过边缘检测算子对图像的边缘像素点进行检测，获取检测后的边缘像素点，s13、根据霍夫变换对边缘像素点进行拟合，获取拟合后对直线集合，s14、通过离群值过滤法对直线集合中进行过滤，获取过滤后的直线集合，s15、根据最小二乘拟合对过滤后的直线集合进行拟合，获取拟合后的传输机皮带边缘线。

技术总结
本发明公开了一种基于深度学习的传输机皮带智能检测装置，包括GPU运算平台、嵌入式单片机、报警装置、除尘装置、摄像头、实时显示装置以及可伸缩三角支架，除尘装置用于对摄像头的表面进行清洁，报警装置用于根据嵌入式单片机的信号进行报警，摄像头用于获取传输机皮带的实时图像并传输至GPU运算平台，实时显示装置用于获取GPU运算平台的检测结果并进行显示，嵌入式单片机用于获取GPU运算平台的检测结果并根据检测结果生成报警信号进行报警，并生成定时信号传输至舵机，GPU运算平台用于对传输机皮带实时图像进行检测并将检测结果发送至实时显示装置和嵌入式单片机。降低了裂痕检测的过拟合和误判问题，提高了传输机皮带检测效率和精度。测效率和精度。测效率和精度。


技术研发人员：马宝山 张萌 黎俊杰 胡坚 张亿通
受保护的技术使用者：大连海事大学
技术研发日：2023.06.08
技术公布日：2023/8/16