一种基于深度学习的轻量型炮孔智能检测方法及装置

1.本发明涉及计算机视觉领域，尤其涉及一种基于深度学习的轻量型炮孔智能检测方法及装置。


背景技术：

2.目前隧道(巷道)的掘进方式仍然使用一些传统的施工方法，智能化发展水平较低。钻爆法是隧道(巷道)工程施工的主要手段，工人在进行钻爆法施工时存在劳动强度大、施工环境恶劣和施工效率低等问题，恶劣的施工环境严重威胁着工作人员的健康情况和生命安全。
3.随着现代化智能信息技术的发展，一些人工智能技术可以应用于隧道(巷道)掘进过程中的炮孔识别任务。近几年，深度学习的发展提高了目标检测任务的准确度和检测速度，然而高精度的目标检测网络往往需要海量的计算参数才能完成，隧道(巷道)中恶劣的环境限制了高性能计算机的使用，因此，轻量化的、车载设备可部署的目标检测网络是发展隧道(巷道)智能装药所需要的。在进行炮孔识别任务时，通过基于深度学习的轻量型炮孔智能检测方法来提高炮孔检测的精度和效率，减少人力和物力的损耗，实现降本增效促进隧道(巷道)掘进的智能化发展。


技术实现要素：

4.本发明针对隧道(巷道)掘进钻爆法施工过程中的炮孔识别任务，实现钻爆法施工装药作业的无人化，提高炮孔识别的精度和效率，达到降本增效的目标，提出了本发明。
5.为解决上述技术问题，本发明提供了如下技术方案：
6.一方面，本发明提供了一种基于深度学习的轻量型炮孔智能检测方法，该方法由电子设备实现，该方法包括：
7.s1、获取隧道(巷道)中掌子面上的炮孔图片数据。
8.s2、标注炮孔图片数据并划分训练集和验证集。
9.s3、构建轻量型炮孔智能检测模型。
10.s4、部署轻量型炮孔智能检测模型。
11.s5、将炮孔图片输入到轻量型炮孔智能检测模型获得炮孔的识别结果。
12.可选地，s1中的获取隧道(巷道)中掌子面上的炮孔图片数据，包括：
13.s11、使用单反相机拍摄隧道(巷道)中的掌子面炮孔图片，得到含有炮孔的图片数据。
14.s12、通过数据增强技术对炮孔图片进行扩增，得到更加多样性的炮孔图片数据。
15.可选地，s2中的标注炮孔图片数据，包括：
16.s21、通过使用labelimg数据标注软件对炮孔进行标注，获得图片中炮孔的炮孔类别信息和坐标信息。
17.s22、将标注好的数据划分为训练集和验证集。
18.可选地，s3中的构建轻量型炮孔智能检测模型，包括：
19.s31、设计锚框聚类算法，获得更加符合炮孔检测需求的锚框长宽比参数。
20.s32、设计炮孔智能检测模型的轻量型主干网络，以mobilenetv3-small轻量型网络作为主干网络的基本单元。
21.s33、设计两个检测头的炮孔智能检测模型，在确保炮孔检测准确率的前提下，大大精简了模型文件的大小。
22.s34、引入cbam注意力机制，从通道和空间两个维度进行注意力机制的添加，获得更丰富的炮孔特征信息。
23.s35、引入wiou损失函数，减少对低质量炮孔图片的惩罚程度，从而提高对低质量炮孔图片的检测。
24.可选地，s4中的部署轻量型炮孔智能检测模型，包括：
25.s41、组装jetson nano嵌入式开发板，配置镜像系统，安装模型依赖的python包。
26.s42、将炮孔智能检测模型部署到jetson nano嵌入式开发板中。
27.可选地，s5中的将炮孔图片输入到轻量型炮孔智能检测模型获得炮孔的识别结果，包括：
28.将获取到的炮孔图片作为轻量型炮孔智能检测模型的输入，通过模型对图片中的炮孔进行识别和定位，获得炮孔的位置信息。
29.另一方面，本发明提供了一种基于深度学习的轻量型炮孔智能检测装置，该装置应用于隧道(巷道)掘进钻爆法施工过程中的炮孔识别任务，实现炮孔的智能检测，该装置包括：
30.采集模块：用于获取需要进行检测的炮孔图片数据。
31.输入模块：用于将采集到的炮孔图片进行处理并输入到轻量型炮孔智能检测模型。
32.检测模块：用于将输入的炮孔图片进行特征提取，获取炮孔的位置坐标信息并用方框对炮孔进行标记。
33.输出模块：根据炮孔的检测结果，对炮孔的检测信息进行输出，得到炮孔检测的最终结果。
34.可选地，采集模块，进一步用于：
35.s11、使用单反相机拍摄隧道(巷道)中的掌子面炮孔图片，得到含有炮孔的图片数据。
36.s12、通过数据增强技术对炮孔图片进行扩增，得到更加多样性的炮孔图片数据。
37.可选地，输入模块，进一步用于：
38.s21、通过使用labelimg数据标注软件对炮孔进行标注，获得图片中炮孔的炮孔类别信息和坐标信息。
39.s22、将标注好的数据划分为训练集和验证集。
40.可选地，检测模块，进一步用于：
41.s31、设计锚框聚类算法，获得更加符合炮孔检测需求的锚框长宽比参数。
42.s32、设计炮孔智能检测模型的轻量型主干网络，以mobilenetv3-small轻量型网络作为主干网络的基本单元。
43.s33、设计两个检测头的炮孔智能检测模型，在确保炮孔检测准确率的前提下，大大精简了模型文件的大小。
44.s34、引入cbam注意力机制，从通道和空间两个维度进行注意力机制的添加，获得更丰富的炮孔特征信息。
45.s35、引入wiou损失函数，减少对低质量炮孔图片的惩罚程度，从而提高对低质量炮孔图片的检测。
46.可选地，输出模块，进一步用于：
47.s41、组装jetson nano嵌入式开发板，配置镜像系统，安装模型依赖的python包。
48.s42、将炮孔智能检测模型部署到jetson nano嵌入式开发板中。
49.可选地，输出模块，进一步用于：
50.将获取到的炮孔图片作为轻量型炮孔智能检测模型的输入，通过模型对图片中的炮孔进行识别和定位，获得炮孔的位置信息。
51.一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于深度学习的轻量型炮孔智能检测方法。
52.一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于深度学习的轻量型炮孔智能检测方法。
53.上述技术方案，与现有技术相比至少具有如下有益效果：
54.上述方案，通过对隧道(巷道)掌子面进行拍摄，获取含有炮孔的图片数据，得到炮孔图片数据集；通过数据增强技术，获取多样化的炮孔图片，扩充炮孔图片数据集；通过利用深度学习的技术构建轻量型炮孔智能检测模型，可以用于嵌入式设备，进行轻量化部署；引入多种提高炮孔检测精度和效率的机制方法，提高了轻量型炮孔智能检测的精度和效率；实现从原始炮孔图片中检测出炮孔的坐标信息，并通过标注方框进行标记，能够快速高效的完成炮孔检测任务，改善隧道(巷道)掘进钻爆法施工装药作业流程，实现装药过程无人化、智能化，促进隧道(巷道)掘进作业的智能化发展。
附图说明
55.为了更清楚明了地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1是本发明实施例提供的基于深度学习的轻量型炮孔智能检测方法流程示意图；
57.图2是本发明实施例提供的mobilenetv3的网络结构图；
58.图3是本发明实施例提供的cbam注意力网络结构图；
59.图4是本发明实施例提供的轻量化炮孔智能检测模型结构图；
60.图5是本发明实施例提供的基于深度学习的轻量型炮孔智能检测装置框图；
61.图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
62.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.如图1所示，本发明实施例提供了一种基于深度学习的轻量型炮孔智能检测方法，该方法可以由电子设备实现。如图1所示的基于深度学习的轻量型炮孔智能检测方法流程示意图，该方法的处理流程可以包括如下的步骤：
64.s1、获取隧道(巷道)中掌子面上的炮孔图片数据。
65.可选地，s1中的隧道(巷道)中的掌子面上的炮孔图片数据获取过程，包括s11-s12：
66.s11、使用单反相机拍摄隧道(巷道)中的掌子面炮孔图片，得到含有炮孔的图片数据。
67.s12、通过数据增强技术对炮孔图片进行扩增，得到更加多样性的炮孔图片数据。
68.其中，数据增强技术包括将一张图片进行切分、多张图片叠加等。
69.s2、标注炮孔图片数据并划分训练集和验证集。
70.可选地，s2中的标注炮孔图片数据并划分训练集和验证集过程，包括s21-s22：
71.s21、通过使用labelimg数据标注软件对炮孔进行标注，获得图片中炮孔的炮孔类别信息和坐标信息。
72.其中，通过labelimg标注软件，选择yolo模型进行炮孔图片的标注，最终获得炮孔的标注信息，包含炮孔的类别索引和坐标信息。
73.s22、将标注好的数据划分为训练集和验证集。
74.其中，划分数据集是将炮孔数据集按8:2的比例划分为训练集和验证集。
75.s3、构建轻量型炮孔智能检测模型。
76.可选地，s3中的构建轻量型炮孔智能检测模型过程，包括s31-s35：
77.s31、设计锚框聚类算法，获得更加符合炮孔检测需求的锚框长宽比参数。
78.s32、设计炮孔智能检测模型的轻量型主干网络，以mobilenetv3-small轻量型网络作为主干网络的基本单元。
79.一种可行的实施方式中，通过卷积神经网络可以较好的提取图片中的特征信息，mobilenet作为轻量型的网络在降低大量参数计算量的同时仍然具有较高的特征提取能力。mobilenetv3为mobilenet系列网络的第三个版本，包含有两种结构，分别为mobilenetv3-large和mobilenetv3-small。如图2所示，mobilenetv3的网络结构图，mobilenetv3-small轻量型网络作为炮孔智能检测模型的主干网络具有较好的炮孔特征信息提取能力。
80.s33、设计两个检测头的炮孔智能检测模型，在确保炮孔检测准确率的前提下，大大精简了模型文件的大小。
81.s34、引入cbam注意力机制，从通道和空间两个维度进行注意力机制的添加，获得更丰富的炮孔特征信息。
82.一种可行的实施方式中，通过cbam(convolutional block attention module，
cbam)注意力机制获取更加丰富的炮孔特征信息，如图3所示，cbam注意力网络结构图。在轻量型炮孔智能检测模型网络中，分别从通道和空间两个维度上进行注意力的添加，然后两个维度产生的注意力特征图信息与原始炮孔图片的特征图信息进行乘积，通过自适应特征得到最终的炮孔特征图。
83.s35、引入wiou损失函数，减少对低质量炮孔图片的惩罚程度，从而提高对低质量炮孔图片的检测。
84.其中，wiou损失函数的公式如下：
85.l
wiou
＝r
wiou
l
iou
[0086][0087]
其中，wg、hg表示最小的边框；上标为*是将wg和hg从计算图中分离出来，以防止r
wiou
影响梯度的收敛。
[0088]
一种可行的实施方式中，如图4所示，针对轻量型炮孔智能检测方法，分别从主干网络(backbone)、颈部网络(neck)和头部网络(head)三部分进行设计，使用自定义的锚框聚类算法获得新的炮孔锚框长宽比参数。通过使用mobilenetv3-small网络进行轻量化的设计，并将检测头的数量设计为2，大大精简了炮孔检测模型的文件大小。在网络中引入cbam注意力机制，提高了模型对特征的提取能力。引入wiou损失函数，提高对低质量炮孔图片的检测精度。
[0089]
s4、部署轻量型炮孔智能检测模型。
[0090]
可选地，s4中的部署轻量型炮孔智能检测模型，包括s41-s42：
[0091]
s41、组装jetson nano嵌入式开发板，配置镜像系统，安装模型依赖的python包。
[0092]
其中，模型依赖的python包主要包括轻量型炮孔智能检测模型所需要的依赖，使用的深度学习框架为pytorch。
[0093]
s42、将炮孔智能检测模型部署到jetson nano嵌入式开发板中。
[0094]
s5、将炮孔图片输入到轻量型炮孔智能检测模型获得炮孔的识别结果。
[0095]
本发明实施例中，通过对隧道(巷道)掌子面进行拍摄，获取含有炮孔的图片数据，得到炮孔图片数据集；通过数据增强技术，获取多样化的炮孔图片，扩充炮孔图片数据集；通过利用深度学习的技术构建轻量型炮孔智能检测模型，可以用于嵌入式设备，进行轻量化部署；引入多种提高炮孔检测精度和效率的机制方法，提高了轻量型炮孔智能检测的精度和效率；实现从原始炮孔图片中检测出炮孔的坐标信息，并通过标注方框进行标记，能够快速高效的完成炮孔检测任务，改善隧道(巷道)掘进钻爆法施工装药作业流程，实现装药过程无人化、智能化，促进隧道(巷道)掘进作业的智能化发展。
[0096]
如图5所示，本发明实施例提供了一种基于深度学习的轻量型炮孔智能检测装置500，该装置500应用于实现基于深度学习的轻量型炮孔智能检测方法，该装置500包括：
[0097]
采集模块510：用于获取需要进行检测的炮孔图片数据。
[0098]
输入模块520：用于将采集到的炮孔图片进行处理并输入到轻量型炮孔智能检测模型。
[0099]
检测模块530：用于将输入的炮孔图片进行特征提取，获取炮孔的位置坐标信息并
用方框对炮孔进行标记。
[0100]
输出模块540：根据炮孔的检测结果，对炮孔的检测信息进行输出，得到炮孔检测的最终结果。
[0101]
可选地，采集模块510，进一步用于：
[0102]
s11、使用单反相机拍摄隧道(巷道)中的掌子面炮孔图片，得到含有炮孔的图片数据。
[0103]
s12、通过数据增强技术对炮孔图片进行扩增，得到更加多样性的炮孔图片数据。
[0104]
可选地，输入模块520，进一步用于：
[0105]
s21、通过使用labelimg数据标注软件对炮孔进行标注，获得图片中炮孔的炮孔类别信息和坐标信息；
[0106]
s22、将标注好的数据划分为训练集和验证集。
[0107]
可选地，检测模块530，进一步用于：
[0108]
s31、设计锚框聚类算法，获得更加符合炮孔检测需求的锚框长宽比参数；
[0109]
s32、设计炮孔智能检测模型的轻量型主干网络，以mobilenetv3-small轻量型网络作为主干网络的基本单元；
[0110]
s33、设计两个检测头的炮孔智能检测模型，在确保炮孔检测准确率的前提下，大大精简了模型文件的大小；
[0111]
s34、引入cbam注意力机制，从通道和空间两个维度进行注意力机制的添加，获得更丰富的炮孔特征信息；
[0112]
s35、引入wiou损失函数，减少对低质量炮孔图片的惩罚程度，从而提高对低质量炮孔图片的检测。
[0113]
可选地，输出模块540，进一步用于：
[0114]
s41、组装jetson nano嵌入式开发板，配置镜像系统，安装模型依赖的python包；
[0115]
s42、将炮孔智能检测模型部署到jetson nano嵌入式开发板中。
[0116]
可选地，输出模块540，进一步用于：
[0117]
将获取到的炮孔图片作为轻量型炮孔智能检测模型的输入，通过模型对图片中的炮孔进行识别和定位，获得炮孔的位置信息。
[0118]
本发明实施例中，通过对隧道(巷道)掌子面进行拍摄，获取含有炮孔的图片数据，得到炮孔图片数据集；通过数据增强技术，获取多样化的炮孔图片，扩充炮孔图片数据集；通过利用深度学习的技术构建轻量型炮孔智能检测模型，可以用于嵌入式设备，进行轻量化部署；引入多种提高炮孔检测精度和效率的机制方法，提高了轻量型炮孔智能检测的精度和效率；实现从原始炮孔图片中检测出炮孔的坐标信息，并通过标注方框进行标记，能够快速高效的完成炮孔检测任务，改善隧道(巷道)掘进钻爆法施工装药作业流程，实现装药过程无人化、智能化，促进隧道(巷道)掘进作业的智能化发展。
[0119]
图6是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)601和一个或一个以上的存储器602，其中，存储器602中存储有至少一条指令，至少一条指令由处理器601加载并执行以实现下述基于深度学习的轻量型炮孔智能检测方法：
[0120]
s1、获取隧道(巷道)中掌子面上的炮孔图片数据。
[0121]
s2、标注炮孔图片数据并划分训练集和验证集。
[0122]
s3、构建轻量型炮孔智能检测模型。
[0123]
s4、部署轻量型炮孔智能检测模型。
[0124]
s5、将炮孔图片输入到轻量型炮孔智能检测模型获得炮孔的识别结果。
[0125]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于深度学习的轻量型炮孔智能检测方法。例如，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0126]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0127]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于深度学习的轻量型炮孔智能检测方法，其特征在于，所述方法包括：s1、获取隧道(巷道)中掌子面上的炮孔图片数据；s2、标注炮孔图片数据并划分训练集和验证集；s3、构建轻量型炮孔智能检测模型；s4、部署轻量型炮孔智能检测模型；s5、将炮孔图片输入到轻量型炮孔智能检测模型获得炮孔的识别结果。2.根据权利要求1所述的方法，其特征在于，所述s1中的获取隧道(巷道)中掌子面上的炮孔图片数据，包括：s11、使用单反相机拍摄隧道(巷道)中的掌子面炮孔图片，得到含有炮孔的图片数据；s12、通过数据增强技术对炮孔图片进行扩增，得到更加多样性的炮孔图片数据。3.根据权利要求1所述的方法，其特征在于，所述s2中的标注炮孔图片数据，包括：s21、通过使用labelimg数据标注软件对炮孔进行标注，获得图片中炮孔的炮孔类别信息和坐标信息；s22、将标注好的数据划分为训练集和验证集。4.根据权利要求1所述的方法，其特征在于，所述s3中的构建轻量型炮孔智能检测模型，包括：s31、设计锚框聚类算法，获得更加符合炮孔检测需求的锚框长宽比参数；s32、设计炮孔智能检测模型的轻量型主干网络，以mobilenetv3-small轻量型网络作为主干网络的基本单元；s33、设计两个检测头的炮孔智能检测模型，在确保炮孔检测准确率的前提下，大大精简了模型文件的大小；s34、引入cbam注意力机制，从通道和空间两个维度进行注意力机制的添加，获得更丰富的炮孔特征信息；s35、引入wiou损失函数，减少对低质量炮孔图片的惩罚程度，从而提高对低质量炮孔图片的检测。5.根据权利要求1所述的方法，其特征在于，所述s4中的部署轻量型炮孔智能检测模型，包括：s41、组装jetson nano嵌入式开发板，配置镜像系统，安装模型依赖的python包；s42、将炮孔智能检测模型部署到jetson nano嵌入式开发板中。6.根据权利要求1所述的方法，其特征在于，所述s5中的将炮孔图片输入到轻量型炮孔智能检测模型获得炮孔的识别结果，包括：将获取到的炮孔图片作为轻量型炮孔智能检测模型的输入，通过模型对图片中的炮孔进行识别和定位，获得炮孔的位置信息。7.一种基于深度学习的轻量型炮孔智能检测方法及装置，其特征在于，所述装置包括：采集模块：用于获取需要进行检测的炮孔图片数据；输入模块：用于将采集到的炮孔图片进行处理并输入到轻量型炮孔智能检测模型；检测模块：用于将输入的炮孔图片进行特征提取，获取炮孔的位置坐标信息并用方框对炮孔进行标记；输出模块：根据炮孔的检测结果，对炮孔的检测信息进行输出，得到炮孔检测的最终结果。

技术总结
本发明公开了一种基于深度学习的轻量型炮孔智能检测方法及装置，涉及计算机视觉领域。包括：获取隧道(巷道)中掌子面上的炮孔图片数据；标注炮孔图片数据并划分训练集和验证集；构建轻量型炮孔智能检测模型；部署轻量型炮孔智能检测模型；将炮孔图片输入到轻量型炮孔智能检测模型获得炮孔的识别结果。本发明能够轻量化部署到车载嵌入式设备中，实现炮孔智能检测，提高隧道(巷道)施工过程中炮孔检测效率、减小工人的劳动强度和保障施工人员的健康和安全，对推动隧道(巷道)工程智能化发展具有重要的意义。重要的意义。重要的意义。


技术研发人员：岳中文 金庆雨 潘杉 王麦可 覃逸峰 张钧皓 王勇翔
受保护的技术使用者：中国矿业大学（北京）
技术研发日：2023.06.02
技术公布日：2023/8/23