一种用于检测刮板机的刮板是否脱离的方法、装置及设备与流程

1.本发明涉及刮板机异常检测领域，尤其涉及一种用于检测刮板机的刮板是否脱离的方法、装置及设备。


背景技术：

2.在煤矿的采煤过程中，刮板运输机是一个重要的运煤工具，常用于综采工作面中，极大地提高了运煤的效率。但是由于煤矿的生产环境较为恶劣，导致刮板运输机在运行的过程中可能会发生各种各样的异常情况，如链条断裂、刮板脱离、飘链等。于是及时准确地将这些异常情况检测出来，可以更好的防患于未然。本专利的内容主要针对于刮板脱离这一情况来进行检测，采用深度学习的方法准确快速地检测出是否出现刮板脱离的情况。
3.在目前采用深度学习的方法来检测刮板运输机是否发生刮板脱离的情况中，主要有两种常用的方法，一是采用目标检测的方式，来对刮板进行识别，然后通过分析刮板之间的间距，判断出是否出现了刮板脱离的情况。这种方法比较简单快捷的实现了刮板的检测，但是其缺点在于：很多场景中刮板运输机的方向是倾斜的，这导致常规的目标检测所识别出的矩形框中大部分为背景信息，这在一定程度上影响了刮板的识别效果和泛化能力。第二种方法是采用图像分割的方式，通过将刮板这一目标分割出来，然后通过刮板之间的间距来判断是否出现了刮板脱离的情况。这种方法是实现了像素级的分割，其分割的精度更高，但是其缺点在于算法需要占用更多的硬件资源。


技术实现要素：

4.为克服相关技术中存在的问题，本发明提供一种用于检测刮板机的刮板是否脱离的方法、装置及设备。
5.根据本发明实施例的第一方面，提供一种用于检测刮板机的刮板是否脱离的方法，包括：
6.将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果；
7.基于所述检测结果，计算相邻刮板的像素距离；
8.将所述像素距离转换为真实距离；
9.将相邻刮板之间的真实距离与正常的刮板间距进行对比，如果检测到某两个相邻刮板之间的间距远大于正常的刮板间距，则认为这两个刮板之间出现了刮板脱离的情况。
10.进一步，在将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果之前，还包括：
11.制作旋转目标检测训练集；
12.使用所述旋转目标检测训练集训练模型。
13.进一步，所述制作旋转目标检测训练集，具体包括：
14.使用标注工具对刮板运输机的图像进行标注，标注出刮板的类别和对应的位置坐标，标注完成之后，每一张图片生成一个对应的标签文件，得到旋转目标检测的训练集。
15.进一步，所述使用旋转目标检测训练集训练模型，具体包括：
16.将标注好的训练集输入旋转目标检测模型中进行训练，然后将训练集中标注的标签文件与神经网络的输出层相对应，使用优化器进行参数优化，在损失函数的损失值达到设定值之后，表示模型基本收敛，得到一个训练完成之后的离线权重文件。
17.进一步，所述检测结果为每一个刮板目标四个顶点的坐标；
18.所述基于所述检测结果，计算相邻刮板的像素距离，具体包括：
19.根据每一个刮板目标四个顶点的坐标计算出刮板中心点坐标；
20.分别计算相邻刮板的中心点坐标之间的像素距离。
21.根据本发明实施例的第二方面，提供一种用于检测刮板机的刮板是否脱离的装置，包括：
22.目标检测模块，用于将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果；
23.测距模块，用于基于所述检测结果，计算相邻刮板的像素距离；
24.距离转换模块，用于将所述像素距离转换为真实距离；
25.刮板状态判断模块，用于将相邻刮板之间的真实距离与正常的刮板间距进行对比，如果检测到某两个相邻刮板之间的间距远大于正常的刮板间距，则认为这两个刮板之间出现了刮板脱离的情况。
26.进一步，还包括：
27.训练集制作模块，用于制作旋转目标检测训练集；
28.模型训练模块，用于使用所述旋转目标检测训练集训练模型。
29.进一步，所述检测结果为每一个刮板目标四个顶点的坐标；
30.所述测距模块，具体包括：
31.中心点计算单元，用于根据每一个刮板目标四个顶点的坐标计算出刮板中心点坐标；
32.距离计算单元，用于分别计算相邻刮板的中心点坐标之间的像素距离。
33.根据本发明实施例的第三方面，提供一种终端设备，包括：
34.处理器；以及
35.存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
36.根据本发明实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
37.本发明的实施例提供的技术方案可以包括以下有益效果：
38.使用旋转目标检测来对刮板进行识别，然后通过单目测距的方法来计算刮板之间的距离。这种方法可以达到精度的要求，同时资源占用会比图像分割算法要小，达到了精度和资源占用之间的相对平衡。
39.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
40.通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
41.图1为使用旋转目标检测算法识别刮板；
42.图2为张正友标定法所使用的黑白棋盘格；
43.图3为刮板脱离检测流程图。
具体实施方式
44.下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
45.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
46.应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
47.本专利中所提出的方法的主要思想为：由于在刮板运输机的场景中，刮板在视频画面中往往是以倾斜的角度出现的，于是常规的目标检测方法在检测的识别框中会存在很多的冗余信息，影响识别的准确率。于是本专利中提出了旋转目标检测的方式来对刮板进行检测，由于旋转目标检测的识别结果中带有一定的旋转角度，这使得识别得到的目标框中冗余信息较少。在得到刮板的检测结果之后，我们需要通过判断刮板之间的距离来对刮板的状态进行评估，如果检测到有某处相邻两个刮板之间的间距要远大于其他相邻刮板之间的间距，那么我们就可以认为这两个刮板之间应该还有刮板，但是刮板出现了脱离，所以导致其间距较大。对于如何计算刮板之间的间距，一个常规的方法是计算相邻刮板中心点之间的像素距离，但是这种方法没有考虑摄像机的畸变，即对于同样的距离来说，在图像上的显示效果为：远处的像素小、近处的像素大，这将导致距离的判断会出现较大的误差。于是本专利中通过单目测距的方法，通过相机标定，计算出刮板之间的实际距离，避免了相机畸变的问题，使得计算得到的刮板间距误差更小。
48.本专利涉及的两个核心算法为旋转目标检测算法和单目测距算法。目前有很多的思路可以实现旋转目标检测的功能和单目测距的功能，我们这里给出我们所使用的思路。在旋转目标检测算法中，我们以yolo目标检测算法为基础，在yolo算法的输出部分进行修改，之前的yolo算法输出值包括目标类别、置信度、矩形框的左上角点和右下角点的坐标。
这里我们将矩形框左上角点和右下角点的坐标修改为旋转目标框的四个顶点的坐标，实现了对输出维度的修改。然后将损失函数修改为piou损失。之后通过对刮板运输机进行标注训练，实现对于刮板的检测。旋转目标检测算法检测刮板的识别效果如说明书附图1所示。在得到刮板的检测结果之后，我们需要计算相邻刮板之间的距离，这里我们采用单目测距的方式来进行计算，首先通过张正友棋盘格标定法进行相机标定，相机标定所使用的棋盘格如说明书附图2所示。在得到相机参数之后，就可以通过摄像几何的原理将像素点之间的距离转换为世界坐标系中的距离。从而可以根据刮板之间的距离来判断出是否出现了刮板脱离的情况。以下结合附图详细描述本发明实施例的技术方案。
49.下面对本专利中提出的结合旋转目标检测和单目测距算法来进行刮板脱离检测的方法进行详细说明，其整体流程图如图3所示。
50.参见图3，该方法包括：
51.步骤1、制作旋转目标检测训练集。
52.具体的，在训练集制作步骤中，我们需要使用标注工具对刮板运输机的图像进行一一标注，标注出刮板的类别和对应的位置坐标，标注完成之后，每一张图片都会生成一个对应的标签文件，在标注了上万张图片之后，旋转目标检测的训练集就制作完成了。
53.步骤2、使用所述旋转目标检测训练集训练模型。
54.将上一步骤中标注好的训练集输入旋转目标检测模型中进行训练，然后将训练集中标注的标签文件与神经网络的输出层相对应。之后使用优化器进行参数优化，在损失函数的损失值达到一个较小的值之后，表示模型基本收敛，这时我们得到一个训练完成之后的离线权重文件。
55.步骤3、将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果。
56.具体的，使用训练得到离线权重文件，对实时的刮板机视频进行实时检测，检测输出的结果为刮板机的类别和四个顶点的坐标。
57.步骤4、基于所述检测结果，计算相邻刮板的像素距离。
58.具体的，基于步骤3的检测结果，即可计算出每一个刮板的中心点坐标，进而得到各相邻刮板的中心点的像素距离，作为相邻刮板的像素距离。
59.步骤5、将所述像素距离转换为真实距离。
60.具体的，使用张正友棋盘格标定法来进行相机标定，在得到相机参数之后，就可以通过摄像几何的原理将像素点之间的距离转换为世界坐标系中的距离。即将上一步骤中的刮板像素中心点之后的距离转换为真实距离。
61.步骤6、将相邻刮板之间的真实距离与正常的刮板间距进行对比，如果检测到某两个相邻刮板之间的间距远大于正常的刮板间距，则认为这两个刮板之间出现了刮板脱离的情况。
62.具体的，如果判断两个刮板之间出现了刮板脱离的情况，需要及时通知工作人员进行处理；否则，则认为刮板状态正常，没有出现刮板脱离的情况。
63.与上述方法实施例相对应地，本实施例提供一种用于检测刮板机的刮板是否脱离的装置，该装置包括：
64.目标检测模块，用于将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果；
65.测距模块，用于基于所述检测结果，计算相邻刮板的像素距离；
66.距离转换模块，用于将所述像素距离转换为真实距离；
67.刮板状态判断模块，用于将相邻刮板之间的真实距离与正常的刮板间距进行对比，如果检测到某两个相邻刮板之间的间距远大于正常的刮板间距，则认为这两个刮板之间出现了刮板脱离的情况。
68.可选地，在该实施例中，该装置还包括：
69.训练集制作模块，用于制作旋转目标检测训练集；
70.模型训练模块，用于使用所述旋转目标检测训练集训练模型。
71.可选地，在该实施例中，所述检测结果为每一个刮板目标四个顶点的坐标；
72.所述测距模块，具体包括：
73.中心点计算单元，用于根据每一个刮板目标四个顶点的坐标计算出刮板中心点坐标；
74.距离计算单元，用于分别计算相邻刮板的中心点坐标之间的像素距离。
75.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
76.本发明还提供一种计算设备，该设备包括存储器和处理器。
77.处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
78.存储器可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)和永久存储装置。其中，rom可以存储处理器或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
79.存储器上存储有可执行代码，当可执行代码被处理器处理时，可以使处理器执行上文述及的方法中的部分或全部。
80.此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中部分或全部步骤的计算机
程序代码指令。
81.或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤的部分或全部。
82.上文中已经参考附图详细描述了本发明的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
83.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
84.附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
85.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

技术特征：
1.一种用于检测刮板机的刮板是否脱离的方法，其特征在于，包括：将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果；基于所述检测结果，计算相邻刮板的像素距离；将所述像素距离转换为真实距离；将相邻刮板之间的真实距离与正常的刮板间距进行对比，如果检测到某两个相邻刮板之间的间距远大于正常的刮板间距，则认为这两个刮板之间出现了刮板脱离的情况。2.根据权利要求1所述的方法，其特征在于，在将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果之前，还包括：制作旋转目标检测训练集；使用所述旋转目标检测训练集训练模型。3.根据权利要求2所述的方法，其特征在于，所述制作旋转目标检测训练集，具体包括：使用标注工具对刮板运输机的图像进行标注，标注出刮板的类别和对应的位置坐标，标注完成之后，每一张图片生成一个对应的标签文件，得到旋转目标检测的训练集。4.根据权利要求3所述的方法，其特征在于，所述使用旋转目标检测训练集训练模型，具体包括：将标注好的训练集输入旋转目标检测模型中进行训练，然后将训练集中标注的标签文件与神经网络的输出层相对应，使用优化器进行参数优化，在损失函数的损失值达到设定值之后，表示模型基本收敛，得到一个训练完成之后的离线权重文件。5.根据权利要求1-4任一项所述的方法，其特征在于，所述检测结果为每一个刮板目标四个顶点的坐标；所述基于所述检测结果，计算相邻刮板的像素距离，具体包括：根据每一个刮板目标四个顶点的坐标计算出刮板中心点坐标；分别计算相邻刮板的中心点坐标之间的像素距离。6.一种用于检测刮板机的刮板是否脱离的装置，其特征在于，包括：目标检测模块，用于将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果；测距模块，用于基于所述检测结果，计算相邻刮板的像素距离；距离转换模块，用于将所述像素距离转换为真实距离；刮板状态判断模块，用于将相邻刮板之间的真实距离与正常的刮板间距进行对比，如果检测到某两个相邻刮板之间的间距远大于正常的刮板间距，则认为这两个刮板之间出现了刮板脱离的情况。7.根据权利要求6所述的装置，其特征在于，还包括：训练集制作模块，用于制作旋转目标检测训练集；模型训练模块，用于使用所述旋转目标检测训练集训练模型。8.根据权利要求6或7所述的装置，其特征在于，所述检测结果为每一个刮板目标四个顶点的坐标；所述测距模块，具体包括：中心点计算单元，用于根据每一个刮板目标四个顶点的坐标计算出刮板中心点坐标；距离计算单元，用于分别计算相邻刮板的中心点坐标之间的像素距离。9.一种终端设备，其特征在于，包括：
处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。10.一种非暂时性机器可读存储介质，其上存储有可执行代码，其特征在于，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。

技术总结
本发明是关于一种用于检测刮板机的刮板是否脱离的方法、装置及设备。该方法包括：将刮板机视频输入预先训练的旋转目标检测模型，得到检测结果；基于所述检测结果，计算相邻刮板的像素距离；将所述像素距离转换为真实距离；将相邻刮板之间的真实距离与正常的刮板间距进行对比，如果检测到某两个相邻刮板之间的间距远大于正常的刮板间距，则认为这两个刮板之间出现了刮板脱离的情况。本发明提供的技术方案，使用旋转目标检测来对刮板进行识别，然后通过单目测距的方法来计算刮板之间的距离。这种方法可以达到精度的要求，同时资源占用会比图像分割算法要小，达到了精度和资源占用之间的相对平衡。的相对平衡。的相对平衡。


技术研发人员：李忠义 刘志 梁辉 朱晓宁
受保护的技术使用者：精英数智科技股份有限公司
技术研发日：2023.03.31
技术公布日：2023/7/7