一种基于机器视觉的布匹缺陷检测处理装置及其使用方法

1.本发明涉及布匹缺陷检测领域，具体是一种基于机器视觉的布匹缺陷检测处理装置及其使用方法。


背景技术：

2.布匹缺陷检测处理是指一种对制造的布匹进行缺陷的检测、定位、评估和制订针对性处理方案的技术，是纺织行业生产和质量管理中的重要环节。目前，我国布匹产量已接近400亿米，但是，国内大部分纺织企业仍在使用传统的人工进行布匹缺陷检测。虽然，人工进行布匹缺陷检测也可以实现布匹缺陷进行分类、评分和记录，但是，此类重复性劳动在长时间工作之后会出现缺陷检测在精度、一致性、效率方面的严重，即布匹缺陷的检测效率降低。
3.为了解决人工进行布匹缺陷检测的问题，可以采用传统的布匹缺陷检测处理装置进行处理。但是，目前的传统的布匹缺陷检测处理装置侧重于检出缺陷，而无法实现对检出的含缺陷布匹应进行深度处理。这个问题直接导致检测处理的流程的连贯性低下。
4.因此，目前需要的技术问题是：实现高精度、高检测速度的布匹缺陷检测处理方法并开发高效的布匹缺陷检测处理工业软件和低成本的布匹缺陷检测处理装置。例如，现有技术1(专利号为cn206321577u)公开了一种布匹(织物)缺陷检测装置，包括第一导布辊、第二导布辊及第三导布辊，第三导布辊设于第一导布辊及第二导布辊的上方，使布匹依次通过第二导布辊、第三导布辊及第一导布辊时能够形成凸起；所述第三导布辊的上方设有多个ccd摄像头，多个ccd摄像头呈直线排列；还包括控制柜，控制柜内设有主控机及从控机，多个ccd摄像头与主控机连接，从控机与主控机连接。该实用新型提供一种布匹缺陷检测装置，采用主/从机分布式机器视觉在线检测结构，保证了图像采集、处理、传输和储存的实时性，满足了对布匹表面质量检测中的宽幅面、高精度的要求。但是，该装置存在的技术问题是，不具备缺陷的质量检测和检测结果的存储，并且，无法实现含缺陷布匹的在生产线上的实时处理，也就是说，该现有技术在后续环节中，还需要进行人工处理。
5.针对上述问题，现有技术2(专利号为cn214668657u)公开了一种在线布匹(织物)缺陷检测装置，包括传送带，传送带的上方按照传动方向依次设置有环形光源、喷墨打标装置，环形光源的上方设置有相机，传送带的下方设置有传送带控制箱与喷墨打标控制器，传送带、喷墨打标装置分别与传送带控制箱与喷墨打标控制器连接，相机、传送带控制箱与喷墨打标控制器分别与边缘计算装置连接。该技术方案所提出的装置解决现有布匹缺陷检测效率及普适性低，成本高昂的问题，并以喷墨打标的形式对布匹所含的缺陷进行标记，实现了高效、实时的缺陷检出信息反馈。但是，该技术方案存在的技术问题是，基于喷墨打标的缺陷检出信息的形式进行反馈，在实际纺织工业生产环节中，会造成对布匹的二次伤害，并且，该装置不具备缺陷信息返回和数字化保存的功能，不利于后续复查含缺陷布匹。
6.因此，针对上述问题，现有技术3(专利号为cn108593680a)提出了一种瑕疵布匹处理用裁剪、分拣装置，包括机架、操作平台、放布辊、裁剪机构、扯布机构、控制机构和用于检
测布匹上孔状瑕疵的光电传感器，控制机构可控制放布辊、裁剪机构、扯布机构、机械臂和光电传感器分别完成放布、裁剪、扯布、动作位置调节和孔状瑕疵检测功用，控制机构还可调控裁剪机构分别在光电传感器未检测到孔状瑕疵、且扯布机构已完成预设扯布长度时，以及光电传感器检测到孔状瑕疵时，即刻对已扯出布料进行沿其宽度方向的裁剪作业。该技术方案可以实现一次性完成布匹的瑕疵检测、裁切去除、制衣前的裁布作业以及瑕疵布块和制衣布块分拣工序，并且自动化程度较高，有助于提高成衣质量和布料利用率，节约生产成本。但是，该技术方案存在的技术问题是，只适用于孔状瑕疵，无法解决检测和解决其他类型的缺陷，即缺乏适用性。
7.通过上述技术分析后可知，现有布匹缺陷检测处理装置具有以下4个技术问题：
8.1、现有技术能检测的缺陷类型仅限于点状缺陷和线状缺陷。
9.2、现有技术的缺陷信息反馈形式仅限于物理反馈，如喷墨打标；
10.3、现有布匹缺陷检测处理装置的应用场景仅限于生产后的布匹质量检测，不具备生产线上的实时检测功能；
11.4、现有方案不具备模板布匹的补充的功能。
12.根据上述方案，现有布匹缺陷检测处理装置的应用存在以下困难：
13.1、现有方案在实际应用中，受限于检测模型所能检测的缺陷类型，遇到未预先训练的缺陷时易出现错检和漏检；
14.2、现有方案智能化程度低，缺陷检出后的反馈形式仅限于物理反馈，数字化反馈的改造难度大。
15.3、现有方案作为一个环节引入生产线，整体生产流程重新规划、排程的难度大。
16.4、现有方案不具备模板布匹的补充的功能，在生产线上检出含缺陷的布匹，应当将其回收，但是布匹在快速生产中需要依照生产顺序进行堆叠，若仅将含缺陷布匹回收而不补充相应的无缺陷的模板布匹，易导致检测后的布匹堆叠乱序，进而影响生产。


技术实现要素：

17.本发明的目的，是提供一种基于机器视觉的布匹缺陷检测处理装置。基本原理如下：
18.通过检测模块和检测评分方法，来实现14种布匹缺陷的检测和评分；
19.通过处理模块和检测处理方法，来实现含缺陷布匹回收、模板布匹补充、装置处理信息的返回的数字化和含缺陷布匹的后处理；
20.通过上位机的控制软件，来实现装置的驱动控制，并实现在不影响整体生产流程的前提下嵌入生产线；
21.此外，通过模块化实现布匹生产线的智能，获得降低成本化和提升操作便捷程度的效果。
22.为了实现上述发明目的，本发明采用的技术方案为：
23.一种基于机器视觉的布匹缺陷检测处理装置，由检测模块、处理模块、外部框架和上位机组成；
24.检测模块由工业相机、相机滑台、底层传送带、电机驱动模块组成；所述检测模块中，
25.工业相机作为检测的输入，用于实时获取图像信息；
26.相机滑台由3根光轴导轨组合而成，作为工业相机的基座，用于实现自动化的工业相机3轴定位；
27.底层传送带由42步进电机和传送带组成，用于输送待检测的布匹；
28.电机驱动模块由tb6600步进电机驱动器和24v、100w的开关电源组成，用于驱动控制底层传送带、布匹补充传送带、缺陷回收传送带；
29.处理模块由含缺陷布匹回收库、模板补充库、正常布匹回收库、布匹补充传送带、缺陷回收传送带、变轨装置组成；所述处理模块中，
30.含缺陷布匹回收库主体为两侧开放式的铁质方型壳体，用于回收含缺陷的布匹；
31.模板补充库由铁质方型壳体、分层铁板、模板补充库舵机、铁质挡板和控制器组成；所述模板补充库中，
32.铁质方型壳体用于模板补充库的外部结构支撑和模板布匹的存放；
33.分层铁板用于铁质方型壳体的内部空间分层，分隔出多个空间用于模板布匹的存放；
34.模板补充库舵机用于接受控制器下发的控制命令，并带动对应序号的铁质挡板转动；
35.铁质挡板用于从模板补充库的相应层释放模板布匹，并于模板补充库舵机相连；
36.控制器用于接受上位机下发的所识别到的模板布匹序号，并向对应序号的模板补充库舵机下发控制命令；
37.正常布匹回收库主体为两侧开放式的铁质方型壳体，用于回收底层传送带输送的正常布匹和布匹补充传送带补充的模板布匹；
38.布匹补充传送带由42步进电机和传送带组成，用于输送补充的模板布匹；
39.缺陷回收传送带由42步进电机和传送带组成，用于输送含缺陷的布匹；
40.变轨装置由变轨装置舵机、变轨铁板和滑轮座组成；所述变轨装置中，
41.变轨装置舵机用于接受上位机下发的转动指令，若进行缺陷处理则带动滑轮座与变轨装置舵机间连接的变轨铁板转动；
42.变轨铁板用于将底层传送带上的含缺陷布匹送入缺陷回收传送带；
43.滑轮座用于固定和转动，并通过变轨铁板与变轨装置舵机相连；
44.外部框架由不锈钢框架组成，作为整体的支撑件，以保证结构的稳定性；
45.上位机由控制软件、检测评分方法、检测处理方法组成；所述上位机中，控制软件包括工业相机视频流输入、缺陷检测视频流输出、串口启闭及信息打印、传送带手动控制、传送带自动控制、功能模块的使能及关闭、相机滑轨控制、大面积缺陷自动停机设置、光敏传感校准、关闭软件；
46.控制软件使用qt作为界面编辑语言，后端使用python进行编写；
47.检测评分方法和检测处理方法已预先嵌入控制软件，用于装置的检测、控制命令的下发和结果的监测。
48.一种基于机器视觉的布匹缺陷检测处理装置的使用方法，包括以下步骤：
49.步骤1，装置的初始化，打开控制软件，初始化装置，载入模板布匹的信息、布匹缺陷检测模型、检测评分方法、检测处理方法，并获取工业相机的输入视频流和经过检测模型
后的输出视频流；
50.步骤2，工业相机的自动空间定位，针对不同尺寸的待检测布匹，通过控制软件向相机滑台下发空间定位命令和空间坐标信息，以增减或移动工业相机的视野；
51.步骤3，待检测布匹的自动化运输，底层传送带自动化运输待检测布匹，控制软件下发自动化缺陷检测命令，则底层传送带进行待检测布匹的运输；
52.步骤4，布匹的检测和评分，基于检测评分方法进行缺陷检测，检测评分方法对经过检测模型后的输出视频流进行评分，以判断是否为超过阈值的含缺陷布匹；
53.步骤5，已评分布匹的处理，若识别到当前检测布匹为超过阈值的含缺陷布匹则基于检测处理方法进入缺陷处理，变轨装置使能，将含缺陷的布匹送入缺陷回收传送带进行缺陷回收；模板补充库释放相应的模板布匹进入布匹补充传送带进行模板补充；若待检测布匹未超过阈值，则布匹正常通过装置；
54.步骤6，装置处理信息的返回，装置返回检测处理后的相关信息，以日志、gif、视频和截图的形式返回所检测布匹的含缺陷信息。
55.相较于现有技术，本发明的优点在于：
56.1、针对现有方案会存在检测模型适应性差导致的缺陷信息标注错误的问题，本发明所提出的布匹缺陷检测装置通过嵌入高效的布匹缺陷检测评分算法和布匹缺陷检测处理算法，实现了14种缺陷的高准确度、快速识别；
57.此外，本装置还可以作为布匹缺陷检测算法的评估预研平台，对提出的缺陷处理方法和缺陷评分方法进行性能测试；
58.2、针对缺陷检出后的反馈形式的局限性问题，本发明所提出的布匹缺陷检测装置实现了以日志、gif、视频和截图的形式返回所检测布匹的含缺陷信息，提供高效的信息复查方式；
59.3、针对布匹缺陷检测处理作为一个生产流程的具体环节加入已有布匹生产线，整体生产流程都存在重新规划、排程的问题，本发明所提出的布匹缺陷检测处理装置具有结构简单、成本低廉、高模块化，布匹缺陷检测处理装置作为额外设备引入生产线不影响原有的布匹生产；
60.4、针对含缺陷布匹的回收造成的布匹堆叠乱序的问题，本发明所提出的布匹缺陷检测处理装置通过含缺陷布匹回收和模板布匹补充，保证布匹缺陷检测后的布匹堆叠顺序的正确性，能有效避免传统布匹缺陷检测过程中因回收含缺陷布匹造成的布匹乱序，保障布匹的缺陷检测与生产。
附图说明
61.图1为装置组成的示意图；
62.图2为整体结构的示意图，1为工业相机、2为相机滑台、3为底层传送带、4为电机驱动模块、5为含缺陷布匹回收库、6为模板补充库、7为正常布匹回收库、8为布匹补充传送带、9为缺陷回收传送带、10为变轨装置、11为不锈钢框架；
63.图3为整体结构的三视图；
64.图4为模板补充库的三视图，其中，6.1为补充库的铁质方型壳体，6.2为分层铁板，6.3为模板补充库舵机，6.4为铁质挡板，6.5为控制器；
65.图5为变轨装置的三视图，其中，10.1为变轨装置舵机，10.2为变轨铁板，10.3为滑轮座。
具体实施方式
66.本发明通过实施例，结合说明书附图对本发明内容作进一步详细说明，但不是对本发明的限定。
67.实施例1
68.一种基于机器视觉的布匹缺陷检测处理装置，如图1所示，由检测模块、处理模块、外部框架和上位机组成。
69.检测模块如图1所示，由1-工业相机、2-相机滑台、3-底层传送带、4-电机驱动模块组成。
70.具体位置结构关系如图2和图3所示，
71.1-工业相机作为检测的输入，用于实时获取图像信息；
72.2-相机滑台由3根光轴导轨组合而成，作为1-工业相机的基座，用于实现自动化的1-工业相机3轴定位；
73.3-底层传送带由42步进电机和传送带组成，用于输送待检测的布匹；
74.4-电机驱动模块由tb6600步进电机驱动器和24v、100w的开关电源组成，用于驱动控制3-底层传送带、8-布匹补充传送带、9-缺陷回收传送带。
75.处理模块如图1所示，由5-含缺陷布匹回收库、6-模板补充库、7-正常布匹回收库、8-布匹补充传送带、9-缺陷回收传送带、10-变轨装置组成。
76.具体位置结构关系如图2和图3所示，
77.5-含缺陷布匹回收库主体为两侧开放式的铁质方型壳体，用于回收含缺陷的布匹；
78.6-模板补充库的具体结构如图4所示，由6.1-铁质方型壳体、6.2-分层铁板、6.3-模板补充库舵机、6.4-铁质挡板和6.5-控制器组成；
79.6.1-铁质方型壳体用于6-模板补充库的外部结构支撑和模板布匹的存放；
80.6.2-分层铁板用于6.1-铁质方型壳体的内部空间分层，分隔出多个空间用于模板布匹的存放；
81.6.3-模板补充库舵机用于接受6.5-控制器下发的控制命令，并带动对应序号的6.4-铁质挡板转动；
82.6.4-铁质挡板用于从6-模板补充库的相应层释放模板布匹，并于6.3-模板补充库舵机相连；
83.6.5-控制器用于接受上位机下发的所识别到的模板布匹序号，并向对应序号的6.3-模板补充库舵机下发控制命令；
84.7-正常布匹回收库主体为两侧开放式的铁质方型壳体，用于回收3-底层传送带输送的正常布匹和8-布匹补充传送带补充的模板布匹；
85.8-布匹补充传送带由42步进电机和传送带组成，用于输送补充的模板布匹；
86.9-缺陷回收传送带由42步进电机和传送带组成，用于输送含缺陷的布匹；
87.10-变轨装置的具体结构如图5所示，由10.1-变轨装置舵机、10.2-变轨铁板和
10.3-滑轮座组成；
88.10.1-变轨装置舵机用于接受上位机下发的转动指令，若进行缺陷处理则带动10.3-滑轮座与10.1-变轨装置舵机间连接的10.2-变轨铁板转动；
89.10.2-变轨铁板用于将3-底层传送带上的含缺陷布匹送入9-缺陷回收传送带；
90.10.3-滑轮座用于固定和转动，并通过10.2-变轨铁板与10.1-变轨装置舵机相连；
91.外部框架如图1所示，由11-不锈钢框架组成。具体位置结构关系如图2和图3所示，11-不锈钢框架作为整体的支撑件，以保证结构的稳定性。
92.上位机如图1所示，由控制软件、检测评分方法、检测处理方法组成。
93.控制软件包括工业相机视频流输入、缺陷检测视频流输出、串口启闭及信息打印、传送带手动控制、传送带自动控制、功能模块的使能及关闭、相机滑轨控制、大面积缺陷自动停机设置、光敏传感校准、关闭软件；
94.控制软件使用qt作为界面编辑语言，后端使用python进行编写。
95.检测评分方法和检测处理方法已预先嵌入控制软件，用于装置的检测、控制命令的下发和结果的监测。
96.一种基于机器视觉的布匹缺陷检测处理装置的使用方法，包括以下步骤：
97.步骤1，装置的初始化，打开控制软件，初始化装置，载入模板布匹的信息、布匹缺陷检测模型、检测评分方法、检测处理方法，并获取工业相机的输入视频流和经过检测模型后的输出视频流；
98.步骤2，工业相机的自动空间定位，针对不同尺寸的待检测布匹，通过控制软件向相机滑台下发空间定位命令和空间坐标信息，以增减或移动工业相机的视野；
99.步骤3，待检测布匹的自动化运输，底层传送带自动化运输待检测布匹，控制软件下发自动化缺陷检测命令，则底层传送带进行待检测布匹的运输；
100.步骤4，布匹的检测和评分，基于检测评分方法进行缺陷检测，检测评分方法对经过检测模型后的输出视频流进行评分，以判断是否为超过阈值的含缺陷布匹；
101.步骤5，已评分布匹的处理，若识别到当前检测布匹为超过阈值的含缺陷布匹则基于检测处理方法进入缺陷处理，变轨装置使能，将含缺陷的布匹送入缺陷回收传送带进行缺陷回收；模板补充库释放相应的模板布匹进入布匹补充传送带进行模板补充；若待检测布匹未超过阈值，则布匹正常通过装置；
102.步骤6，装置处理信息的返回，装置返回检测处理后的相关信息，以日志、gif、视频和截图的形式返回所检测布匹的含缺陷信息。

技术特征：
1.一种基于机器视觉的布匹缺陷检测处理装置，其特征在于：由检测模块、处理模块、外部框架和上位机组成；检测模块由工业相机、相机滑台、底层传送带、电机驱动模块组成；处理模块由含缺陷布匹回收库、模板补充库、正常布匹回收库、布匹补充传送带、缺陷回收传送带、变轨装置组成；外部框架由不锈钢框架组成，作为整体的支撑件，以保证结构的稳定性；上位机由控制软件、检测评分方法、检测处理方法组成。2.如权利要求1所述基于机器视觉的布匹缺陷检测处理装置，其特征在于：所述检测模块中，工业相机作为检测的输入，用于实时获取图像信息；相机滑台由3根光轴导轨组合而成，作为工业相机的基座，用于实现自动化的工业相机3轴定位；底层传送带由42步进电机和传送带组成，用于输送待检测的布匹；电机驱动模块由tb6600步进电机驱动器和24v、100w的开关电源组成，用于驱动控制底层传送带、布匹补充传送带、缺陷回收传送带。3.如权利要求1所述基于机器视觉的布匹缺陷检测处理装置，其特征在于：所述处理模块中，含缺陷布匹回收库主体为两侧开放式的铁质方型壳体，用于回收含缺陷的布匹；模板补充库由铁质方型壳体、分层铁板、模板补充库舵机、铁质挡板和控制器组成；正常布匹回收库主体为两侧开放式的铁质方型壳体，用于回收底层传送带输送的正常布匹和布匹补充传送带补充的模板布匹；布匹补充传送带由42步进电机和传送带组成，用于输送补充的模板布匹；缺陷回收传送带由42步进电机和传送带组成，用于输送含缺陷的布匹；变轨装置由变轨装置舵机、变轨铁板和滑轮座组成。4.如权利要求3所述基于机器视觉的布匹缺陷检测处理装置，其特征在于：所述模板补充库中，铁质方型壳体用于模板补充库的外部结构支撑和模板布匹的存放；分层铁板用于铁质方型壳体的内部空间分层，分隔出多个空间用于模板布匹的存放；模板补充库舵机用于接受控制器下发的控制命令，并带动对应序号的铁质挡板转动；铁质挡板用于从模板补充库的相应层释放模板布匹，并与模板补充库舵机相连；控制器用于接受上位机下发的所识别到的模板布匹序号，并向对应序号的模板补充库舵机下发控制命令。5.如权利要求3所述基于机器视觉的布匹缺陷检测处理装置，其特征在于：所述变轨装置中，变轨装置舵机用于接受上位机下发的转动指令，若进行缺陷处理则带动滑轮座与变轨装置舵机间连接的变轨铁板转动；变轨铁板用于将底层传送带上的含缺陷布匹送入缺陷回收传送带；滑轮座用于固定和转动，并通过变轨铁板与变轨装置舵机相连。6.如权利要求1所述基于机器视觉的布匹缺陷检测处理装置，其特征在于：所述上位机
中，控制软件包括工业相机视频流输入、缺陷检测视频流输出、串口启闭及信息打印、传送带手动控制、传送带自动控制、功能模块的使能及关闭、相机滑轨控制、大面积缺陷自动停机设置、光敏传感校准、关闭软件；控制软件使用qt作为界面编辑语言，后端使用python进行编写；检测评分方法和检测处理方法已预先嵌入控制软件，用于装置的检测、控制命令的下发和结果的监测。7.一种基于机器视觉的布匹缺陷检测处理装置的使用方法，其特征在于包括以下步骤：步骤1，装置的初始化，打开控制软件，初始化装置，载入模板布匹的信息、布匹缺陷检测模型、检测评分方法、检测处理方法，并获取工业相机的输入视频流和经过检测模型后的输出视频流；步骤2，工业相机的自动空间定位，针对不同尺寸的待检测布匹，通过控制软件向相机滑台下发空间定位命令和空间坐标信息，以增减或移动工业相机的视野；步骤3，待检测布匹的自动化运输，底层传送带自动化运输待检测布匹，控制软件下发自动化缺陷检测命令，则底层传送带进行待检测布匹的运输；步骤4，布匹的检测和评分，基于检测评分方法进行缺陷检测，检测评分方法对经过检测模型后的输出视频流进行评分，以判断是否为超过阈值的含缺陷布匹；步骤5，已评分布匹的处理，若识别到当前检测布匹为超过阈值的含缺陷布匹则基于检测处理方法进入缺陷处理，变轨装置使能，将含缺陷的布匹送入缺陷回收传送带进行缺陷回收；模板补充库释放相应的模板布匹进入布匹补充传送带进行模板补充；若待检测布匹未超过阈值，则布匹正常通过装置；步骤6，装置处理信息的返回，装置返回检测处理后的相关信息，以日志、gif、视频和截图的形式返回所检测布匹的含缺陷信息。

技术总结
本发明公开了一种基于机器视觉的布匹缺陷检测处理装置，由检测模块、处理模块、外部框架和上位机组成；检测模块由工业相机、相机滑台、底层传送带、电机驱动模块组成；处理模块由含缺陷布匹回收库、模板补充库、正常布匹回收库、布匹补充传送带、缺陷回收传送带、变轨装置组成；外部框架由不锈钢框架组成，作为整体的支撑件，以保证结构的稳定性；上位机由控制软件、检测评分方法、检测处理方法组成。装置的使用方法包括以下步骤：1，装置的初始化；2，工业相机的自动空间定位；3，待检测布匹的自动化运输；4，布匹的检测和评分；5，已评分布匹的处理；6，装置处理信息的返回。装置处理信息的返回。装置处理信息的返回。


技术研发人员：孙立贤 林怀周 蔡丹 贾海滨 徐芬 邹勇进 李彬
受保护的技术使用者：桂林电子科技大学
技术研发日：2023.06.05
技术公布日：2023/8/23