一种基于数据增强的织物疵点图像扩增方法

1.本发明涉及织物图像处理与数据扩增领域，特别涉及一种织物疵点图像扩增方法。


背景技术：

2.纺织行业作为传统制造业亟需加快传统生产技术与新一代信息技术的深度融合，以促进生产过程智能化。纺织品质量检测在织造产业中一直是不可或缺的环节，在实际生产过程中，传统的方式是通过人工肉眼的方式检测表面的缺陷，但这种行业需求。
3.基于机器学习的织物缺陷自动检测方法逐步替代了传统的肉眼检测。基于机器学习的方法通过从大量含缺陷的织物图像数据中进行特征提取，将获取的特征进行融合后用于缺陷分类和定位，相较于传统的人工识别方法，此方法更加高效、稳定。然而，该方法对数据依赖性很强，想要取得良好的成效离不开大量实验数据的训练和模型的优化，但在大多数工业场景中，受限于人力成本和收集方法，想要收集足够的数据几乎是不可能的。此外，如专利”数据增强方法和装置”(中国专利: cn113379045b)所述的数据增强方法和装置和专利”基于随机复制粘贴数据增强的织物缺陷检测方法”(中国专利: cn115170546a)所述基于随机复制粘贴数据增强的织物缺陷检测方法，容易生成失真的图像，不适用于织物疵点图像的处理。因此，急需开发一种准确、高效的适用于织物疵点图像扩增方法。


技术实现要素：

4.本发明的目的是提供一种能够准确、高效的适用于织物疵点图像扩增方法。
5.为此，本发明技术方案如下：
6.一种基于数据增强的织物疵点图像扩增方法，其具体实施步骤如下：
7.s1、收集若干织物图像，建立织物图像数据集，将织物图像数据集根据织物疵点类别进行织物疵点数据标注处理，获得标注织物图像数据集；
8.s2、织物图像的平移增强，其种类包括纵向平移和横向平移，对应的平移方向包括前、后和左、右（相对于织物图片）。
9.s3、织物图像的旋转增强，其种类包括瞬时间旋转和逆时针旋转；
10.s4、织物图像的hsv颜色空间增强，包括单通道增强和多通道增强。
11.进一步地，在步骤s1中，织物图像数据集可通过现场采集或散图收集等方式得到；织物疵点数据标注经专业的工人使用标注工具完成，标注工具如：labelme、labelimg等。
12.进一步地，在步骤s2中，织物图像平移增强的具体步骤为：
13.s201、读取织物数据集图片的原始图像及标注文件；
14.s202、统计该疵点类型织物数据图像标注框的长度及宽度范围；
15.s203、基于长、宽的数据范围生成随机种子，用随机种子分别与输入图像相加或相减操作，同时，原图的标注文件同时进行相同操作，得到平移增强后的织物图像及对应的标注文件；
16.s204、将增强后的平移织物图像及对应的标注文件输出。
17.进一步，在步骤s203中，随机种子的生成和标注框位置变化的具体步骤为：
18.获得该疵点类型织物数据图像标注框的长度阈值范围和宽度阈值范围分别为：[min
l
, max
l
]，[minw, maxw]。基于长度阈值范围和宽度阈值范围产生两组随机种子和，该随机种子与输入织物图像执行逐像素相加（右移/上移）或相减（左移/下移）操作，生成平移图像。对应的标注框坐标变为（，）；
[0019]
进一步地，在步骤s3中，织物图像旋转增强的具体步骤为：
[0020]
s301、读取步骤s2获得的织物图像及其对应的标注文件；
[0021]
s302、在自定的旋转阈值范围内生成随机数，对输入图像及其标注文件进行旋转，得到旋转增强后的织物图像及标注文件；
[0022]
织物图像旋转增强，其旋转阈值为(0，20
°
]，对应的旋转方向包括顺时针旋转和逆时针旋转。
[0023]
进一步地，在步骤s4中，织物图像hsv增强的具体步骤为：
[0024]
s401、使用rgb色彩模式读取数据集图片，确定输入织物图像中像素点的r、g、b三个通道的灰度值；
[0025]
s402、将r、g、b三通道灰度值分量归一化后转换为hsv颜色空间；
[0026]
s403、统计该疵点类型织物数据图像的颜色空间分布，用生成变量系数与对应h、s、v通道相乘，得到增强后的hsv织物图像；
[0027]
s404、将增强后的hsv织物图像变换为rgb图像输出，织物图像的原始标注内容不变。
[0028]
进一步，在步骤s403中，变量系数生成的具体步骤为：
[0029]
获得该疵点类型织物数据图像的颜色空间分布，h、s、v各通道求：[minh, maxh]，[mins, maxs]，[minv, maxv]。基于h、s、v的阈值范围产生三组变量系数 h_gain, s_gain和 v_gain，该变量系数与输入织物图像执行逐像素相乘操作，生成hsv增强图像，对应的标注框坐标不变。
附图说明
[0030]
图1为本发明的基于数据增强的织物疵点图像扩增方法的流程图；
[0031]
图2（a）为本发明的带有标注的织物疵点图像示意图；
[0032]
图2（b）为本发明的带有标注的织物疵点图像平移增强后（水平向右平移一定距离）的图像示意图；
[0033]
图2（c）为本发明的带有标注的织物疵点图像平移增强后（水平向左平移一定距离）的图像示意图；
[0034]
图2（d）为本发明的带有标注的织物疵点图像旋转增强后（顺时针旋转一定角度）的图像示意图；
[0035]
图2（e）为本发明的带有标注的织物疵点图像旋转增强后（逆时针旋转一定角度）的图像示意图；
[0036]
图3（a）为本发明的带有标注的织物疵点图像平移增强后（水平向右平移一定距
离）的图像效果（疵点类型：压痕）；
[0037]
图3（b）为本发明的带有标注的织物疵点图像平移增强后（水平向左平移一定距离）的图像效果（疵点类型：压痕）；
[0038]
图4（a）为本发明的带有标注的织物疵点原图（疵点类型：破洞）；
[0039]
图4（b）为本发明的带有标注的织物疵点图像旋转增强后（逆时针旋转一定角度）的图像效果（疵点类型：破洞）；
[0040]
图4（c）为本发明的带有标注的织物疵点图像hsv增强后的图像效果（疵点类型：破洞）；
[0041]
图4（d）为本发明的带有标注的织物疵点图像hsv增强后的图像效果（疵点类型：破洞）。具体实施方式一
[0042]
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
[0043]
如图1所示，该纺织面料数字化分析方法的具体实施步骤如下：
[0044]
s1、收集若干织物图像，图片大小不限。将织物图像数据集根据织物疵点类别进行织物疵点数据标注处理，获得标注织物图像数据集；
[0045]
其中，图像可来源于工业现场采集或网络搜集，疵点类型及位置的标注在专业工作人员的指导下完成；
[0046]
参见图2（a），1为织物疵点图像，2为标注框位置及形状，2的形状均为横平竖直的矩形。
[0047]
s2、输入织物图像织物，统计得到该疵点类型织物数据图像标注框的长度范围为：[min
l
, max
l
]，宽度范围为：[minw, maxw]；基于长、宽的数据范围生成随机种子，用随机种子分别与输入图像相加（向右移，如图2（b））或相减（向左移，如图2（c））操作，同时，原图的标注文件同时进行相同操作，得到增强后的平移织物图像及对应的标注文件。如图2（b）中3为图2（a）中1右移后的图像位置，4为图2（a）中2右移后的标注位置；图2（c）中5为图2（a）中1左移后的图像位置，6为图2（a）中2左移后的标注位置。最后，将增强后的平移织物图像及对应的标注文件输出。
[0048]
本实施例中，统计得到该疵点类型织物数据图像标注框的长度范围为：[0, 102]，宽度范围为：[0, 150]；基于长、宽的数据范围生成随机种子，用随机种子分别与输入图像相加。基于长度阈值范围和宽度阈值范围产生两组随机种子和分别为：21和0。该随机种子与输入织物图像执行逐像素相加（图3（b））和相减（图3（a））操作，生成平移图像。具体实施方式二
[0049]
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
[0050]
如图1所示，该纺织面料数字化分析方法的具体实施步骤如下：
[0051]
s1、收集若干织物图像，图片大小不限。将织物图像数据集根据织物疵点类别进行织物疵点数据标注处理，获得标注织物图像数据集；
[0052]
其中，图像可来源于工业现场采集或网络搜集，疵点类型及位置的标注在专业工作人员的指导下完成；
[0053]
参见图2（a），1为织物疵点图像，2为标注框位置及形状，2的形状均为横平竖直的矩形。
[0054]
s2、织物图像的旋转增强，其输入图像可直接来源于数据集，也可以来源于上一步平移增强操作的结果。在自定的旋转阈值(0，20
°
]范围内生成随机数，对输入图像及其标注文件进行旋转，对应的旋转方向包括顺时针旋转和逆时针旋转，得到旋转增强后的织物图像及标注文件。如图2（d）中7为图2（a）中1顺时针旋转后的图像位置，8为图2（a）中2顺时针旋转后的标注位置；图2（e）中9为图2（a）中1逆时针旋转后的图像位置，10为图2（a）中2逆时针旋转后的标注位置。最后，将增强后的旋转织物图像及对应的标注文件输出。
[0055]
在本实施例中，输入图像来源于数据集，旋转角度为15
°
，方向为逆时针方向，对输入图像及其标注文件进行旋转，得到逆时针旋转0（图4（a））和15
°
（图4（b））增强后的织物图像及标注文件；具体实施方式三
[0056]
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
[0057]
如图1所示，该纺织面料数字化分析方法的具体实施步骤如下：
[0058]
s1、收集若干织物图像，图片大小不限。将织物图像数据集根据织物疵点类别进行织物疵点数据标注处理，获得标注织物图像数据集；
[0059]
其中，图像可来源于工业现场采集或网络搜集，疵点类型及位置的标注在专业工作人员的指导下完成；
[0060]
参见图2（a），1为织物疵点图像，2为标注框位置及形状，2的形状均为横平竖直的矩形。
[0061]
s2、织物图像的hsv颜色空间增强，其输入图像可直接来源于数据集、上一步旋转增强操作的结果，或上两步平移增强操作的结果。统计得到该疵点类型织物数据图像的颜色空间分布[minh, maxh]，[mins, maxs]，[minv, maxv]，用生成变量系数与对应h、s、v通道相乘，得到增强后的hsv织物图像；最后，将增强后的旋转织物图像及对应的标注文件输出。
[0062]
在本实施例中，输入图像来源于数据集，h、s和v通道的颜色分布分别为[20
°
, 195
°
]、[15
°
, 122
°
]和[30
°
, 230
°
]。基于h、s、v的阈值范围产生三组变量系数h_gain为0.1，s_gain为0.0和v_gain为0.3，得到的织物疵点图像如图4（c），基于h、s、v的阈值范围产生三组变量系数h_gain为0.7，s_gain为0.5和v_gain为0.5，得到的织物疵点图像如图4（d）。

技术特征：
1.一种基于数据增强的织物疵点图像扩增方法，其特征在于，步骤如下：s1、收集若干织物图像，建立织物图像数据集，将织物图像数据集根据织物疵点类别进行织物疵点数据标注处理，获得标注织物图像数据集；s2、织物图像的平移增强，其种类包括纵向平移和横向平移，对应的平方向包括前、后和左、右（相对于织物图片）；s3、织物图像的旋转增强，其种类包括瞬时间旋转和逆时针旋转；s4、织物图像的hsv颜色空间增强，包括单通道增强和多通道增强。2.根据权利要求1所述的基于数据增强的织物疵点图像扩增方法，其特征在于，在步骤s2中，织物图像平移增强的具体步骤为：s201、读取织物数据集图片的原始图像及标注文件；s202、统计织物数据集图像标注框的长度及宽度范围；s203、基于长、宽的数据范围生成随机种子，用随机种子分别与输入图像相加或相减操作，同时，原图的标注文件同时进行相同操作，得到平移增强后的织物图像及对应的标注文件；s204、将增强后的平移织物图像及对应的标注文件输出。3.根据权利要求2所述的基于数据增强的织物疵点图像扩增方法，其特征在于，在步骤s2中，生成用于平移操作的随机种子，其中：获得织物数据集图像标注框的长度阈值范围和宽度阈值范围分别为：[min
l
, max
l
]，[min
w
, max
w
]；基于长度阈值范围和宽度阈值范围产生两组随机种子和，该随机种子与输入织物图像执行逐像素相加（右移/上移）或相减（左移/下移）操作，生成平移图像；对应的标注框坐标变为（，）；基于统计织物数据集图像标注框的长度及宽度范围符合整体数据集分析结果为准；随机种子来源基于统计织物数据集图像标注框的长度及宽度的数据范围。4.根据权利要求1所述的基于数据增强的织物疵点图像扩增方法，其特征在于，在步骤s3中，织物图像旋转增强的具体步骤为：s301、读取步骤s2获得的织物图像及其对应的标注文件；s302、在自定的旋转阈值范围内生成随机数，对输入图像及其标注文件进行旋转，得到旋转增强后的织物图像及标注文件。5.根据权利要求4所述的基于数据增强的织物疵点图像扩增方法，其特征在于，织物图像旋转增强的旋转阈值为(0，20
°
]，对应的旋转方向包括顺时针旋转和逆时针旋转。6.根据权利要求1所述的基于数据增强的织物疵点图像扩增方法，其特征在于，在步骤s4中，织物图像hsv增强的具体步骤为：s401、使用rgb色彩模式读取数据集图片，确定输入织物图像中像素点的r、g、b三个通道的灰度值；s402、将r、g、b三通道灰度值分量归一化后转换为hsv颜色空间；s403、统计数据集图像的颜色空间分布，用生成变量系数与对应h、s、v通道相乘，得到增强后的hsv织物图像；s404、将增强后的hsv织物图像变换为rgb图像输出，织物图像的原始标注内容不变。
7.根据权利要求6所述的基于数据增强的织物疵点图像扩增方法，其特征在于，获得织物数据集图像的颜色空间分布，其中：根据h、s、v各通道值，求出[min
h
, max
h
]，[min
s
, max
s
]，[minv, maxv]；基于h、s、v的阈值范围产生三组变量系数 h_gain, s_gain和 v_gain，该变量系数与输入织物图像执行逐像素相乘操作，生成hsv增强图像，对应的标注框坐标不变。

技术总结
本发明公开了一种基于数据增强的织物疵点图像扩增方法，步骤包括：收集若干织物图像，建立带标注的织物图像数据集；织物图像的平移增强；织物图像的旋转增强；织物图像的HSV颜色空间增强；该方法操作难度低，通过关注同类织物疵点图像的特征进行随机数选择，能够产生更符合织物疵点特征的图像，为机器学习提供良好的数据支撑。的数据支撑。的数据支撑。


技术研发人员：郭丹 李娜娜 张效栋 朱琳琳 李新格 罗欣攀 任江陶
受保护的技术使用者：沧州市天津工业大学研究院
技术研发日：2023.06.15
技术公布日：2023/7/20