一种基于无监督生成式的彩涂板表面缺陷检测方法和装置与流程

1.本技术属于彩涂板检测技术领域，尤其涉及一种基于无监督生成式的彩涂板表面缺陷检测方法和装置。


背景技术：

2.随着社会的发展，彩涂板的需求总量越来越高，彩涂板的质量要求也越来越高。随着汽车、家电等消费产业的发展，不断提高的彩涂板表面质量要求使得彩涂板表面质量问题日渐突出。据统计，近些年来彩涂板生产企业和用户间发生的质量异议和质量投诉，绝大多数都与表面质量有关。因此，无论是彩涂板生产企业，还是彩涂板用户，对彩涂板的表面质量检测都极为重视。
3.近年来，通过机器视觉和人工智能方法进行带钢的表面缺陷检测成为工业质检领域研究重点和发展趋势之一。然而，将上述方法应用于对彩涂板表面缺陷进行检测时主要存在以下两个挑战：
4.(1)如何降低彩涂板花纹图案、颜色对缺陷检测的影响，提升检测精度。传统基于图像特征的缺陷检测方法，在遇到彩涂花纹图案、深浅不一的颜色时，由于花纹图案等对边缘信息产生强干扰，导致传统方法在彩涂板缺陷检测时效果很差，无法精准的检测出表面缺陷。
5.(2)如何提升彩涂板缺陷检测的速度，达到彩涂产线缺陷实时检测。由于彩涂板表面缺陷通常非常小，所以需要检测精度极高，例如可以采用线阵相机进行图像采集，而线阵相机的分辨率通常在4k以上，每秒产生的图像数据量极大，因此需要高效的彩涂板缺陷检测方法在极短时间内完成彩涂板表面图像的检测处理，对于彩涂产线实时缺陷检测是十分必要的。


技术实现要素：

6.为克服相关技术中存在的问题，本技术实施例提供了一种基于无监督生成式的彩涂板表面缺陷检测方法和装置。
7.本技术是通过如下技术方案实现的：
8.第一方面，本技术实施例提供了一种基于无监督生成式的彩涂板表面缺陷检测方法，包括：
9.通过线阵相机采集彩涂板的待识别图像；
10.从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型；
11.基于无缺陷的图像样本搭建cflow模型，并对所述cflow模型进行训练得到缺陷检测模型，所述cflow模型包括encoder模块和decoder模块；
12.根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；
13.基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。
14.上述基于无监督生成式的彩涂板表面缺陷检测方法，应用彩涂板花纹图案分类模型进行彩涂板花纹类型的确定，再通过缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标，相较于传统基于图像特征如边缘提取等方法由于花纹图案和颜色的强干扰影响存在的缺陷检测效果较差的问题，本技术实施例在彩涂板拉丝花纹、星光斑点等图案和深浅不同颜色的情况下，抗干扰能力较强并能够保证较高的缺陷检出率。
15.结合第一方面，在一些实施例中，所述从所述待识别图像中提取有效区域，包括：
16.从所述待识别图像的图像矩阵中选择多个行向量和多个列向量；
17.计算所述多个行向量的行均值向量，以及所述多个列向量的列均值向量；
18.根据有效区域阈值、所述行均值向量和所述列均值向量，确定有效区域的坐标。
19.结合第一方面，在一些实施例中，所述通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型，包括：
20.按照所述有效区域的坐标从所述图像矩阵中提取得到有效区域矩阵；
21.将所述有效区域矩阵转换为维度大小为(c,w,h)的预测矩阵，c、w、h分别为矩阵通道数、宽和高；
22.将所述预测矩阵输入彩涂板花纹图案分类模型中，输出所述有效区域的彩涂板花纹类型。
23.结合第一方面，在一些实施例中，所述基于无缺陷的图像样本搭建cflow模型，并对所述cflow模型进行训练得到缺陷检测模型，包括：
24.采样无缺陷彩涂板不同花纹图案的第一图像样本，采样带有缺陷彩涂板不同花纹图案的第二图像样本；
25.构建resnet18分类网络并基于所述第一图像样本和所述第二图像样本进行分类训练，用于替换cflow模型中的encoder imagenet预训练权重；
26.采用freia框架构建8组可联结的可逆子网络，得到cflow模型的decoder模块。
27.结合第一方面，在一些实施例中，所述根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标，包括：
28.将所述待识别图像输入到cflow模型的encoder模块，提取第二特征层、第三特征层和第四特征层的特征向量；
29.生成位置无关条件向量c，所述位置无关条件向量c中的每个元素根据其所处位置，由正弦或余弦公式计算出且计算值各自不相关；
30.将所述第二特征层、第三特征层、第四特征层的特征向量和所述位置无关条件向量c分别输入到cflow模型的decoder模块，输出得到：
[0031][0032]
其中ui＝g-1
(zi,ci,θ),是decoder模块中的可逆网络输出的两个输出，为特征向量，为所述位置无关条件向量，d为输入特征层的通道数，zi为decoder网络输出的潜在输出变量第i个值，ci为条件向量的第i个值，为网络参数；
[0033]
在cflow模型的推理阶段，采用公式进行0-1区间映射，k表示特征层索引号；
[0034]
对进行上采样，将还原到与所述图像矩阵的高和宽相同的向量，将第二特征层、第三特征层和第四特征层相加，得到最终score map图；
[0035]
根据异常阈值对score map图进行二值化，得到二值化特征矩阵；
[0036]
对所述二值化特征矩阵进行最大连通区域求解，计算出缺陷区域坐标。
[0037]
结合第一方面，在一些实施例中，在cflow模型的训练阶段，其损失函数为：n为|det ji|的向量长度；
[0038]
所述二值化特征矩阵m
mask
为：anormal_threshold为所述异常阈值；
[0039]
所述缺陷区域坐标d
loc
为：d∈d
num
，x1,y1,x2,y2分别表示缺陷框左上和右下角的顶点坐标，d
num
表示缺陷数量。
[0040]
结合第一方面，在一些实施例中，所述基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别，包括：
[0041]
利用resnet18构建所述缺陷类型分类分级模型，采用优化函数求解所述缺陷类型分类分级模型中的参数，所述优化函数为pytorch adam optimizer函数；
[0042]
基于所述缺陷区域坐标从所述图像矩阵上裁剪出缺陷区域；
[0043]
将所述缺陷区域输入所述缺陷类型分类分级模型，得到彩涂板上各个缺陷的类型和级别。
[0044]
第二方面，本技术实施例提供了一种基于无监督生成式的彩涂板表面缺陷检测装置，包括：
[0045]
图像采集模块，用于通过线阵相机采集彩涂板的待识别图像；
[0046]
提取识别模块，用于从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型；
[0047]
模型搭建模块，用于基于无缺陷的图像样本搭建cflow模型，并对所述cflow模型进行训练得到缺陷检测模型，所述cflow模型包括encoder模块和decoder模块；
[0048]
缺陷区域坐标模块，用于根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；
[0049]
缺陷识别模块，用于基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。
[0050]
第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有、可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的基于无监督生成式的彩涂板表面缺陷检测方法。
[0051]
第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的基于无监督生成式的彩涂板表面缺陷检测方法。
[0052]
第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的基于无监督生成式的彩涂板表面缺陷检测方法。
[0053]
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
[0054]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
[0055]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1是本技术一实施例提供的基于无监督生成式的彩涂板表面缺陷检测方法的流程示意图；
[0057]
图2是本技术一实施例提供的彩涂板表面缺陷检测的流程；
[0058]
图3是本技术一实施例提供的彩涂板图像行均值向量和列均值向量曲线图，(a)为行均值向量曲线图，(b)为列均值向量曲线图；
[0059]
图4(a)和图4(b)是本技术一实施例提供的彩涂板图像有效区域提取结果图，图4(a)为原始彩涂板表面图像，图4(b)为彩涂板有效区域图像；
[0060]
图5是本技术一实施例提供的缺陷检测模型框架图；
[0061]
图6是本技术一实施例提供的缺陷检测结果图；
[0062]
图7是本技术实施例提供的基于无监督生成式的彩涂板表面缺陷检测装置的结构示意图；
[0063]
图8是本技术实施例提供的电子设备的结构示意图。
具体实施方式
[0064]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
[0065]
应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0066]
还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0067]
如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下
文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0068]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0069]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0070]
图1是本技术一实施例提供的基于无监督生成式的彩涂板表面缺陷检测方法的示意性流程图，参照图1，对该方法的详述如下：
[0071]
步骤101，通过线阵相机采集彩涂板的待识别图像。
[0072]
示例性的，可以将四台4k分辨率的黑白线阵相机安装在彩涂板产线带钢上方，来采集彩涂板的待识别图像。例如，采集到的待识别图像的精度可以为0.125mm*0.125mm/pixel，图像分辨率可以为4096*1024。
[0073]
一些实施例中，对于四台黑白线阵相机采集到的待识别图像，可以分别独立进行后续步骤，来实现对彩涂板缺陷的检测。
[0074]
又一些实施例中，对于四台黑白线阵相机同一时刻采集到的待识别图像，可以合成为一张待识别图像，之后执行后续步骤来实现对彩涂板缺陷的检测。
[0075]
参见图2，一些场景中，四台黑白线阵相机中的两台黑白线阵相机可以设置在彩涂板的上侧，采集彩涂板上侧表面的图像，另外两台黑白线阵相机可以设置在彩涂板的下侧，采集彩涂板下侧表面的图像，彩涂板上下侧分别设置线阵光源。
[0076]
步骤102，从待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别有效区域的彩涂板花纹类型。
[0077]
一些实施例中，上述从待识别图像中提取有效区域的实现过程可以包括：从待识别图像的图像矩阵中选择多个行向量和多个列向量；计算该多个行向量的行均值向量，以及该多个列向量的列均值向量；根据有效区域阈值、行均值向量和列均值向量，确定有效区域的坐标。
[0078]
示例性的，可以从待识别图像的图像矩阵m中，按行随机取n个(例如n＝2、3、4等数值)行向量row1、row2和row3，按列随机取n个列向量col1、col2和col3。之后，计算n个行向量的行均值向量row
avg
和n个列向量的列均值向量col
avg
，行均值向量row
avg
和列均值向量col
avg
的曲线图如图3所示。设置有效区域阈值valid_threshold，从行均值向量row
avg
中和列均值向量col
avg
中选取小于有效区域阈值valid_threshold的坐标，得出有效区域的坐标valid_loc＝[left,right,up,down]，left、right、up和down分别表示距离图像矩阵m的左、右、上、下四个边界的位置。其中，left,right＝row
avg
《valid_threshold，up,down＝col
avg
《valid_threshold。如图4所示，图4(a)为原始彩涂板表面图像，图4(b)为彩涂板有效区域图像。
[0079]
一些实施例中，上述通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型，可以包括：按照有效区域的坐标从图像矩阵中提取得到有效区域矩阵；将有效区域矩阵转换为维度大小为(c,w,h)的预测矩阵，c、w、h分别为矩阵通道数、宽和高；将预测矩阵输入彩涂板花纹图案分类模型中，输出有效区域的彩涂板花纹类型。
[0080]
示例性的，可以利用mobilenetv3构建彩涂板花纹图案分类模型，采用优化函数求解缺陷类型分类网络模型中的参数，该优化函数可以为pytorch adam optimizer函数。之后，按照有效区域的坐标valid_loc从图像矩阵m提取得到有效区域矩阵m
valid
，对有效区域矩阵m
valid
进行预处理(例如resize大小调整和归一化处理)，转换为维度大小为(c,w,h)的预测矩阵m
predict
，其中c、w和h为矩阵通道数、宽和高。之后，将预测矩阵m
predict
输入彩涂板花纹图案分类模型中，可以输出得到有效区域的彩涂板花纹图案类型。
[0081]
步骤103，基于无缺陷的图像样本搭建cflow模型，并对cflow模型进行训练得到缺陷检测模型，cflow模型包括encoder模块和decoder模块。
[0082]
一些实施例中，步骤103可以包括：采样无缺陷彩涂板不同花纹图案的第一图像样本，采样带有缺陷彩涂板不同花纹图案的第二图像样本；构建resnet18分类网络并基于所述第一图像样本和所述第二图像样本进行分类训练，用于替换cflow(conditional normalizing flows，条件归一化流)模型中的encoder imagenet预训练权重；采用freia框架构建8组可联结的可逆子网络，得到cflow模型的decoder模块。
[0083]
示例性的，可以采样无缺陷彩涂板不同花纹图案维度为(c,w,h)大小的第一图像样本n张，采样带有缺陷彩涂板不同花纹图案维度为(c,w,h)大小的第二图像样本m张，n张第一图像样本和m张第二图像样本构成训练数据集。之后，构建resnet18分类网络，并通过上述训练数据集进行分类训练，用于替换cflow模型中的encoder imagenet预训练权重。之后，构建可逆神经网络：采用freia框架构建8组可联结的可逆子网络来构建cflow模型的decoder模块。cflow模型构建完成后，得到上述缺陷检测模型。
[0084]
步骤104，根据彩涂板花纹类型和有效区域，利用缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标。
[0085]
一些实施例中，步骤104的实现过程可以包括：
[0086]
将待识别图像输入到cflow模型的encoder模块，提取第二特征层、第三特征层和第四特征层的特征向量；
[0087]
生成位置无关条件向量c，该位置无关条件向量c中的每个元素根据其所处位置，由正弦或余弦公式计算出且计算值各自不相关；
[0088]
将第二特征层、第三特征层、第四特征层的特征向量和位置无关条件向量c分别输入到cflow模型的decoder模块，输出得到：
[0089][0090]
其中ui＝g-1
(zi,ci,θ),是decoder模块中的可逆网络输出的两个输出，为特征向量，为位置无关条件向量；
[0091]
在cflow模型的推理阶段，采用公式进行0-1区间映射；
[0092]
对进行上采样，将还原到与所述图像矩阵的高和宽相同的向量，将第二特征
层、第三特征层和第四特征层相加，得到最终score map图；
[0093]
根据异常阈值对score map图进行二值化，得到二值化特征矩阵；
[0094]
对二值化特征矩阵进行最大连通区域求解，计算出缺陷区域坐标。
[0095]
一种场景中，步骤104的具体实现过程可以包括如下步骤：
[0096]
步骤a4，将待识别图片输入到cflow模型的encoder模块，该模块的模型为resnet18，并从中提取出第二特征层layer2、第三特征层layer3和第四特征层layer4的特征向量，该特征向量分别为z1＝(n,c1,w1,h1)，z2＝(n,c2,w2,h2)，z3＝(n,c3,w3,h3)。
[0097]
步骤b4，生成位置无关条件向量c＝(n,hi,wi)，该向量中的每个元素根据其所处位置，由正弦或余弦公式计算出且计算值各自不相关。
[0098]
步骤c4，将步骤a4中得到的特征向量和步骤b4中得到位置无关条件向量c，分别输入到cflow模型的decoder模块，输出得到以下向量：
[0099][0100]
其中ui＝g-1
(zi,ci,θ),是decoder模块中的可逆网络输出的两个输出，为特征向量。为条件向量，d为输入特征层的通道数，zi为decoder网络输出的潜在输出变量第i个值，ci为条件向量的第i个值，为网络参数。
[0101]
步骤d4，在cflow模型的训练阶段，由于计算梯度的需要，其loss函数求解如下：
[0102][0103]
其中n为|det ji|的向量长度。
[0104]
步骤e4，在cflow模型的推理阶段，采用公式进行0-1区间映射。再通过上采样方式，将恢复成和原始图像宽和高相等的向量，并将三个特征层进行相加得出最终score map图。
[0105]
步骤f4，对步骤e4输出的score map图进行二值化，其公式如下：
[0106][0107]
其中anormal_threshold为设定的瑕疵与非瑕疵阈值。
[0108]
步骤g4，对二值化后的图进行最大连通区域求解，最终计算出缺陷区域坐标：d∈d
num
，x1,y1,x2,y2分别表示缺陷框左上和右下角的顶点坐标，d
num
表示缺陷数量。
[0109]
步骤105，基于缺陷区域坐标从待识别图像中提取缺陷区域，将缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。
[0110]
一些实施例中，步骤105的过程可以包括：利用resnet18构建缺陷类型分类分级模型，采用优化函数求解缺陷类型分类分级模型中的参数，该优化函数可以为pytorch adam optimizer函数；基于缺陷区域坐标从图像矩阵上裁剪出缺陷区域；将缺陷区域输入缺陷类型分类分级模型，得到彩涂板上各个缺陷的类型和级别。
[0111]
如图6所示，图6中原始图指的是从4k图片中按一定算法裁剪出515*512大小图片；二值图是cflow模型输出的特征进行归一化后的图；预测框是指在归一化后的图上进行最大联通区域求解并计算出预测框；标签框指的彩涂板实际存在的缺陷位置。从图6中(每行)可以看出，模型预测框能够精准计算出缺陷位置。
[0112]
上述基于无监督生成式的彩涂板表面缺陷检测方法，应用残差网络预训练模型进行特征提取，在彩涂板拉丝花纹、星光斑点等图案和深浅不同颜色的情况下，抗干扰能力强并能够保证很高的缺陷检出率，而传统基于图像特征如边缘提取等方法由于花纹图案和颜色的强干扰影响，其缺陷检测效果较差。
[0113]
本技术提出的彩涂板缺陷检测模型，是一种无监督生成式模型，不需要对缺陷样本进行标注，只需采集少量无缺陷样本集，便可以对此类彩涂板进行识别。
[0114]
本技术实施例提出的基于无监督生成式的彩涂板表面方法，相较现有cflow方法性能方面和精度方面有大幅度提升，对于4096*1024大小的彩涂板图像可在60ms内完成高准确率的缺陷检测和分类分级，满足彩涂产线最高100m/min运行速度下表面异常缺陷的实时检测。
[0115]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0116]
对应于上文实施例所述的基于无监督生成式的彩涂板表面缺陷检测方法，图7示出了本技术实施例提供的基于无监督生成式的彩涂板表面缺陷检测装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0117]
参见图7，本技术实施例中的基于无监督生成式的彩涂板表面缺陷检测装置可以包括图像采集模块201、提取识别模块202、缺陷区域坐标模块203和缺陷识别模块204。
[0118]
其中，图像采集模块201用于通过线阵相机采集彩涂板的待识别图像。
[0119]
提取识别模块202用于从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型。
[0120]
缺陷区域坐标模块203用于根据所述彩涂板花纹类型和所述有效区域，利用缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标。
[0121]
缺陷识别模块204，用于基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。
[0122]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0123]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统
中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0124]
本技术实施例还提供了一种电子设备，参见图8，该电子设备300可以包括：至少一个处理器310和存储器320，所述存储器320中存储有可在所述至少一个处理器310上运行的计算机程序，所述处理器310执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图1所示实施例中的步骤101至步骤104。或者，处理器310执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块201至204的功能。
[0125]
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器320中，并由处理器310执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在电子设备300中的执行过程。
[0126]
本领域技术人员可以理解，图8仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
[0127]
处理器310可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0128]
存储器320可以是电子设备的内部存储单元，也可以是电子设备的外部存储设备，例如插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。所述存储器320用于存储所述计算机程序以及电子设备所需的其他程序和数据。所述存储器320还可以用于暂时地存储已经输出或者将要输出的数据。
[0129]
总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
[0130]
本技术实施例提供的基于无监督生成式的彩涂板表面方法可以应用于计算机、可穿戴设备、车载设备、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，pda)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、手机等电子设备上，本技术实施例对电子设备的具体类型不作任何限制。
[0131]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述基于无监督生成式的彩涂板表面缺陷检测方法各个实施例中的步骤。
[0132]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述基于无监督生成式的彩涂板表面缺陷检测方法各个实施例中的步骤。
[0133]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方
法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0134]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0135]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0136]
在本技术所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0137]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0138]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，包括：通过线阵相机采集彩涂板的待识别图像；从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型；基于无缺陷的图像样本搭建cflow模型，并对所述cflow模型进行训练得到缺陷检测模型，所述cflow模型包括encoder模块和decoder模块；根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。2.如权利要求1所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述从所述待识别图像中提取有效区域，包括：从所述待识别图像的图像矩阵中选择多个行向量和多个列向量；计算所述多个行向量的行均值向量，以及所述多个列向量的列均值向量；根据有效区域阈值、所述行均值向量和所述列均值向量，确定有效区域的坐标。3.如权利要求2所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型，包括：按照所述有效区域的坐标从所述图像矩阵中提取得到有效区域矩阵；将所述有效区域矩阵转换为维度大小为(c,w,h)的预测矩阵，c、w、h分别为矩阵通道数、宽和高；将所述预测矩阵输入彩涂板花纹图案分类模型中，输出所述有效区域的彩涂板花纹类型。4.如权利要求3所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述基于无缺陷的图像样本搭建cflow模型，并对所述cflow模型进行训练得到缺陷检测模型，包括：采样无缺陷彩涂板不同花纹图案的第一图像样本，采样带有缺陷彩涂板不同花纹图案的第二图像样本；构建resnet18分类网络并基于所述第一图像样本和所述第二图像样本进行分类训练，用于替换cflow模型中的encoder imagenet预训练权重；采用freia框架构建8组可联结的可逆子网络，得到cflow模型的decoder模块。5.如权利要求4所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述根据所述彩涂板花纹类型和所述有效区域，利用所述缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标，包括：将所述待识别图像输入到cflow模型的encoder模块，提取第二特征层、第三特征层和第四特征层的特征向量；生成位置无关条件向量c，所述位置无关条件向量c中的每个元素根据其所处位置，由正弦或余弦公式计算出且计算值各自不相关；将所述第二特征层、第三特征层、第四特征层的特征向量和所述位置无关条件向量c分别输入到cflow模型的decoder模块，输出得到：
其中是decoder模块中的可逆网络输出的两个输出，为特征向量，为所述位置无关条件向量，d为输入特征层的通道数，z
i
为decoder网络输出的潜在输出变量第i个值，c
i
为条件向量的第i个值，为网络参数；在cflow模型的推理阶段，采用公式进行0-1区间映射，k表示特征层索引号；对进行上采样，将还原到与所述图像矩阵的高和宽相同的向量，将第二特征层、第三特征层和第四特征层相加，得到最终score map图；根据异常阈值对score map图进行二值化，得到二值化特征矩阵；对所述二值化特征矩阵进行最大连通区域求解，计算出缺陷区域坐标。6.如权利要求5所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，在cflow模型的训练阶段，损失函数为：n为|detj
i
|的向量长度；所述二值化特征矩阵m
mask
为：anormal_threshold为所述异常阈值；所述缺陷区域坐标d
loc
为：x1,y1,x2,y2分别表示缺陷框左上和右下角的顶点坐标，d
num
表示缺陷数量。7.如权利要求1所述的基于无监督生成式的彩涂板表面缺陷检测方法，其特征在于，所述基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别，包括：利用resnet18构建所述缺陷类型分类分级模型，采用优化函数求解所述缺陷类型分类分级模型中的参数，所述优化函数为pytorch adam optimizer函数；基于所述缺陷区域坐标从所述图像矩阵上裁剪出缺陷区域；将所述缺陷区域输入所述缺陷类型分类分级模型，得到彩涂板上各个缺陷的类型和级别。8.一种基于无监督生成式的彩涂板表面缺陷检测装置，其特征在于，包括：图像采集模块，用于通过线阵相机采集彩涂板的待识别图像；提取识别模块，用于从所述待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别所述有效区域的彩涂板花纹类型；缺陷区域坐标模块，用于根据所述彩涂板花纹类型和所述有效区域，利用缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；缺陷识别模块，用于基于所述缺陷区域坐标从所述待识别图像中提取缺陷区域，将所述缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。9.一种电子设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行
的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结
本申请适用于彩涂板检测技术领域，提供了一种基于无监督生成式的彩涂板表面缺陷检测方法和装置。该方法包括：通过线阵相机采集彩涂板的待识别图像；从待识别图像中提取有效区域，通过彩涂板花纹图案分类模型识别有效区域的彩涂板花纹类型；基于无缺陷的图像样本搭建CFLOW模型，并对CFLOW模型进行训练得到缺陷检测模型；根据彩涂板花纹类型和有效区域，利用缺陷检测模型进行彩涂板缺陷检测，输出缺陷区域坐标；基于缺陷区域坐标从待识别图像中提取缺陷区域，将缺陷区域输入缺陷类型分类分级模型，得到彩涂板的缺陷类型和级别。本申请相较于传统基于图像特征如边缘提取等方法，具有较强的抗干扰能力和较高的缺陷检出率。强的抗干扰能力和较高的缺陷检出率。强的抗干扰能力和较高的缺陷检出率。


技术研发人员：郝亮 韩建辉 陈云朋 郭强 夏鹏飞 潘志威 王钊哲 李宏鹏 王建业
受保护的技术使用者：青岛河钢新材料科技股份有限公司
技术研发日：2023.04.20
技术公布日：2023/9/5