一种基于深度学习的瓶装产品铝箔封口检测方法

1.本发明涉及图像识别及深度学习领域，更具体地，涉及一种基于深度学习的瓶装产品铝箔封口检测方法。


背景技术：

2.瓶装产品在生产过程中需要使用铝箔进行封口，以确保产品的质量和安全性。然而，瓶装产品铝箔封口不完整或损伤，可能会导致产品受到外界环境污染，从而影响产品的质量和安全性。
3.传统的瓶装产品铝箔封口检测方法主要采用人工视觉或机器视觉技术，例如使用光学传感器或高速相机进行检测。这些方法存在检测效率低、误踢率高、对光线和环境的依赖性强、很难通过图像识别的方法自动分类等局限性。因此，需要开发一种基于深度学习的方法，提高瓶装产品铝箔封口的检测准确度和自动化程度。
4.深度学习作为一种新兴的机器学习算法，已经广泛应用于计算机视觉领域。基于深度学习的瓶装产品铝箔封口检测方法可以通过采集大量图像数据集，在训练过程中提取特征，利用神经网络自动学习图像特征，进而提高瓶装产品铝箔封口的检测精度和稳定性。


技术实现要素：

5.本发明的目的是提供一种基于深度学习的瓶装产品铝箔封口检测方法。
6.为了解决上述问题，本发明提供了一种基于深度学习的瓶装产品铝箔封口检测方法，包括如下步骤：
7.步骤s1，获取瓶装产品铝箔封口原始数据集；
8.步骤s2，通过图像灰度化对获取的瓶装产品铝箔封口图像进行预处理；
9.步骤s3，对预处理后的瓶装产品铝箔封口图像进行分割，提取出前景主体；
10.步骤s4，将分割后的瓶装产品铝箔封口缺陷图像输入进图像增强模型，训练后进行存储及打标签，生成瓶装产品铝箔封口图像样本训练集和瓶装产品铝箔封口图像测试集；
11.步骤s5，将瓶装产品铝箔封口图像样本训练集进行分类模型训练得到图像识别模型，以及生成分类器，进行瓶装产品铝箔封口图像测试集测试。
12.进一步的，所述步骤s2中通过图像灰度化对获取的瓶装产品铝箔封口图像进行预处理包括：通过红外热像仪实际拍摄获取预设数量的瓶装产品铝箔封口图片并裁剪成预设分辨率尺寸大小的未预处理的原始图片，所述预设分辨率尺寸大小均为256像素；
13.进一步的，所述预设分辨率尺寸大小的未预处理的原始图片包括：预设分辨率尺寸大小的未预处理的原始图片存储到所述瓶装产品铝箔封口数据集。
14.进一步的，所述步骤s4中图像增强模型包括：对原始dcgan模型结构及网络函数进行优化，得到dcgan网络模型，包括：
15.步骤s41，使用卷积和微步卷积替代原有的池化层，网络在自己的空间学习下采
样，应用于生成器g和判别器d模型中，全局平均池化替代全连接层；
16.步骤s42，在原始dcgan模型的生成器g和判别器d中，进行批量标准化处理；
17.步骤s43，将dcgan网络中生成器g的激活函数relu替换为elu中的elu激活函数的表达式为：
[0018][0019]
其中α是一个可调整的参数，控制elu负值部分在何时饱和；函数中的x参数就是神经网络的输入数据，或者说是某一个神经元接收的输入值，elu函数将这个输入值进行处理，最后返回一个激活的结果值，这结果值会继续传递到下一层神经元；e
x
用来对输入值进行非线性变换的作用，使得elu函数在输入值小于等于零的区间上可以提供更加平滑的输出响应。
[0020]
步骤s44，将dcgan网络的损失函数替换为交叉熵损失函数中的交叉熵损失函数的标准形式如下：
[0021][0022]
其中x表示样本，y表示实际的标签，a表示预测的输出，n表示样本总数量。
[0023]
进一步的，所述步骤s4中瓶装产品铝箔封口图像样本训练集包括：将瓶装产品铝箔封口图像样本训练集存储打标签划分为样本训练集一、样本训练集二、样本训练集三、样本训练集四、样本训练集五和样本训练集六。
[0024]
进一步的，所述步骤s5中瓶装产品铝箔封口图像样本训练集进行训练得到图像识别模型，瓶装产品铝箔封口图像样本训练集中的样本训练集一、样本训练集二、样本训练集三、样本训练集四、样本训练集五和样本训练集六训练，分别生成分类器一、分类器二、分类器三、分类器四、分类器五和分类器六；
[0025]
进一步的，所述生成分类器一、分类器二、分类器三、分类器四、分类器五和分类器六所对应瓶装产品铝箔封口结果分别为合格、铝箔缺失、铝箔反装、铝箔边缘破损、铝箔穿孔和铝箔褶皱。
[0026]
相对现有技术，本发明的实施例至少具有如下优点或有益效果：
[0027]
本发明实例采用多样本训练集、分类学习方式，提高缺陷图像识别准确率，能实现对多种缺陷图像进行识别分类。
[0028]
本发明的其他特征和优点将在随后的说明中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明了解。本发明的目的和其他优点可通过在所写的说明书，权利要求书、以及附图中所特别指出的结构来实现和获得。
[0029]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0030]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施案例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1为本发明的实施例的流程示意图；
[0032]
图2为原始dcgan模型结构原理图；
[0033]
图3为本发明改进的dcgan模型结构原理图；
[0034]
图4为本发明瓶装产品铝箔封口实物样例图。
具体实施方式
[0035]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。
[0037]
本发明的一种基于深度学习的瓶装产品铝箔封口检测方法，其操作流程如图1所示，具体包括如下步骤：
[0038]
步骤s1，获取瓶装产品铝箔封口原始数据集；
[0039]
在一些实施方式中，在图像增强和训练图像识别模型之前，需要采集瓶装产品铝箔封口原始数据集、所述瓶装产品铝箔封口原始数据集包括多张瓶装产品铝箔封口图像以及对应的类别。所述瓶装产品铝箔封口数原始据集包括四个类别；
[0040]
在一个可选的实施例中，所述采集瓶装产品铝箔封口原始数据集包括：使用红外热像仪手动拍摄多张瓶装产品铝箔封口图像；本实施例中，瓶装产品铝箔封口图像的来源旋盖操作和加热密封后的瓶装产品铝箔封口，其中旋盖操作是旋盖机自动旋盖，也可以是手动旋盖，加热密封通过电磁感应铝箔封口机，也可以是其他密封设备，所述旋盖机和电磁感应铝箔封口机及其他密封设备为现有技术，本发明在此不再赘述；
[0041]
对所述多张原始瓶装产品铝箔封口图像进行类别标注；在本实施例中，经过类别标注后，将所述多张图像及对应的类别作为瓶装产品铝箔封口图像原始数据集；
[0042]
将所述多张瓶装产品铝箔封口图像以及对应的类别作为瓶装产品铝箔封口原始数据集。确定出瓶装产品铝箔封口原始数据集即可开始图像增强和图像识别模型训练，便于后续利用训练好的图像识别模型进行类别识别的图像。
[0043]
步骤s2，通过图像灰度化对获取的瓶装产品铝箔封口图像进行预处理；
[0044]
通过红外热像仪实际拍摄获取预设数量的瓶装产品铝箔封口图片并裁剪成预设分辨率尺寸大小的未预处理的原始图片，所述预设分辨率尺寸大小均为256像素；
[0045]
预设分辨率尺寸大小的未预处理的原始图片包括：预设分辨率尺寸大小的未预处理的原始图片存储到所述瓶装产品铝箔封口原始数据集。
[0046]
步骤s3，对预处理后的瓶装产品铝箔封口图像进行分割，提取出前景主体；
[0047]
在一些实施方式中，瓶装产品铝箔封口原始图片灰度化后在分割的目的是为了设计合适瓶装产品铝箔封口和背景元素的训练数据集，分割图片后所用到的方法为霍夫圆检测方法。由于图像上除了瓶装产品铝箔封口外还有复杂的外界环境。在分割时需要尝试找到最合适的提取颜色范围像素的阈值范围，因为当阈值过大时，瓶装产品铝箔封口图像中将包含外部干扰，使得识别结果中包含干扰物，从而降低识别准确度，经过比较发现阈值设
置在(0,70,50)至(0,255,255)范围内对瓶装产品铝箔封口特征有较好的体现，其中(0,70,50)和(0,255,255)所描述的是rgb三个通道对应的不同亮度值。
[0048]
步骤s4，将分割后的瓶装产品铝箔封口缺陷图像输入进图像增强模型，训练后进行存储及打标签，生成瓶装产品铝箔封口图像样本训练集和瓶装产品铝箔封口图像测试集；
[0049]
步骤s41，原始dcgan是gan与cnn的结合，其结构原理如图2所示。在原始dcgan的基础上，使用卷积和微步卷积替代原有的池化层，网络在自己的空间学习下采样，应用于生成器g和判别器d模型中，全局平均池化替代全连接层；在原始dcgan模型的生成器g和判别器d中，进行批量标准化处理；将dcgan网络中生成器g的激活函数relu替换为elu；将dcgan网络的损失函数替换为交叉熵损失函数；改进后的dcgan结构原理如图3所示；
[0050]
elu激活函数的表达式为：
[0051][0052]
其中α是一个可调整的参数，控制elu负值部分在何时饱和。函数中的x参数就是神经网络的输入数据，或者说是某一个神经元接收的输入值，elu函数将这个输入值进行处理，最后返回一个激活的结果值，这结果值会继续传递到下一层神经元；e
x
用来对输入值进行非线性变换的作用，使得elu函数在输入值小于等于零的区间上可以提供更加平滑的输出响应。
[0053]
交叉熵损失函数的标准形式如下：
[0054][0055]
其中x表示样本，y表示实际的标签，a表示预测的输出，n表示样本总数量。
[0056]
步骤s42，将瓶装产品铝箔封口缺陷图像用于改进后的dcgan模型训练，直至生成器g和判别器d达到纳什均衡；
[0057]
该步骤的目的是为了使判别器d最终无法判断图片的来源，区分图片的真假，此时真实生成器g生成的图像数据与真实数据较为接近；
[0058]
利用训练好的dcgan模型实现图像增强，生成新的瓶装产品铝箔封口缺陷样本数据，达到图像增强的目的；
[0059]
步骤s43，将新的瓶装产品铝箔封口缺陷的图像以及瓶装产品铝箔封口原始数据集生成新的瓶装产品铝箔封口数据集，将新的瓶装产品铝箔封口数据集划分为瓶装产品铝箔封口图像样本训练集和瓶装产品铝箔封口图像测试集，其中瓶装产品铝箔封口图像样本训练集存储及打标签划分为样本训练集一、样本训练集二、样本训练集三、样本训练集四、样本训练集五和样本训练集六。
[0060]
步骤s5，将瓶装产品铝箔封口图像样本训练集进行分类模型训练得到瓶装产品铝箔封口图像识别模型，以及生成分类器。
[0061]
步骤s51，瓶装产品铝箔封口图像样本训练集中的样本训练集一、样本训练集二、样本训练集三、样本训练集四、样本训练集五和样本训练集六分类模型训练，分别生成分类器一、分类器二、分类器三、分类器四、分类器五和分类器六。关于分类模型为现有技术，本发明在此不再赘述。
[0062]
步骤s52，通过瓶装产品铝箔封口图像测试集测试瓶装产品铝箔封口图像识别模型，可以得到以下识别结果：合格、铝箔缺失、铝箔反装、铝箔边缘破损、铝箔穿孔、铝箔褶皱，如图4所示。
[0063]
本发明实施例中，通过图像预处理和分割方式，提升了模型训练的效率，瓶装产品铝箔封口缺陷图像采用图像增强的方式克服了现实中缺陷样本数量少的问题，提高缺陷样本图像识别率，通用性较高，能实现对多种缺陷图像进行识别分类。
[0064]
虽然以上过程具体描述了本发明的实施例，但并不能因此而理解为对发明专利范围限制。对于本领域的普通技术人员而言，可以在不脱离本发明的原理和精神的前提下，对这些实施例进行多种变更或改进，本发明的范围由所附权利要求及其等同物限定。
[0065]
对于本领域技术人员而言，尽管本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式展现。
[0066]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0067]
需要进一步说明的是，在本文中，诸如“样本训练集一”和“样本训练集二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不是要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0068]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关领域技术人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围，必须要根据权利要求范围来确定其技术性范围。

技术特征：
1.一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，包括如下步骤：步骤s1，获取瓶装产品铝箔封口原始数据集；步骤s2，通过图像灰度化对获取的瓶装产品铝箔封口图像进行预处理；步骤s3，对预处理后的瓶装产品铝箔封口图像进行分割，提取出前景主体；步骤s4，将分割后的瓶装产品铝箔封口缺陷图像输入进图像增强模型，训练后进行存储及打标签，生成瓶装产品铝箔封口图像样本训练集和瓶装产品铝箔封口图像测试集；步骤s5，将瓶装产品铝箔封口图像样本训练集进行分类模型训练得到图像识别模型，生成分类器，进行瓶装产品铝箔封口图像测试集测试。2.根据权利要求1所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，所述步骤s2中通过图像灰度化对获取的瓶装产品铝箔封口图像进行预处理包括：通过红外热像仪实际拍摄获取预设数量的瓶装产品铝箔封口图片并裁剪成预设分辨率尺寸大小的未预处理的原始图片，所述预设分辨率尺寸大小均为256像素。3.根据权利要求2所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，所述预设分辨率尺寸大小的未预处理的原始图片包括：预设分辨率尺寸大小的未预处理的原始图片存储到所述瓶装产品铝箔封口数据集。4.根据权利要求1所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，所述步骤s4图像增强模型包括：对原始dcgan模型结构及网络函数进行优化，得到dcgan网络模型。5.根据权利要求4所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，所述对原始dcgan模型结构及网络函数进行优化包括：使用卷积和微步卷积替代原有的池化层，网络在自己的空间学习下采样，应用于生成器g和判别器d模型中，全局平均池化替代全连接层；在原始dcgan模型的生成器g和判别器d中，进行批量标准化处理；将dcgan网络中生成器g的激活函数relu替换为elu；将dcgan网络的损失函数替换为交叉熵损失函数。6.根据权利要求5所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，将dcgan网络中生成器g的激活函数relu替换为elu中的elu激活函数的表达式为：其中α是一个可调整的参数，控制elu负值部分在何时饱和；函数中的x参数是神经网络的输入数据；e
x
用于对输入值进行非线性变换。7.根据权利要求5所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，将dcgan网络的损失函数替换为交叉熵损失函数中的交叉熵损失函数的标准形式如下：其中x表示样本，y表示实际的标签，a表示预测的输出，n表示样本总数量。8.根据权利要求1所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，所述步骤s4中瓶装产品铝箔封口图像样本训练集包括：将瓶装产品铝箔封口图像样本训练
集划分并存储为样本训练集一、样本训练集二、样本训练集三、样本训练集四、样本训练集五和样本训练集六。9.根据权利要求8所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，所述步骤s5中瓶装产品铝箔封口图像样本训练集进行训练得到图像识别模型，瓶装产品铝箔封口图像样本训练集中的样本训练集一、样本训练集二、样本训练集三、样本训练集四、样本训练集五和样本训练集六训练，分别生成分类器一、分类器二、分类器三、分类器四、分类器五和分类器六。10.根据权利要求9所述一种基于深度学习的瓶装产品铝箔封口检测方法，其特征在于，所述生成分类器一、分类器二、分类器三、分类器四、分类器五和分类器六所对应瓶装产品铝箔封口结果分别为合格、铝箔缺失、铝箔反装和铝箔边缘破损、铝箔穿孔和铝箔褶皱。

技术总结
本发明提出了一种基于深度学习的瓶装产品铝箔封口检测方法，包括如下步骤：获取瓶装产品铝箔封口原始数据集；通过图像灰度化对获取的瓶装产品铝箔封口图像进行预处理；对预处理后的图像进行分割；对分割后的瓶装产品铝箔封口缺陷图像输入进图像增强模型，进行图像增强训练，图像增强训练结束后，存储及打标签，生成样本训练集一、样本训练集二、样本训练集三、样本训练集四、样本训练集五和样本训练集六；将所有瓶装产品铝箔封口图像输入分类模型，训练完成后，生成图像识别模型以及分类器一、分类器二、分类器三、分类器四、分类器五和分类器六。该方案能通过多样本训练集，分类模型提高缺陷识别通用性，实现多类别缺陷图像识别。实现多类别缺陷图像识别。实现多类别缺陷图像识别。


技术研发人员：魏长赟 夏煜 杨颖
受保护的技术使用者：河海大学
技术研发日：2023.05.12
技术公布日：2023/8/21