一种基于荧光激发实现罗非鱼鱼片异物检测方法

1.本发明属于图像处理技术领域，具体涉及一种基于荧光激发下实现罗非鱼鱼片异物检测方法。


背景技术：

2.随着经济的快速发展，人们追求越来越方便快速的饮食，预制菜肴行业越来越受到大众的关注，罗非鱼富含蛋白质、维生素、多不饱和脂肪酸以及人体必需的矿物质和微量元素，较高的营养价值，因此被广泛应用到预制菜肴中，其中大部分被制作为罗非鱼片。但是在罗非鱼片的生产过程中，可能会在加工处理罗非鱼的过程中沾染异物，例如残留的鱼刺鱼鳞以及破损的丁腈手套碎片，因此剔除鱼片上异物变得至关重要。传统人工观察识别异物的方式存在人眼误差且效率慢的问题，为了提高识别异物效率和准确率，本发明建立紫外激发系统，利用计算机图像识别技术识别异物。在此之前，已有利用紫外荧光图像并结合计算机技术识别鱼肉上的鱼刺。在狭鳕鱼片中骨刺的紫外荧光检测技术一文中，王晟利用紫外荧光成像技术和计算机图像识别技术对海产鱼片中鱼刺异物检测进行了研究，该研究通过采集320nm-380nm紫外荧光鱼片图像，对原始荧光图像采用主成分分析算法进行降维，并对第二主成分图像进行阈值分割实现鱼刺和鱼肉背景的分离，并得到分离后鱼刺数量和位置信息。由于紫外荧光是通过物质对光的选择性吸收与反射来呈现出荧光效果，不同物质的紫外荧光效果会不同，采集到鱼肉与不同异物的图像荧光对比度(像素灰度值)可能会相近，阈值法通过设定不同的特征阈值，把图像像素点分为具有不同灰度级的目标区域与背景区域的若干类，适用于目标与背景占据不同灰度级范围的图像，如果添加不同种异物，可能会存在同一阈值下无法分离出多种异物的情况，由此王晟的单一阈值法不再适用于分割多种异物。
3.针对以上问题，本发明设计鱼刺，鱼鳞，丁腈手套三种异物。方法上也不在选用阈值法，而是通过图像处理技术并结合深度学习，建立2d卷积神经网络(2d-cnn)与支持向量机结合的识别模型，利用2d-cnn提取特征，采用svm分类器进行训练和分类，对鱼片预制菜肴图像进行处理、分析，自动化识别不同状态下的鱼鳞、鱼刺、丁腈碎片等异物。


技术实现要素：

4.本发明的目的实现罗非鱼鱼片异物自动检测，降低人眼识别异物产生的误差，本发明提供一种利用荧光响应图像结合深度学习、经典机器学习的罗非鱼鱼片预制菜肴异物检测方法，该方法能对罗非鱼鱼片上的异物进行准确分类识别，帮助检查人员快速、准确的剔除鱼片上异物。
5.本发明的技术方案：
6.一种基于荧光激发实现罗非鱼鱼片异物检测方法，步骤如下：
7.步骤1：搭建紫外荧光成像系统，包括输送装置、计算机、荧光光源、长通滤光片、工业相机和暗箱；暗箱两侧分别安装4只条形荧光光源，荧光光源波段范围为360-370nm；光源
上安装长通滤光片，暗箱外部采用不透明材料；
8.步骤2：制作用于训练和测试的罗非鱼鱼片预制菜肴样品，包括制作罗非鱼鱼片和获取异物，异物包括鱼鳞、鱼刺及手套碎片；
9.为保证设计模型的泛化性，购买不同批次的新鲜罗非鱼30条和5幅丁腈手套用于样品制作。共制作罗非鱼鱼片，鱼鳞，鱼刺和丁腈手套样本各150组。
10.步骤3：数据采集。使用工业相机在暗箱内俯拍罗非鱼鱼片图像，，每种异物与罗非鱼鱼片组合为一组样本，采集纯罗非鱼鱼片图像与存在异物的罗非鱼鱼片图像。采集图像前半小时打开系统，以获得稳定的光照条件。将罗非鱼鱼片样本放入输送装置，由其送至暗箱，由工业相机采集其俯视图图像。
11.步骤4：多颜色空间的假彩图合成方法。采集的荧光图像分别面向rgb、hsv、l*a*b*三个颜色空间进行特征提取，获取三个颜色空间的单通道图像共9张，对三个颜色空间的9张单通道图像使用主成分分析方法进行降维，提取主成分分析后的前三个特征图图像分别替换原有rgb空间上的单通道图像，以合成新的rgb空间下的假彩图，作为步骤5建立鱼片异物识别模型的输入。
12.将采集的rgb图像转化到hsv,l*a*b*颜色空间上，并获取三个颜色空间上的单通道图像各三张，共9张。利用主成分分析方法对9张图像进行降维，选取前三个主成分分析后的单通道图像，分别替换原有rgb颜色空间上的r通道，g通道,b通道上的单通道图像，以合成一张新的rgb空间上的假彩图。
13.步骤5：建立改进的resnet50与svm结合的鱼片异物识别模型。采用resnet50深度学习网络为骨干网络，主要由一个卷积层，四个卷积块，一个全局平均池化层、和一个全连接层构成，其中四个卷积块分别由3、4、6、3个残差块堆叠而成，其中一个残差块包含三个卷积层。为加快特征提取的速度，去除图像上噪声、增加特征提取的准确度，设计感受野模块和cbam注意力模块，在骨干网络卷积块中的基础卷积层内加装感受野模块和卷积块之后加装cbam注意力模块。其中，所设计的感受野模块，即基于空洞卷积将resnet50网络中残差块的基础卷积层设计加入新参数dilation rate，并根据所需要的感受野范围设置不同的参数值，在原有骨干网络标准的卷积映射注入空洞，以此增加感受野，捕获多尺度上下文信息。所设计的cbam注意力模块是轻量级卷积注意力模块，由通道注意力机制模块与空间注意力机制模块串联而成，同时对两个维度进行注意力分配增强了注意力机制对模型性能的提升效果，注意力模块不再采用单一的最大池化或平均池化，而是采用最大池化和平均池化的相加或堆叠。为增加网络提取特征的准确性与泛化性，将其分别添加在每一个卷积块之后，对每一个卷积块特征提取之后的特征图都给与不同的权重，对特征进行校正，校正后的特征保留有价值的特征，剔除没价值的特征。该模块依次添加在四个卷积块之后，利用上述模块进行特征提取的过程中，特征图的矩阵形状为[c,h,w]格式，c表示为channels(通道数)，h表示为特征图的high(高度)，w表示为特征图的weight(宽度)。其中，通道注意力机制模块对特征图的[h,w]维度进行平均池化，空间注意力机制在特征图的[c]通道上对通道注意力机制进行补充。在完成对resnet50卷积层改进后，再对网络输出特征层进行改进，利用svm代替resnet50网络架构本身具备的分类功能，resnet50网络架构只用来特征提取。将原本resnet50网络应得到的全连接层转化为特征向量并作为svm分类器的输入，利用特征向量对svm分类器进行训练，最终实现精确识别鱼片上异物。
[0014]
原始的resnet50网络的感受野较小，在对步骤4中得到的假彩图进行特征提取的过程中速度慢。为了提升特征提取的速度，引入空洞卷积。在resnet50网络架构的四个残差块的基础卷积层，分别设置0，1，2，3的参数值(dilation rate)，扩大感受野的同时得到连续的视野空间，不改变特征图尺寸，捕捉到输入图像的信息更加复杂、抽象，加快提取特征的速度。
[0015]
由于鱼片上同一种类异物大小形状存在个体差异，鱼片纹路又与异物相似，形成干扰，在提取图像特征的过程当中，不可避免的就是会出现鱼肉特征图层作用大，而有些异物特征图层作用小，这就增大了特征提取的难度与准确性，为了解决这一问题，加入了注意力模块。在每个卷积块后分别加入cbam融合注意力模块，cbam模块为通道注意力机制与空间注意力机制模块的融合。在通道注意力模块的基础上，接入空间注意力模块，实现了通道注意力和空间注意力的双机制，在[h,w,c]三个参数上改进网络。不仅减少模型的信息丢失而且提高模型的泛化能力。
[0016]
通过改进的resnet50网络提取图像特征，使用svm支持向量机进行分类，更改cnn网络原有的分类功能，将卷积层原本输出的全连接层转换为svm输入的特征向量，利用特征向量对svm分类器进行训练，与单独使用resnet50网络架构相比，引入svm分类器可以对模型进行优化，提高识别异物准确率，实现精确识别鱼片上异物。
[0017]
本发明的有益成果：
[0018]
(1)多颜色空间的假彩图像合成法是选取不同颜色通道中最为重要的颜色信息进行合成，弥补紫外荧光拍摄下rgb颜色通道特征信息量过少的情况，合成后的图像对比度增强，图像环境更好，有利于提高模型识别准确率。
[0019]
(2)本发明以resnet50为骨干网络，在resnet50网络的每个卷积层集合后嵌入cbam注意力模块，实现了通道注意力和空间注意力的双机制，实现[h,w,c]三个参数的调整。能更好的去除图像上的噪声，更加准确的提取图像特征。
[0020]
(3)本发明以resnet50为骨干网络，基于空洞卷积在网络中残差块的基础卷积层设计加入新参数，增加感受野的同时不牺牲空间分辨率，提高网络运行速度的同时可以精确定位目标。
[0021]
(4)使用svm代替cnn网络的全连接层，将卷积层输出转换为svm输入特征向量，利用特征向量对svm分类器进行训练，与单独使用resnet50网络架构相比，引入svm分类器可以对模型进行优化，提高识别异物准确率。
附图说明
[0022]
图1为本发明方法流程图。
[0023]
图2(a)为紫外荧光成像系统图，(b)为暗箱内部结构示意图。
[0024]
图3为鱼片预制菜肴异物识别模型结构图。
[0025]
图4为本发明中cbamnet结构图。
[0026]
图5为异物三个颜色空间单通道图像。
[0027]
图6(a)为单纯使用resnet50网络架构进行分类得到的混淆矩阵，图6(b)为接入svm分类器后得到的混淆矩阵。
[0028]
图中：1输送装置；2暗箱；3计算机；4工业相机；5荧光光源；6长通滤光片。
具体实施方式
[0029]
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
[0030]
如图1所示，本发明的总体步骤如下：
[0031]
步骤1：建立紫外荧光成像系统，如图2所示该系统包括输送装置1、暗箱2、计算机3、工业相机4、荧光光源5和长通滤光片6。待检测的鱼片样品间距10cm通过输送装置1到达暗箱2，为减少外部光照的影响，暗箱2外部采用不透明材料，暗箱规格为63
×
50
×
44cm。暗箱2内两侧分别安装4只光源波段范围为360-370nm的条形荧光灯作为荧光光源5，条形荧光光源5与水平线呈45度，荧光光源5上安装长通滤光片6，长通滤光片6中心波长为365nm，工业相机4安装在暗箱2上方中间位置，相机帧频设置为60fps，相机感光度6400，曝光时间10ms，图像分辨率设置为2592
×
1728、图像类型为jpeg，通过工业相机4对鱼片进行采集传输到计算机中对罗非鱼鱼片预制菜肴异物检测。
[0032]
步骤2：制作用于训练和测试罗非鱼鱼片预制菜肴异物模型的样品。为保证设计模型的泛化性，购买不同批次的新鲜罗非鱼30条和5副丁腈手套用于样品制作。每条鱼经三枚开片鱼体(去鱼骨)处理后切割出5片3mm厚度鱼片，取出鱼鳞5片，摘下长度1cm鱼刺5条共得到150片鱼片，150片鱼鳞，150根鱼刺。每副手套裁出30片1mm左右形状不均匀碎片共裁出150片样本。
[0033]
步骤3：数据的采集，将样品置于紫外荧光成像系统的输送装置1上，送至暗箱2中，为采集清晰完整图像，保证足够光照，条形荧光灯与水平线呈60度照射待测的样品，在暗箱2正上方，距离样品30cm处通过工业相机4进行原始图像的采集，随机匹配鱼片与鱼鳞、鱼刺、丁腈手套的单种异物组合，其中鱼鳞异物、鱼刺异物、丁腈手套异物图像各采集300张，纯鱼片图像采集300张，共采集1200张图像用于罗非鱼鱼片预制菜肴异物检测模型的训练与测试。
[0034]
步骤4：多颜色空间的假彩图合成方法，由于紫外荧光拍摄下的图像呈现蓝色，拍摄的图像rgb空间下的r,g颜色通道的信息量过少，不易于特征提取，为了得到更多的图像特征，需要多个颜色空间的原始信息，于是将rgb颜色空间转化为hsv、l*a*b*两个颜色空间。获取三个颜色空间的三通道图像，分别为r,g,b,h,s,v,l*,a*,b*九个单通道，九张图像。对九个颜色通道图像进行主成分分析。主成分分析算法对原始特征进行降维，使用较少的数据维度，获取并保留更多原始图像特征。取得三个颜色空间的主成分分析后的图像，并取前三个主成分的图像替换原有rgb空间下的r空间，g空间，b空间的单通道图像，以合成一张新的rgb空间下的假彩图用于模型的数据输入。其中将图像以6:4比例划分为训练集与测试集。
[0035]
步骤5：建立改进的resnet50与svm结合的鱼片异物识别模型。
[0036]
以resnet50深度学习网络为骨干网络，基于空洞卷积，将resnet50深度学习网络中残差块的基础卷积层设计加入新参数(dilation rate)，并根据感受野范围设置不同的参数值。由于罗非鱼鱼片较小，鱼片上的异物相对较大，为了更快速的检测并分割大异物，需要增大感受野，捕获多尺度信息。因此本发明在骨干网络架构中加入空洞卷积，增加感受野的同时不牺牲空间分辨率。空洞卷积一方面增大了感受野可以检测并分割大目标，另一方面相较于下采样增大了分辨率，提高网络运行速度的同时可以精确定位目标。具体做法是在卷积块的卷积层设置不同的dilation rate，不同的dilation rate会得到不一样的感
受野，获取多尺度信息。由于鱼片上异物对于鱼片整体相对较大，所以需要设置较大的rate，但是设置过大的rate会损失信息的连续性，所以在resnet50网络结构中，不同卷积层设置依次增加的不同rate。在layer1设置rate＝0的卷积，即基础卷积，layer2设置rate＝1的空洞卷积，视野范围变为连续的3*3网格。在layer3设置rate＝2空洞卷积,视野范围变为连续的7*7网格，layer4设置rate＝3的空洞卷积，视野范围变为连续的13*13网格。由于不同罗非鱼的鱼鳞大小形状不同，异物丁腈手套的形状大小不确定且与鱼片的纹理相似。背景板为黑板，采集图像过程中会出现干扰信息以及大量噪声，异物的个体差距和采集过程中出现的噪声问题增大了特征提取的难度，而且特征图在提取图像特征的过程当中，不可避免的就是会出现鱼片特征图层作用大，而异物特征图层作用小。所以为了能更好的去除图像上的噪声，更加准确的提取图像特征在卷积层中加入注意力机制。本发明在resnet网络架构的四个卷积块之后分别嵌入cbam注意力模块，cbam模块为通道注意力机制和空间注意力机制混合使用，具体做法为通道注意力机制串联空间注意力机制，与单独使用通道注意力机制更好的是，注意力模块不再采用单一的最大池化或平均池化，而是采用最大池化和平均池化的相加或堆叠。通道注意力模块采用相加，空间注意力模块采用堆叠方式。通道注意力机制模块可以提高编码的质量，它通过建模通道之间的相互依赖性，自适应地重新校准通道特征响应。通道注意力机制模块会给每个通道一个权重，对特征图的[h,w]维度进行平均池化，让不同通道对结果有不同的作用力。由通道本身提取出的权重施加在特征图上，保证了在特征图提取特征的基础上，自适应地给定通道权重。因此在最终结果上是比普通的卷积层要更有效提取特征。空间注意力机制作用在特征图的[c]通道上，是对通道注意力的补充。空间注意力机制通过感受野反推回原图像，用来表示该区域的重要程度，空间注意力机制能够忽略杂乱图像中的噪声部分，在通道注意力模块后，接入空间注意力模块，将注意力机制得到的权重乘以输入特征图以进行自适应特征细化。实现了通道注意力和空间注意力的双机制，实现[h,w,c]三个参数的调整。
[0037]
通过改进的resnet50网络提取特征，使用svm支持向量机进行分类，更改cnn网络原有的分类功能，将卷积层原本输出的全连接层转换为svm分类器输入的特征向量，利用特征向量对svm分类器进行训练，与单独使用resnet50网络架构相比，引入svm分类器可以对模型进行优化，提高识别异物准确率，实现精确识别鱼片上异物。
[0038]
实验测试结果：图6a为单纯使用resnet50网络架构进行分类得到的混淆矩阵，图6b为接入svm分类器后得到的混淆矩阵。从测试集分类结果的混淆矩阵对比可以看出：以鱼肉为例，与单纯使用resnet50网络架构相比，接入svm分类器后，识别样本个数由正确识别115个样本增加为正确识别118个样本，准确率由95.8％提升为98.3％，降低了误分率，平均准确率也由95.6％增加到98.3％。

技术特征：
1.一种基于荧光激发实现罗非鱼鱼片异物检测方法，其特征在于，步骤如下：步骤1：搭建紫外荧光成像系统紫外荧光成像系统包括输送装置、计算机、荧光光源、长通滤光片、工业相机和暗箱；暗箱两侧分别安装条形荧光光源，荧光光源波段范围为360-370nm；光源上安装长通滤光片，暗箱外部采用不透明材料；步骤2：制作用于训练和测试的罗非鱼鱼片预制菜肴样品，包括制作罗非鱼鱼片和获取异物，异物包括鱼鳞、鱼刺及手套碎片；步骤3：数据采集；使用工业相机在暗箱内俯拍罗非鱼鱼片图像，每种异物与罗非鱼鱼片组合为一组样本，采集纯罗非鱼鱼片图像与存在异物的罗非鱼鱼片图像；步骤4：多颜色空间的假彩图合成方法；将步骤3采集的荧光图像分别面向rgb、hsv、l*a*b*三个颜色空间进行特征提取，获取三个颜色空间的单通道图像共9张，对三个颜色空间的9张单通道图像使用主成分分析方法进行降维，提取主成分分析后的前三个特征图图像分别替换原有rgb空间上的单通道图像，以合成新的rgb空间下的假彩图，作为步骤5建立鱼片异物识别模型的输入；步骤5：建立改进的resnet50与svm结合的鱼片异物识别模型；采用resnet50深度学习网络为骨干网络，主要由一个卷积层、四个卷积块、一个全局平均池化层和一个全连接层构成，其中四个卷积块分别由3、4、6、3个残差块堆叠而成，其中一个残差块又包含三个卷积层；设计感受野模块和cbam注意力模块，在骨干网络卷积块中的基础卷积层内加装感受野模块和卷积块之后加装cbam注意力模块；其中，感受野模块即基于空洞卷积在resnet50深度学习网络的残差块的卷积层中加入参数dilation rate，并根据所需要的感受野范围设置参数值；cbam注意力模块是轻量级卷积注意力模块，由通道注意力机制模块与空间注意力机制模块串联而成；在利用cbam注意力模块进行特征提取的过程中，特征图的矩阵形状为[c,h,w]格式，c表示为通道数，h表示为特征图的高度，w表示为特征图的宽度；其中，通道注意力机制模块对特征图的[h,w]维度进行平均池化，空间注意力模块在特征图的[c]通道上对通道注意力机制模块进行补充，实现从通道到空间的顺序注意力结构；完成对骨干网络的卷积层改进后，再对网络输出特征层即全连接层进行改进，利用svm分类器代替骨干网络架构的分类功能，骨干网络架构只用来特征提取；将骨干网络得到的全连接层转化为特征向量并作为svm分类器的输入，利用特征向量对svm分类器进行训练，最终实现精确识别鱼片上异物。

技术总结
本发明属于图像处理技术领域，公开了一种基于荧光激发实现罗非鱼鱼片异物检测方法，基于多颜色空间的假彩图合成方法，设计Resnet50深度学习网络并与SVM结合实现罗非鱼鱼片异物识别，其中基于空洞卷积，设计感受野模块，将Resnet50网络中残差块的基础卷积层设计加入新参数实现感受野的扩大；基于特征权重，构建CBAM融合注意力机制模块，在每个残差块后分别加入通道注意力机制模块与空间注意力模块。总体上建立2D-CNN深度学习网络与支持向量机结合的模型，利用卷积神经网络提取特征，采用SVM分类器进行训练和分类，实现快速精确识别鱼片异物。异物。异物。


技术研发人员：王慧慧 黄金怡 杜忠霖 段留奎 秦磊 张旭 刘阳 杨继新
受保护的技术使用者：大连工业大学
技术研发日：2023.06.12
技术公布日：2023/9/12