基于多视角图像特征融合的农产品缺陷检测方法及系统

1.本发明属于计算机视觉技术领域，具体涉及一种基于x光和可见光多视角图像特征融合的农产品缺陷检测方法及系统。


背景技术：

2.近年来，随着计算机视觉技术的发展，基于图像的农产品质量检测成为了一个研究热点。传统的农产品质量检测方法主要是基于人工经验和手工检测，不仅效率低下而且易出错，在检测过程中也无法对农产品的内部缺陷进行准确检测。
3.为了解决这些问题，一些基于图像处理和机器学习的自动化农产品缺陷检测方法已经被提出。目前有通过分析红外图像、超声图像、x光图像等非可见光图像来检测农产品内部的缺陷，但是这些方法不能提供更直观的结果，且表面检测容易受到表皮灰尘、斑点影响；还有一些方法使用可见光图像来检测农产品表面的缺陷，但是这些方法无法检测到农产品内部的缺陷。同时，这些方法通常只能处理二维图像，难以捕捉到农产品的立体形态和细微的缺陷。


技术实现要素：

4.针对现有技术存在的问题，本发明提供了一种基于多模态和多视图融合的农产品缺陷检测方法，以解决现有技术采用单个传感器图像信息不全，平面图像不准确问题。
5.为了达到上述发明目的，本发明采用以下技术方案：
6.基于多视角图像特征融合的农产品缺陷检测方法，其包括如下步骤：
7.s1，获取农产品的多视角x光、可见光图图像序列；
8.s2,将x光图像序列和可见光图像序列投影至球面；
9.s3,基于角点检测算法分别将x光图像和可见光图像拼接成两个独立的球面全景图；
10.s4，将两个球面全景图输入卷积神经网络，输出农产品检测类别。
11.作为优选，步骤s1中，获取多模态图像，即x光图和可见光图。对农产品照射x射线获取x光图，利用ccd相机获取得到农产品的可见光图像，从不同视角对农产品进行感知，获取x光图像序列和可见光图像序列。
12.作为优选，所述获取x光序列图像和可见光序列图像，包括仰视序列图像、平视序列图像和俯视序列图像。其中，平视序列图获取方法为，保持相机在固定高度的水平位置，使得农产品绕轴旋转进行连续拍摄，确保相邻照片具有充分的重合度。将相机向上仰起60度，向下俯视60度，按照平视序列图像拍摄方法，分别获得仰视和俯视图像序列。
13.作为优选，步骤s2中，将所有实景图像经球面正投影算法得到球面图像，设照相机坐标系为xyz，世界坐标系为xyz，照相机拍摄方向与世界坐标x，y的夹角分别为α，β。任意像素点p(x，y)在照相机坐标系中的坐标为(x，y，f)，其中,f是相机的焦距，在世界坐标系下的坐标为(x
p
，y
p
，z
p
)可得，
[0014][0015]
用二维坐标表示球面像素点为(α，β)，即经维度。
[0016]
作为优选，步骤s3中，对于图像序列进行预处理，提取特征点，筛选特征点，选择匹配策略对特征点进行匹配，进行图像融合及边界处理，生成球面全景图像。
[0017]
作为优选，人为选定一张图像为参考图像，其余为待匹配图像。
[0018]
作为优选，步骤s3中特征点提取，基于角点检测算子进行特征点的选择和提取，把角点作为特征点，计算图像中每个像素点在x和y方向的一阶导数各自的平方以及二者的乘积，对这三项分别做高斯平滑处理；计算角点响应值r,设置一个阈值，将大于该阈值的点作为候选的特征点；将所得到的候选特征点按r值从大到小进行排序，取某一邻域内r值最大的作为候选点。
[0019]
作为优选，步骤s3中筛选特征点，对特征点进行匹配，以特征点像素为中心，选择灰度窗，利用互相关法对参考图像和待匹配图像做运算，设置阈值确定候选点进行匹配，实现基于特征点的拼接。
[0020]
作为优选，步骤s4中，多模态图像特征融合，将用经纬度表示的两个独立的x光和可见光球面全景图像作为输入，分别经过卷积神经网络对农产品x光球面全景图像和可见光球面全景图像提取特征，提取后的特征并联实现特征融合，再输入卷积神经网络获取深层特征，最后输出农产品检测类别。其中，卷积神经网络包括卷积层、池化层、全连接层和激活函数。
[0021]
本发明还公开了一种基于上述农产品缺陷检测方法的系统，其包括如下模块：
[0022]
图像序列获取模块：获取农产品的多视角x光、可见光图像序列；
[0023]
图像序列投影模块：将x光图像序列和可见光图像序列投影至球面；
[0024]
球面全景图获得模块：基于角点检测算法分别将x光图像和可见光图像拼接成两个独立的球面全景图；
[0025]
特征提取模块：将两个球面全景图输入卷积神经网络进行特征提取，输出农产品检测类别。
[0026]
针对现有技术存在的问题，本发明提供一种基于x光图和可见光图多模态和多视图融合的农产品缺陷检测方法，本发明能够同时利用x光图和可见光图来实现农产品缺陷的检测，通过多模态和多视图融合的方式获取农产品信息，提高检测准确性。本发明解决了单个传感器图像信息不全，平面图像不准确的问题，能够为农产品的质量检测提供信息全面、准确度高的无损检测手段。
[0027]
本发明与现有技术相比，至少有如下有益效果：
[0028]
本发明同时利用x光图和可见光图来实现农产品缺陷的检测，通过多模态和多视图融合的方式获取农产品信息，解决单传感器图像信息不全和平面图像不准确的问题，具有信息全面、准确度高和无损检测的优点。
附图说明
[0029]
图1为本发明实施例所提供的农产品缺陷检测方法的流程图；
[0030]
图2为本发明实施例所提供的球面映射流程图；
[0031]
图3为本发明实施例所提供的x光和可见光球面全景图像特征提取融合流程图；
[0032]
图4为本发明实施例所提供的农产品缺陷检测系统框图。
具体实施方式
[0033]
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0034]
实施例1：
[0035]
如图1-3所示，本实施例基于x光和可见光多视角图像特征融合的农产品缺陷检测方法，其包括如下步骤：
[0036]
s1，获取农产品的多视角x光、可见光图序列图像；
[0037]
s2,将x光图像序列和可见光图像序列投影至球面；
[0038]
s3,基于harris角点检测算法分别将x光图像和可见光图像拼接成两个独立的球面全景图；
[0039]
s4，将球面全景图输入卷积神经网络，输出农产品检测类别。
[0040]
下面对每一步骤做更详细的说明。
[0041]
本实施例的步骤s1中，对农产品照射x射线获取x光图，利用ccd相机获取得到农产品的可见光图像，从不同视角对农产品进行感知，获取x光图像序列和可见光图像序列。
[0042]
进一步的，本实施例获取x光序列图像和可见光序列图像，包括仰视序列图像、平视序列图像和俯视序列图像。其中平视序列图获取方法为，保持相机在固定高度的水平位置，使得农产品绕轴旋转进行连续拍摄，确保相邻照片具有充分的重合度。将相机向上仰起60度，向下俯视60度，按照平视序列图像拍摄方法，分别获得仰视和俯视图像序列。
[0043]
本实施例的步骤s2中，将所有实景图像经球面正投影算法得到球面图像，设照相机坐标系为xyz，世界坐标系为xyz，照相机拍摄方向与世界坐标x，y的夹角分别为α，β。任意像素点p(x，y)在照相机坐标系中的坐标为(x，y，z)，其中f是相机的焦距，在世界坐标系下的坐标为(x
p
，y
p
，z
p
)可得，
[0044][0045]
用二维坐标表示球面像素点为(α，β)，即经维度。
[0046]
本实施例的步骤s3中，对于图像序列进行预处理，提取特征点，筛选特征点，选择匹配策略对特征点进行匹配，进行图像融合及边界处理，生成球面全景图像。
[0047]
人为选定一张图像为参考图像，其余为待匹配图像。
[0048]
更进一步的，本实施例的步骤s3中，基于角点检测算子进行特征点的选择和提取，
把角点作为特征点，计算图像中每个像素点在x和y方向的一阶导数各自的平方以及二者的乘积，对这三项分别做高斯平滑处理；计算角点响应值r,设置一个阈值，将大于该阈值的点作为候选的特征点；将所得到的候选特征点按r值从大到小进行排序，取某一邻域内r值最大的作为候选点。
[0049]
对特征点进行匹配，以特征点像素为中心，选择灰度窗，利用互相关法对参考图像和待匹配图像做运算，设置阈值确定候选点进行匹配，实现基于特征点的拼接。
[0050]
本实施例的步骤s4，多模态图像特征融合，将用经纬度表示的两个独立的x光和可见光球面全景图像作为输入，分别经过卷积神经网络对农产品x光球面全景图像和可见光球面全景图像提取特征，提取后的特征并联实现特征融合，再输入卷积神经网络获取深层特征，最后输出农产品检测类别。其中卷积神经网络包括卷积层、池化层、全连接层和激活函数。
[0051]
如图4所示，本实施例公开了一种基于上述实施例所述农产品缺陷检测方法的系统，其包括如下模块：
[0052]
图像序列获取模块：获取农产品的多视角x光、可见光图像序列；
[0053]
图像序列投影模块：将x光图像序列和可见光图像序列投影至球面；
[0054]
球面全景图获得模块：基于角点检测算法分别将x光图像和可见光图像拼接成两个独立的球面全景图；
[0055]
特征提取模块：将两个球面全景图输入卷积神经网络进行特征提取，输出农产品检测类别。
[0056]
本实施例其他内容可参考实施例1。
[0057]
本发明属于计算机视觉技术领域，具体涉及一种基于多模态和多视图融合的农产品缺陷检测方法，能够同时利用x光图和可见光图来实现农产品缺陷的检测，通过多模态和多视图融合的方式获取农产品信息，提高检测准确性。本发明解决了单个传感器图像信息不全，平面图像不准确问题。本发明能够为农产品的质量检测提供信息全面、准确度高的无损检测手段，为后续的农产品缺陷提供新的思路。
[0058]
综上，本发明利用x光图和可见光图进行多模态和多视角图像融合，提取特征信息并融合，输出农产品检测类别，能解决单个传感器图像信息不全，平面图像检测不准确的问题，具有无损检测、信息全面、检测精确度高等优点。
[0059]
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

技术特征：
1.基于多视角图像特征融合的农产品缺陷检测方法，其特征在于，包括如下步骤：s1，获取农产品的x光、可见光多视角图像序列；s2,将x光图像序列和可见光图像序列投影至球面；s3,基于角点检测算法分别将x光图像和可见光图像拼接成两个独立的球面全景图；s4，将x光和可见光球面全景图输入卷积神经网络进行特征提取，输出农产品检测类别。2.根据权利要求1所述的基于多视角图像特征融合的农产品缺陷检测方法，其特征在于，步骤s1中，从不同视角，对农产品照射x射线获取x光图像序列，利用ccd相机获取得到农产品的可见光图像序列。3.根据权利要求2所述的基于多视角图像特征融合的农产品缺陷检测方法，其特征在于，所述图像序列包括仰视图像序列、平视图像序列和俯视图像序列。4.根据权利要求1所述的基于多视角图像特征融合的农产品缺陷检测方法，其特征在于，步骤s2中，将所有图像经球面正投影算法得到球面图像，设照相机坐标系为，世界坐标系为，相机拍摄方向与世界坐标的夹角分别为任意像素点在相机坐标系中的坐标为，其中是相机的焦距，在世界坐标系下的坐标为得到：用二维坐标表示球面像素点为，即经维度。5.根据权利要求1所述的基于多视角图像特征融合的农产品缺陷检测方法，其特征在于：步骤s3中，对于图像序列进行预处理，提取特征点，筛选特征点，选择匹配策略对特征点进行匹配，进行图像融合及边界处理，生成球面全景图。6.根据权利要求5所述的基于多视角图像特征融合的农产品缺陷检测方法，其特征在于，选定一张图像为参考图像，其余为待匹配图像。7.根据权利要求5所述的基于多视角图像特征融合的农产品缺陷检测方法，其特征在于：所述的提取特征点，基于角点检测算子进行特征点的选择和提取，把角点作为特征点，计算图像中每个像素点在和方向的一阶导数各自的平方以及二者的乘积，对这三项分别做高斯平滑处理；计算角点响应值r,设置一个阈值，将大于该阈值的点作为候选的特征点；将所得到的候选特征点按r值从大到小排序，取某一邻域内r值最大的作为候选点。8.根据权利要求5所述的基于多视角图像特征融合的农产品缺陷检测方法，其特征在于：所述的筛选特征点，对特征点进行匹配，以特征点像素为中心，选择灰度窗，利用互相关法对参考图像和待匹配图像做运算，设置阈值确定候选点进行匹配，实现基于特征点的拼接。9.根据权利要求1-8任一项所述的基于多视角图像特征融合的农产品缺陷检测方法，其特征在于，步骤s4中，多模态图像特征融合，将采用经纬度表示的两个独立的x光和可见光球面全景图像作为输入，分别经过卷积神经网络对农产品x光和可见光球面全景图像提取特征，提取后的特征并联实现特征融合，再输入卷积神经网络获取深层特征，最后输出农产品检测类别。
10.一种基于权利要求1-9任一项所述农产品缺陷检测方法的系统，其特征在于，包括如下模块：图像序列获取模块：获取农产品的多视角x光、可见光图像序列；图像序列投影模块：将x光图像序列和可见光图像序列投影至球面；球面全景图获得模块：基于角点检测算法分别将x光图像和可见光图像拼接成两个独立的球面全景图；特征提取模块：将两个球面全景图输入卷积神经网络进行特征提取，输出农产品检测类别。

技术总结
本发明公开了一种基于多视角图像特征融合的农产品缺陷检测方法及系统，方法包括如下步骤：S1，获取农产品的X光、可见光多视角图像序列；S2,将X光图像序列和可见光图像序列投影至球面；S3,基于角点检测算法分别将X光图像和可见光图像拼接成两个独立的球面全景图；S4，将X光和可见光球面全景图输入卷积神经网络进行特征提取，输出农产品检测类别。本发明同时利用X光图和可见光图来实现农产品缺陷的检测，通过多模态和多视图融合的方式获取农产品信息，解决单传感器图像信息不全和平面图像不准确的问题，具有信息全面、准确度高和无损检测的优点。测的优点。测的优点。


技术研发人员：方苗旭 张志飞 侯北平 严易博 齐帅 董艺萌 游文潇 李梓清 杨谢乐
受保护的技术使用者：浙江科技学院
技术研发日：2023.04.24
技术公布日：2023/8/9