基于双目视觉的快递分拣中堆垛纸箱识别与定位方法

1.本发明涉及基于双目视觉的堆垛纸箱识别与定位方法，尤其应用于快递分拣，识别和定位对象为快递分拣场景下的堆垛纸箱。


背景技术：

2.分拣效率是物流行业迅猛发展过程中必须得到解决的问题；传统物流行业在快递的中转、分拣、管理等环节主要依靠人工完成，不仅存在效率低、人力成本高的问题，更是在面临突发情况时难以应对。基于机器视觉的智能分拣具有非常重要的现实意义和科研价值，智能分拣的前提是机器人能够获取周围环境和视觉信息，并进一步实现对堆垛纸箱的目标识别与定位。
3.传统的目标检测算法hog和dpm是使用基于图像颜色、边缘和轮廓的特征，以及使用人工特征来处理图像信息，但是，这些特征极易受到目标物体的几何形态、被遮挡，以及被外部光光照等多种因素的影响，在发生这些因素的改变时，需要再次对现有的图片进行复杂的特征设计与特征提取，这种不断重复操作直接造成人力以及计算资源的浪费，显然，这种传统的目标检测算法提取的特征泛化能力弱，鲁棒性差，无法适用新环境，无法满足智能分拣的视觉需求。


技术实现要素：

4.本发明是为避免上述现有技术所存在的不足，提供一种基于双目视觉的快递分拣中堆垛纸箱识别与定位方法，以实现对快递分拣场景下的堆垛纸箱快速进行识别，并准确获取每个纸箱在空间中的三维坐标，为物流现代化发展提供基础。
5.本发明为解决技术问题采用如下技术方案：
6.本发明基于双目视觉的快递分拣中堆垛纸箱识别方法的特点是包括如下步骤：
7.步骤1.1：收集各快递分拣场景下不同背景、不同外表的各堆垛纸箱图片，对所述各堆垛纸箱图片中的每一个纸箱进行标注，包括标注堆垛纸箱图片中纸箱的位置框和纸箱类别，获得各堆垛纸箱标注图片，利用所述各堆垛纸箱标注图片构建训练样本集；
8.步骤1.2：建立基于backbone网络、fpn网络和yolohead网络的yolox模型，在所述backbone网络和fpn网络的连接处加入eca注意力模块，在所述fpn网络的下采样部分也加入eca注意力模块，得到yolox改进模型；
9.步骤1.3：利用所述训练样本集对yolox改进模型进行迭代训练，得到已完成训练的堆垛纸箱检测模型；
10.步骤1.4：利用所述堆垛纸箱检测模型对快递分拣现场的堆垛纸箱进行检测，实现堆垛纸箱的识别。
11.本发明基于双目视觉的堆垛纸箱识别方法的特点也在于：设置所述快递分拣现场的堆垛纸箱图片中纸箱类别仅包含carton一类，且对于检测到的carton类的纸箱显示纸箱类别为carton，对于非carton类的纸箱不进行显示。
12.本发明基于双目视觉的堆垛纸箱识别方法的特点也在于：
13.所述eca注意力模块首先对输入图片的原始输入特征进行全局平均池化，并对输入图片的特征图进行空间特征压缩，获得压缩特征图a；
14.通过执行一维卷积对所述压缩特征图a进行通道特征学习，生成通道初始权值；所述一维卷积的卷积核大小是根据输入通道的大小通过自适应函数计算确定；
15.根据通道初始权值使用sigmoid函数生成通道最终权值，将所述通道最终权值与原始输入特征相乘并输出获得最终输出特征。
16.本发明基于双目视觉的快递分拣中堆垛纸箱定位方法的特点是：
17.按本发明基于双目视觉的堆垛纸箱识别方法实现堆垛纸箱的识别；再按如下步骤实现快递分拣中堆垛纸箱定位：
18.步骤2.1：对双目相机进行标定，获得双目相机标定参数，包括径向畸变参数、切向畸变参数、旋转参数和平移参数；利用所述双目相机标定参数初始化双目相机完成标定；
19.步骤2.2：实时采集双目相机左图像和右图像，所述左图像和右图像均为rgb格式图像，将所述rgb格式图像转换为灰度图像，并进行图像畸变矫正；
20.步骤2.3：建立基于sgbm立体匹配算法的模型，通过立体匹配生成视差图，并对所述视差图进行加权最小二乘滤波disparitywlsfilter处理，得到sgbm立体匹配改进模型；
21.步骤2.4：利用sgbm立体匹配改进模型匹配左图像和右图像之间的对应点，进行匹配代价计算、代价聚合、视差计算以及后处理；
22.步骤2.5：通过yolox改进模型获取每个纸箱中心点的像素坐标；根据所述像素坐标计算获得每个纸箱中心点的世界坐标值x、y、z，最终获得每个纸箱的空间三维坐标。
23.本发明基于双目视觉的快递分拣中堆垛纸箱定位方法的特点也在于：设置所述快递分拣现场的堆垛纸箱图片中纸箱类别仅包含carton一类，且对于检测到的carton类的纸箱显示纸箱类别为carton，对于非carton类的纸箱不进行显示。
24.与已有技术相比，本发明有益效果体现在：
25.1、本发明实现了对快递分拣场景下的堆垛纸箱的快速识别，能准确获取每个纸箱的空间三维坐标，为物流现代化发展提供了基础；
26.2、本发明基于双目视觉的堆垛纸箱识别方法，在yolox模型的backbone网络和fpn网络的连接处加入eca注意力模块，在fpn的下采样部分也加入eca注意力模块，对输入特征进行多尺度信息捕捉和通道注意力调整，能够有效抑制模型对其他物体的误识别，同时提高模型检测精度和速度；
27.3、本发明基于双目视觉的堆垛纸箱定位方法通过在sgbm立体匹配生成视差图之后，对视差图进行加权最小二乘滤波disparitywlsfilter处理，能够将稀疏视差转变为稠密视差，并在一定程度上降低视差图噪声，改善视差图的视觉效果，提升视差图精度。
附图说明
28.图1为本发明中基于双目视觉的快递分拣中堆垛纸箱识别方法流程图；
29.图2为本发明中基于双目视觉的快递分拣中堆垛纸箱定位方法流程图；
30.图3为本发明中eca注意力模块的结构示意图；
具体实施方式
31.如图3所示为eca注意力模块，eca注意力机制是一种通道注意力机制，与一般通道注意力机制不同的是，eca注意力模块中的全连接层没有使用降维层，原因是对输入特征进行降维操作会损失特征信息，并且降维操作对于捕获不同通道之间的信息非常低效。因此，eca注意力模块中对激励操作进行了改进，使用自适应的一维卷积1d convolution代替降维的全连接层对全局平均池化后的不同通道间特征信息进行交互，有效地降低了通道注意力中降维层导致的信息损失。最后利用sigmoid激活函数计算得各个通道对应的注意力权重，然后与对应通道的输入特x征相乘得到带权重的特征信息
32.yolox模型是一种检测速度快、检测精度高的目标检测算法，注意力机制的原理是通过网络去学习特征权重，获取每个特征图的重要程度，根据获取到的重要程度赋予每个特征图权重值，神经网络重点关注某些特征图，从而增加重要的特征，减弱不重要的特征，达到优化模型目的。针对快递分拣现场堆垛纸箱复杂环境，本实施例在yolox模型的backbone网络和fpn网络的连接处加入eca注意力模块，在fpn的下采样部分也加入eca注意力模块，得到改进的yolox目标检测算法模型，能够对复杂环境下的堆垛纸箱有良好的检测效果。
33.参见图1，本实施例中基于双目视觉的快递分拣中堆垛纸箱识别方法包括如下步骤：
34.步骤1.1：收集各快递分拣场景下不同背景、不同外表的各堆垛纸箱图片，对所述各堆垛纸箱图片中的每一个纸箱进行标注，包括标注堆垛纸箱图片中纸箱的位置框和纸箱类别，获得各堆垛纸箱标注图片，利用所述各堆垛纸箱标注图片构建训练样本集，具体按照9:1:1的比例划分为训练集、验证集和测试集。
35.作为优选实施方式：设置快递分拣现场的堆垛纸箱图片中纸箱类别仅包含carton一类，且对于检测到的carton类的纸箱显示纸箱类别为carton，对于非carton类的纸箱不进行显示。
36.步骤1.2：建立基于backbone网络、fpn网络和yolohead网络的yolox模型，yolox模型的backbone主干特征提取网络采用cspdarknet53和sppbottlenecck，fpn作为加强特征提取网络使用panet结构，head头部网络使用yolohead，用于将提取到的特征转换为预测结果；本实施例中，在backbone网络和fpn网络的连接处加入eca注意力模块，在fpn网络的下采样部分也加入eca注意力模块，得到yolox改进模型。
37.具体是以cspdarknet53和sppbottlenecck构建backbone主干特征提取网络，用于特征提取，输入的图片首先会在backbone里面进行特征提取，提取到的特征称作特征层，是输入图片的特征集合，经过backbone部分得到三个特征层进行下一步网络的构建，三个特征层称为有效特征层。
38.yolohead是yolox的分类器和回归器，在fpn传过来的加强特征层中，每一特征层都有本层的宽、高和通道数，特征图视为多特征点集合，每个特征点有通道数个特征，因此对特征层的判断转化为对特征点判断，判断是否有物体与特征点对应，最后得到最终检测结果图。
39.eca注意力模块是通道注意力机制模块，能实现不降维的局部跨信道交互策略和自适应选择一维卷积核大小的方法，也能在降低模型复杂性的同时提升模型的性能；加入
eca注意力模块后的fpn网络用于将主干特征提取网络提取到的特征进行融合，并将融合后所得特征传入预测层，加入eca注意力模块后使网络更加关注重要特征之间的融合。
40.eca注意力模块首先对输入图片的原始输入特征进行全局平均池化，并对输入图片的特征图进行空间特征压缩，获得压缩特征图a；通过执行一维卷积对所述压缩特征图a进行通道特征学习，生成通道初始权值；所述一维卷积的卷积核大小是根据输入通道的大小通过自适应函数计算确定；根据通道初始权值使用sigmoid函数生成通道最终权值，将所述通道最终权值与原始输入特征相乘并输出获得最终输出特征。
41.步骤1.3：利用训练样本集对yolox改进模型进行迭代训练，得到已完成训练的堆垛纸箱检测模型，迭代终止条件是预先设定的迭代次数或者模型精度。
42.作为优选实施方式：如图3所示，eca模块主要由gap(globalaveragepooling)、1dconvolution、sigmoid三个操作组成。w、h、c分别是图像宽度、高度和通道数，eca注意力模块首先将输入特征图x进行全局平均池化(global average pooling,gap)，将w
×h×
c的特征输入转换为1
×1×
c的特征输出以获得全局信息，该过程并不产生参数。由于1dconvolution的输入与输出维度都为1以及卷积核为3，因此利用1d convolution实现了无降维的局部跨通道交互，直接捕获通道与权重的相关性，再通过sigmoid函数获得归一化的权重，最后将归一化后的权重通过乘法加权到对应通道的输入特x征得到带权重的特征信息并输出。
43.步骤1.4：利用堆垛纸箱检测模型对快递分拣现场的堆垛纸箱进行检测，实现堆垛纸箱的识别。
44.对比实验如下：
45.针对快递分拣现场的堆垛纸箱，分别采用本发明中yolox改进模型进行快递分拣现场的堆垛纸箱识别，以及采用未进行改进的原yolox模型进行快递分拣现场的堆垛纸箱识别，检测结果对比包括：carton类别检测的precision、recall、f1分数和map的值；
46.表1:yolox改进模型与原yolox模型的f1等值对比
47.modelprecisionrecallf1map0.5原yolox模型90.41％90.99％0.9195.09％yolox改进模型91.08％92.06％0.9297.20％
48.从表1中结果对比可见，对于复杂环境下的快递分拣现场的堆垛纸箱数据集，本实施例所提出的yolox改进模型对于carton的检查中precision、recall、f1分数、map分别达到91.08％、92.06％、0.92和97.20％，相比于原yolox模型均有所提升，yolox改进模型在检测结果的各项评价指标方面均领先于原yolox模型。
49.参见图2，本实施例中基于双目视觉的快递分拣中堆垛纸箱定位方法是：首先按本实施例中基于双目视觉的堆垛纸箱识别方法实现堆垛纸箱的识别，再按图1所示流程依如下步骤实现快递分拣中堆垛纸箱定位：
50.步骤2.1：对双目相机进行标定，获得双目相机标定参数，包括径向畸变参数、切向畸变参数、旋转参数和平移参数，利用双目相机标定参数初始化双目相机完成标定；具体实施是通过拍摄双目相机中左右相机各50张标准棋盘格照片，将标准棋盘格照片导入matlab中，利用stereo camera calibrator工具箱进行双目相机标定，在标定过程中删去误差较大的照片，最后将误差控制在0.1以内，最后导出所需要的参数。
51.步骤2.2：实时采集双目相机左图像和右图像，左图像和右图像均为rgb格式图像，将rgb格式图像转换为灰度图像，并进行图像畸变矫正。
52.步骤2.3：建立基于sgbm立体匹配算法的模型，通过立体匹配生成视差图，并对视差图进行加权最小二乘滤波disparitywlsfilter处理，得到sgbm立体匹配改进模型；考虑到快递分拣现场的堆垛纸箱环境复杂，本实施例中加权最小二乘滤波是在视差图形成后对其进行处理，通过加权最小二乘滤波能够使得结果图像与原始图像经过平滑后尽量相似，但是在边缘部分尽量保持原状，从而能够将稀疏视差转变为稠密视差，并在一定程度上降低视差图噪声，改善视差图的视觉效果，提升视差图精度。
53.步骤2.4：利用sgbm立体匹配改进模型匹配左图像和右图像之间的对应点，进行匹配代价计算，代价聚合，视差计算以及后处理。
54.sgbm立体匹配算法匹配精度高、速度快，sgbm算法相比传统立体匹配算法中的bm算法和gc算法，能够在保证视差效果和处理速度上保持最佳的平衡；加权最小二乘滤波能够使得结果图像与原始图像经过平滑后尽量相似，但是在边缘部分尽量保持原状，从而能够将稀疏视差转变为稠密视差，在一定程度上降低视差图噪声，改善视差图的视觉效果，提升视差图精度。
55.步骤2.5、利用yolox改进模型对堆垛纸箱进行识别，完成识别即获得每个纸箱中心点的二维像素坐标；再根据二维像素坐标计算获得每个纸箱中心点的世界坐标值x、y和z，最终获得每个纸箱的空间三维坐标。其中，中心点的世界坐标x和y是通过像素坐标系与世界坐标系转换获得，世界坐标值z是通过双目相机视差图获得。
56.对比实验：针对快递分拣现场堆垛纸箱，采用方式一和方式二分别进行定位。
57.方式一：采用本发明中yolox改进模型结合本发明中sgbm立体匹配改进模型进行定位；
58.方式二：采用本发明中yolox改进模型结合未改进的原sgbm立体匹配模型进行定位；
59.定位结果对比包括：测量距离与实际距离，测量距离为模型定位出双目相机与堆垛纸箱之间的距离，实际距离为双目相机与堆垛纸箱之间的真实距离。
60.表2：方式一与方式二定位精度对比
61.模型测量距离(m)实际距离(m)方式一模型1.992.00方式二模型1.962.00
62.经实表2对比结果可见，方式一的定位结果精度高于方式二。
63.本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
64.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于双目视觉的快递分拣中堆垛纸箱识别方法，其特征是包括如下步骤：步骤1.1：收集各快递分拣场景下不同背景、不同外表的各堆垛纸箱图片，对所述各堆垛纸箱图片中的每一个纸箱进行标注，包括标注堆垛纸箱图片中纸箱的位置框和纸箱类别，获得各堆垛纸箱标注图片，利用所述各堆垛纸箱标注图片构建训练样本集；步骤1.2：建立基于backbone网络、fpn网络和yolohead网络的yolox模型，在所述backbone网络和fpn网络的连接处加入eca注意力模块，在所述fpn网络的下采样部分也加入eca注意力模块，得到yolox改进模型；步骤1.3：利用所述训练样本集对yolox改进模型进行迭代训练，得到已完成训练的堆垛纸箱检测模型；步骤1.4：利用所述堆垛纸箱检测模型对快递分拣现场的堆垛纸箱进行检测，实现堆垛纸箱的识别。2.根据权利要求1所述的基于双目视觉的堆垛纸箱识别方法，其特征是：设置所述快递分拣现场的堆垛纸箱图片中纸箱类别仅包含carton一类，且对于检测到的carton类的纸箱显示纸箱类别为carton，对于非carton类的纸箱不进行显示。3.根据权利要求1所述的基于双目视觉的堆垛纸箱识别方法，其特征是：所述eca注意力模块首先对输入图片的原始输入特征进行全局平均池化，并对输入图片的特征图进行空间特征压缩，获得压缩特征图a；通过执行一维卷积对所述压缩特征图a进行通道特征学习，生成通道初始权值；所述一维卷积的卷积核大小是根据输入通道的大小通过自适应函数计算确定；根据通道初始权值使用sigmoid函数生成通道最终权值，将所述通道最终权值与原始输入特征相乘并输出获得最终输出特征。4.一种基于双目视觉的快递分拣中堆垛纸箱定位方法，其特征是：按权利要求1所述的基于双目视觉的堆垛纸箱识别方法，实现堆垛纸箱的识别；再按如下步骤实现快递分拣中堆垛纸箱定位：步骤2.1：对双目相机进行标定，获得双目相机标定参数，包括径向畸变参数、切向畸变参数、旋转参数和平移参数；利用所述双目相机标定参数初始化双目相机完成标定；步骤2.2：实时采集双目相机左图像和右图像，所述左图像和右图像均为rgb格式图像，将所述rgb格式图像转换为灰度图像，并进行图像畸变矫正；步骤2.3：建立基于sgbm立体匹配算法的模型，通过立体匹配生成视差图，并对所述视差图进行加权最小二乘滤波disparitywlsfilter处理，得到sgbm立体匹配改进模型；步骤2.4：利用sgbm立体匹配改进模型匹配左图像和右图像之间的对应点，进行匹配代价计算、代价聚合、视差计算以及后处理；步骤2.5：通过yolox改进模型获取每个纸箱中心点的像素坐标；根据所述像素坐标计算获得每个纸箱中心点的世界坐标值x、y、z，最终获得每个纸箱的空间三维坐标。5.根据权利要求4所述的基于双目视觉的快递分拣中堆垛纸箱定位方法，其特征是：设置所述快递分拣现场的堆垛纸箱图片中纸箱类别仅包含carton一类，且对于检测到的carton类的纸箱显示纸箱类别为carton，对于非carton类的纸箱不进行显示。

技术总结
本发明公开了一种基于双目视觉的快递分拣中堆垛纸箱识别及定位方法，收集快递分拣场景下的堆垛纸箱图片并标注作为训练样本集；在YOLOX模型的Backbone网络和FPN网络的连接处以及在FPN的下采样部分加入ECA注意力模块得到YOLOX改进模型；利用训练样本集对YOLOX改进模型进行训练堆垛纸箱检测模型；标定双目相机标定，利用加权最小二乘滤波对SGBM立体匹配算法进行改进，使用完成标定的双目相机并利用堆垛纸箱检测模型进行检测；完成对堆垛纸箱的识别并获取纸箱中心点的像素坐标，进而获得堆垛纸箱的空间三维坐标。本发明实现了对快递分拣场景下的堆垛纸箱快速识别，并准确获取每个纸箱在空间中的三维坐标，为物流现代化发展提供基础。基础。基础。


技术研发人员：吴晶华 王小虎 王芸 叶晓东
受保护的技术使用者：中国科学院合肥物质科学研究院
技术研发日：2023.04.11
技术公布日：2023/7/7