一种基于深度学习和立体视觉的盲道分割与定位方法

1.本发明涉及盲道图像处理技术领域，尤其涉及一种基于深度学习和立体视觉的盲道分割与定位方法。


背景技术：

2.目前视力障碍人群已经成为一个非常庞大的群体，并且数量在不断攀升。由于视力障碍者无法通过眼睛接收到外界的信息，他们在出行时需要一些外界的辅助。无障碍设施的建设逐渐完善，其中盲道是专门帮助盲人行走的道路设施，导盲杖和导盲犬是较为常见的出行辅助工具。随着研究的深入，人们通过在导盲杖上添加传感器为盲人提供周围的环境信息，然而这些传感器无法识别障碍物的种类。随后人们通对图像的训练，可以做到识别并引导盲人通过盲道、人行横道以及红绿灯等交通场景，而导盲系统的核心就是盲道位置的获取。因此导盲系统需要提升盲道识别准确率，并且精准定位盲道。
3.目前国内外现有的识别盲道方法有通过纹理特征和颜色空间进行盲道分割。盲道与其他区域有明显的颜色差异，并且盲道砖上有凸起的纹理特征。然而，随着城市的发展，盲道的种类和颜色变得多样化，盲道周围的环境逐渐复杂化。而这些传统识别的方法容易受到光照、角度和背景的影响，难以准确的识别出盲道的特征。特别是经过长时间的磨损，盲道上的纹理特征不明显，也会影响识别结果。目前深度学习适合应用在复杂背景中的盲道识别。
4.深度学习发展迅速，其中语义分割在视觉辅助系统中发挥了至关重要的作用。语义分割将图像中每一个像素分配类别，得到像素化的密集分类。语义分割应用在盲道识别中可以提高识别准确率，也提升了识别的速度。然而语义分割应用于盲道识别中目前还存在一些问题。盲道在图像中有较大的尺寸差异，这需要网络有更好的尺度捕捉能力。盲道种类和颜色逐渐变多，需要更多样性的数据集进行网络训练。并且目前现有的测距功能大多应用在障碍物的距离上，而测量盲道与行人之间的距离的问题还没有得到有效解决。


技术实现要素：

5.针对现有语义分割算法提取盲道特征不全面和定位盲道算法精度低的问题，本发明提出一种基于深度学习和立体视觉的盲道分割与定位方法，利用卷积神经网络识别盲道的多尺度特征信息，提升盲道图像的识别精度，结合双目立体相机识别盲道边缘计算盲道与行人之间的距离，以提高计算精度。
6.本发明的技术方案是这样实现的：
7.一种基于深度学习和立体视觉的盲道分割与定位方法，其步骤如下：
8.步骤一：采集包含各种盲道的图像样本数据，构建带有提示盲道和行进盲道标签信息的多样性盲道图像数据集；
9.步骤二：基于盲道连贯性和多尺度特性，构建me-unet盲道分割网络，并将多样性盲道图像数据集输入me-unet盲道分割网络中进行训练，获得训练好的me-unet盲道分割网
络模型；
10.步骤三：利用立体相机分别拍摄包含盲道的左视图和右视图，将左视图和右视图分别输入me-unet盲道分割网络模型，分割出左视点盲道区域和右视点盲道区域；
11.步骤四：分别对左视点盲道区域和右视点盲道区域进行边缘检测、边界检测、边界直线检测、边界直线交点检测，获得左视图和右视图中的两对盲道边界辅助点；
12.步骤五：利用立体相机标定结果，根据两对盲道边界辅助点在左视图和右视图中的二维像素坐标计算出它们的三维空间坐标，并进一步计算出盲道关键点的三维空间坐标，根据盲道关键点的三维空间坐标获得相机到盲道关键点的实际距离和角度，作为盲道相对于视障者的位置信息。
13.优选地，所述多样性盲道图像数据集是在不同地区、不同时段下采集的825张图像，根据盲道砖形状不同划分为提示盲道和行进盲道两种类型，根据盲道砖颜色不同划分为黄色盲道、灰色盲道、红色盲道和金属色盲道四种类型。
14.优选地，所述me-unet盲道分割网络是以u-net为基础，融合多尺度特征捕捉模块(multi-scale feature capture module，mfcm)、依赖增强注意力模块(enhancement of dependency attention module，edam)以及压缩和激励(squeeze-and-excitation，se)注意力模块的网络结构；该网络结构包括编码器和解码器，其中，编码器包括5组卷积模块、4个最大池化模块、2个edam模块和1个mfcm模块；解码器包括4组卷积模块、4个上采样模块、1个edam模块和2个se模块；
15.输入图像经过编码器的第一组卷积模块和第一最大池化模块，得到第一特征；
16.第一特征经过编码器的第二组卷积模块、第一edam模块和第二最大池化模块，得到第二特征；
17.第二特征经过编码器的第三组卷积模块、第二edam模块和第三最大池化模块，得到第三特征；
18.第三特征经过编码器的第四组卷积模块、第一mfcm模块和第四最大池化，得到第四特征；
19.第四特征经过编码器的第五组卷积模块和第一上采样模块，得到第一上采样特征；
20.第一上采样特征与第四特征进行合并连接后依次经过解码器的第一组卷积模块、第一se模块和第二上采样模块得到第二上采样特征；
21.第二上采样特征与第三特征进行合并连接后依次经过解码器的第二组卷积模块、第二se模块和第三上采样模块得到第三上采样特征；
22.第三上采样特征与第二特征进行合并连接后依次经过解码器的第三组卷积模块、第三edam模块和第四上采样模块得到第四上采样特征；
23.第四上采样特征与第一特征进行合并连接后依次经过解码器的第四组卷积模块得到最终输出特征。
24.优选地，所述编码器的第一组卷积模块、编码器的第二组卷积模块、编码器的第五组卷积模块和解码器的第一组卷积模块、解码器的第二组卷积模块、解码器的第三组卷积模块、解码器的第四组卷积模块均包括依次连接的两个卷积层；编码器的第三组卷积模块、编码器的第四组卷积模块均包括依次连接的三个卷积层；其中，所有卷积层的卷积核大小
均为3
×
3。
25.优选地，所述mfcm模块包括：卷积层i、卷积层ii、卷积层iii和卷积层iv；输入特征分别经过所述卷积层i、卷积层ii、卷积层iii和卷积层iv，提取出四个不同尺度的特征，将所述四个不同尺度的特征进行合并连接，得到一个多尺度特征，再将所述多尺度特征与输入特征相加，得到输出特征；其中，卷积层i的卷积核大小为1
×
1，卷积层ii的扩张率为1、卷积核大小为3
×
3，卷积层iii的扩张率为3、卷积核大小为3
×
3，卷积层iv的扩张率为5、卷积核大小为3
×
3。
26.优选地，所述edam模块包括：卷积层v、横向池化模块、纵向池化模块、横向插值模块、纵向插值模块、卷积层vi和卷积层vii；输入特征经过所述卷积层v提取特征i，特征i分别经过所述横向池化模块和所述纵向池化模块获得纵向特征和横向特征，将纵向特征经过所述横向插值模块得到的特征ii与横向特征经过所述纵向插值模块得到的特征iii相加再经过所述卷积层vi提取特征iv，特征iv经过所述卷积层vii提取的特征与输入特征相加，得到输出特征；其中，卷积层v、卷积层vii的卷积核大小均为1
×
1，卷积层vi的卷积核大小为3
×
3。
27.优选地，在步骤四中，具体实现方法为：
28.首先，使用canny边缘检测算法分别对分割出的左视点盲道区域和右视点盲道区域进行边缘检测，得到左视点盲道区域边缘点集合s
l_1
＝{p
l_i
(x
l_i
,y
l_i
),i＝1,2,
…
,n
l
}和右视点盲道区域边缘点集合s
r_1
＝{p
r_i'
(x
r_i'
,y
r_i'
),i'＝1,2,
…
,nr}；其中，p
l_i
(x
l_i
,y
l_i
)表示左视点盲道区域边缘上的点，p
r_i'
(x
r_i'
,y
r_i'
)表示右视点盲道区域边缘上的点，x
l_i
表示p
l_i
在左视图中的横坐标，y
l_i
表示p
l_i
在左视图中的纵坐标，x
r_i'
表示p
r_i'
在右视图中的横坐标，y
r_i'
表示p
r_i'
在右视图中的纵坐标，n
l
表示左视点盲道区域边缘上的点p
l_i
的个数，nr表示右视点盲道区域边缘上的点p
r_i'
的个数；
29.其次，根据盲道边界制式特性，使用凸包检测算法分别对左视点盲道区域边缘点集合s
l_1
和右视点盲道区域边缘点集合s
r_1
进行边界检测，得到左视点盲道区域边界点集合s
l_2
＝{p
l_j
(x
l_j
,y
l_j
),j＝1,2,
…
,m
l
}和右视点盲道区域边界点集合sr_2＝{pr_j'(xr_j',yr_j'),j'＝1,2,
…
,mr}，其中，p
l_j
(x
l_j
,y
l_j
)表示左视点盲道区域边界上的点，p
r_j'
(x
r_j'
,y
r_j'
)表示右视点盲道区域边界上的点，x
l_j
表示p
l_j
在左视图中的横坐标，y
l_j
表示p
l_j
在左视图中的纵坐标，x
r_j'
表示p
r_j'
在右视图中的横坐标，y
r_j'
表示p
r_j'
在右视图中的纵坐标，m
l
表示左视点盲道区域边界上的点p
l_j
的个数，mr表示右视点盲道区域边界上的点p
r_j'
的个数，m
l
《n
l
，mr《nr；
30.然后，使用霍夫变换检测方法对左视点盲道区域边界点集合s
l_2
和右视点盲道区域边界点集合s
r_2
分别进行边界直线检测，得到左视点盲道区域边界直线集合l
l
＝{l
l_k
,k＝1,2,
…
,k
l
}和右视点盲道区域边界直线集合lr＝{l
r_k
,k＝1,2,
…
,kr}；其中，l
l_k
表示左视点盲道区域边界直线，l
r_k
表示右视点盲道区域边界直线，k
l
表示左视点盲道区域边界直线l
l_k
的个数，kr表示右视点盲道区域边界直线l
r_k
的个数；
31.最后，从左视点盲道区域边界直线集合l
l
和右视点盲道区域边界直线集合lr中分别选取距离相机最近即盲道区域最下方的左视点边界直线l
l_bottom
∈l
l
和右视点边界直线l
r_bottom
∈lr，分别计算左视点边界直线l
l_bottom
与其左相交边界线l
l_bottom_left
∈l
l
和右相交边界线l
l_bottom_right
∈l
l
的交点p
l_bottom_left
(x
l_bottom_left
,y
l_bottom_left
)和p
l_bottom_right
(x
l_bottom_right
,y
l_bottom_right
)以及右视点边界直线l
r_bottom
与其左相交边界线l
r_bottom_left
∈lr和右相交边界线l
r_bottom_right
∈lr的交点p
r_bottom_left
(x
r_bottom_left
,y
r_bottom_left
)和p
r_bottom_right
(x
r_bottom_right
,y
r_bottom_right
)，得到左视图和右视图中两对盲道边界辅助点(p
l_bottom_left
,p
r_bottom_left
)和(p
l_bottom_right
,p
r_bottom_right
)，其中，p
l_bottom_left
∈l
l_bottom
∩l
l_bottom_left
，p
r_bottom_left
∈l
r_bottom
∩l
r_bottom_left
，p
l_bottom_right
∈l
l_bottom
∩l
l_bottom_right
，p
r_bottom_right
∈l
r_bottom
∩l
r_bottom_right
；x
l_bottom_left
表示左视点边界直线l
l_bottom
与其左相交边界线l
l_bottom_left
的交点p
l_bottom_left
的横坐标，y
l_bottom_left
表示左视点边界直线l
l_bottom
与其左相交边界线l
l_bottom_left
的交点p
l_bottom_left
的纵坐标，x
l_bottom_right
表示左视点边界直线l
l_bottom
与其右相交边界线l
l_bottom_right
的交点p
l_bottom_right
的横坐标，y
l_bottom_right
表示左视点边界直线l
l_bottom
与其右相交边界线l
l_bottom_right
的交点p
l_bottom_right
的纵坐标，x
r_bottom_left
表示右视点边界直线l
r_bottom
与其左相交边界线l
r_bottom_left
的交点p
r_bottom_left
的横坐标，y
r_bottom_left
表示右视点边界直线l
r_bottom
与其左相交边界线l
r_bottom_left
的纵坐标，x
r_bottom_right
表示右视点边界直线l
r_bottom
与其右相交边界线l
r_bottom_right
的交点p
r_bottom_right
的横坐标，y
r_bottom_right
表示右视点边界直线l
r_bottom
与其右相交边界线l
r_bottom_right
的纵坐标。
32.优选地，所述盲道关键点的三维空间坐标的获得方法为：采用张正友标定法获得所述立体相机标定结果，并计算左视图和右视图中两对盲道边界辅助点(p
l_bottom_left
,p
r_bottom_left
)和(p
l_bottom_right
,p
r_bottom_right
)对应的两个空间辅助点的三维坐标p
bottom_left
(x
bottom_left
,y
bottom_left
,z
bottom_left
)和p
bottom_right
(x
bottom_right
,y
bottom_right
,z
bottom_right
)；选取所述两个空间辅助点p
bottom_left
和p
bottom_right
的中点作为盲道关键点p(x,y,z)：
33.x＝(x
bottom_left
+x
bottom_right
)/2；
34.y＝(y
bottom_left
+y
bottom_right
)/2；
35.z＝(z
bottom_left
+z
bottom_right
)/2。
36.优选地，所述相机到盲道关键点的实际距离和角度的获得方法为：以左视点相机中心位置为原点o，相机到盲道关键点p的实际距离d＝|op|，将op垂直投影到zoy平面上，垂足为点q，连接oq，op与oq的夹角即为相机到盲道关键点p的角度α；表达式为：
[0037][0038][0039]
与现有技术相比，本发明产生的有益效果为：
[0040]
1)本发明的盲道分割网络me-unet以u-net为基础，设计了多尺度特征捕捉模块mfcm有效提取不同感受野的特征信息，融合了依赖增强注意力模块edam增强上下文信息融合，融合了se注意力模块增强特征通道间的相关性，增强了网络对盲道的分割能力，解决了由于盲道多尺度和多样性特性导致的分割效果不佳的问题，有效提高了复杂背景中盲道分割的精度。
[0041]
2)本发明使用me-unet对包含盲道的左视图和右视图进行精确的盲道分割，利用边缘检测、边界检测、边界直线检测、边界直线交点检测，获得左视图和右视图中的两对盲道边界辅助点，再计算两对辅助点的三维空间坐标，并进一步计算出由两对辅助点确定的
盲道关键点的三维空间坐标，从而获得相机到盲道关键点的实际距离和角度，作为盲道相对于视障者的位置信息，有效提高了盲道定位的精度，为视障者安全出行提供了保障。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明的盲道分割与定位方法流程图；
[0044]
图2为本发明的me-unet盲道分割网络结构图；
[0045]
图3为本发明的mfcm模块的结构图；
[0046]
图4为本发明的edam模块的结构图；
[0047]
图5为本发明的me-unet与部分分割网络的盲道分割效果对比示例图；
[0048]
图6为本发明的盲道关键点确定过程示例图；
[0049]
图7为本发明的盲道定位原理示意图；
[0050]
图8为本发明的盲道实际距离测量结果对比曲线图；
[0051]
图9为本发明的盲道角度测量结果对比曲线图。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
如图1所示，本发明实施例提供了一种基于深度学习和立体视觉的盲道分割与定位方法，具体步骤如下：
[0054]
步骤一：采集包含各种盲道的图像样本数据，构建带有提示盲道和行进盲道标签信息的多样性盲道图像数据集。
[0055]
该多样性盲道数据集是在河南、安徽、山东、江苏等多个省份、在不同时段(白天和夜晚)、通过手持手机拍摄、还原视障者在生活中行走角度采集的825张图像。根据盲道砖形状不同划分为提示盲道和行进盲道两种类型。根据盲道砖颜色不同划分为黄色盲道、灰色盲道、红色盲道和金属色盲道四种类型。
[0056]
步骤二：基于盲道连贯性和多尺度特性，构建适合于对复杂背景中的盲道进行分割的me-unet盲道分割网络，并将多样性盲道图像数据集输入me-unet盲道分割网络中进行训练，获得训练好的me-unet盲道分割网络模型。
[0057]
如图2所示，me-unet盲道分割网络是以u-net为基础的网络结构，融合多尺度特征捕捉模块mfcm提取不同感受野的特征信息，依赖增强注意力模块edam增强上下文信息融合，se注意力模块增强特征通道间相关性。该网络结构包括编码器和解码器，其中，编码器包括5组卷积模块、4个最大池化模块、2个edam模块和1个mfcm模块；解码器包括4组卷积模块、4个上采样模块、1个edam模块和2个se模块。
[0058]
输入图像经过编码器的第一组卷积模块和第一最大池化模块，得到第一特征；第一特征经过编码器的第二组卷积模块、第一edam模块和第二最大池化模块，得到第二特征；第二特征经过编码器的第三组卷积模块、第二edam模块和第三最大池化模块，得到第三特征；第三特征经过编码器的第四组卷积模块、第一mfcm模块和第四最大池化，得到第四特征；第四特征经过编码器的第五组卷积模块和第一上采样模块，得到第一上采样特征；第一上采样特征与第四特征进行合并连接后依次经过解码器的第一组卷积模块、第一se模块和第二上采样模块得到第二上采样特征；第二上采样特征与第三特征进行合并连接后依次经过解码器的第二组卷积模块、第二se模块和第三上采样模块得到第三上采样特征；第三上采样特征与第二特征进行合并连接后依次经过解码器的第三组卷积模块、第三edam模块和第四上采样模块得到第四上采样特征；第四上采样特征与第一特征进行合并连接后依次经过解码器的第四组卷积模块得到最终输出特征。
[0059]
所述编码器的第一组卷积模块、编码器的第二组卷积模块、编码器的第五组卷积模块和解码器的第一组卷积模块、解码器的第二组卷积模块、解码器的第三组卷积模块、解码器的第四组卷积模块均包括依次连接的两个卷积层；编码器的第三组卷积模块、编码器的第四组卷积模块均包括依次连接的三个卷积层；其中，所有卷积层的卷积核大小均为3
×
3。
[0060]
如图3所示，mfcm模块包括：卷积层i、卷积层ii、卷积层iii和卷积层iv；输入特征分别经过所述卷积层i、卷积层ii、卷积层iii和卷积层iv，提取出四个不同尺度的特征，将所述四个不同尺度的特征进行合并连接，得到一个多尺度特征，再将所述多尺度特征与输入特征相加，得到输出特征；其中，卷积层i的卷积核大小为1
×
1，卷积层ii的扩张率为1、卷积核大小为3
×
3，卷积层iii的扩张率为3、卷积核大小为3
×
3，卷积层iv的扩张率为5、卷积核大小为3
×
3。
[0061]
如图4所示，edam模块包括：卷积层v、横向池化模块、纵向池化模块、横向插值模块、纵向插值模块、卷积层vi和卷积层vii；输入特征经过所述卷积层v提取特征i，特征i分别经过所述横向池化模块和所述纵向池化模块获得纵向特征和横向特征，将纵向特征经过所述横向插值模块得到的特征ii与横向特征经过所述纵向插值模块得到的特征iii相加再经过所述卷积层vi提取特征iv，特征iv经过所述卷积层vii提取的特征与输入特征相加，得到输出特征；其中，卷积层v、卷积层vii的卷积核大小均为1
×
1，卷积层vi的卷积核大小为3
×
3。
[0062]
表1是本发明的me-unet盲道分割网络与u-net、deeplabv3+、pspnet、attentionunet网络的盲道分割性能指标比较。如表1所示，对于盲道分割任务，me-unet对背景、行进盲道和提示盲道的iou分别是97.51％、90.77％和94.43％，比u-net分别高0.94％、2.1％和3.98％，比deeplabv3+分别高1.72％、2.92％和7.19％，比pspnet分别高1.29％、4.11％和7.45％，比attention unet分别高0.37％、1.43％和1.42％；me-unet的miou是94.24％，比u-net、deeplabv3+、pspnet和attention unet分别高2.37％、8.49％、6.63％和0.74％；me-unet的mpa是97％，比u-net、deeplabv3+、pspnet和attention unet分别高0.83％、5.42％、4.86％和0.37％；me-unet在分割精度各项指标上均取得最大值，即分割精度最高。同时，me-unet的网络模型参数量是31.38m，比deeplabv3+、pspnet和attention unet分别少23.33m、15.33m和7.18m，仅比u-net多6.49m。综上所述，me-unet在
盲道分割精度上有最好的表现，仅增加了少量计算开销。
[0063]
表1me-unet与其他网络的盲道分割性能指标对比
[0064][0065]
图5示出了本发明的me-unet盲道分割网络与u-net、deeplabv3+、pspnet和attention unet的盲道分割效果对比示例图。为了更好地比较这些不同网络模型的分割效果，从数据集中选择了包含盲道的不同场景图像进行盲道分割，表示为场景一至场景五。其中，场景一为最常见的白天道路两旁人行道上的黄色盲道；场景二为夜间交通路口附近人行道上的黄色盲道，其中，路边设置的防撞墩的影子映在盲道上；场景三为路边流动摊贩旁的黄色盲道；场景四为汽车和共享单车停车位附近的黄色盲道；场景五为公交站附近的红色盲道，其中，盲道周围还有白色油漆粉刷痕迹。
[0066]
对于场景一，u-net、deeplabv3+、pspnet、attention unet和me-unet网络模型分割出的盲道区域都比较完整。由于远距离的盲道形状特征容易发生混淆，u-net、pspnet和attentionunet在远距离处有未检测到的盲道区域，deeplabv3+对远距离处的盲道分割结果最优，me-unet次之。
[0067]
对于场景二，deeplabv3+和pspnet网络模型分割出的盲道区域明显受到防撞墩阴影的干扰，u-net网络模型分割出的盲道区域在阴影处出现一个小的误判区域，attentionunet和me-unet网络模型分割出的盲道区域完整无误。
[0068]
对于场景三，路边流动摊贩的电动三轮车和杂货等放置在盲道一侧，包含盲道的图像背景复杂，deeplabv3+和pspnet网络模型分割出的盲道区域与标签图明显不同，u-net网络模型分割出的盲道区域在远距离右上角处出现了一个明显的误判区域，attentionunet和me-unet网络模型分割出的盲道区域仅在远距离右上角处出现了很小的误判区域，与标签图最相似、分割效果最好。
[0069]
对于场景四，盲道在汽车和共享单车停车位之间，包含盲道的图像背景复杂，u-net、deeplabv3+和attentionunet网络模型分割出的盲道区域都出现了明显的误判区域，pspnet网络模型分割出的盲道区域在远距离处与标签图差异较大，me-unet网络模型分割出的盲道区域与标签图最相似、分割效果最好。
[0070]
对于场景五，盲道周围的白色油漆粉刷痕迹对盲道分割会产生干扰，u-net和attentionunet网络模型分割出的盲道区域都出现了明显的误判区域，deeplabv3+网络模型分割出的盲道区域没有将被白色涂料覆盖的行进盲道完全分割出来，pspnet网络模型分割出的盲道区域也存在少量未完全分割的区域，me-unet网络模型分割出的盲道区域与标签图最相似、分割效果最好。
[0071]
步骤三：利用立体相机分别拍摄包含盲道的左视图和右视图，将左视图和右视图分别输入me-unet盲道分割网络模型，分割出左视点盲道区域和右视点盲道区域。
[0072]
在本发明实施例中，采用的立体相机是海康威视mv-ca050-11uc，结合一台pc机与相机进行通信。采用张正友标定法对立体相机进行标定，采用的标定板为棋盘格尺寸为30mm
×
30mm的黑白正方形棋盘格。
[0073]
步骤四：分别对左视点盲道区域和右视点盲道区域进行边缘检测、边界检测、边界直线检测、边界直线交点检测，获得左视图和右视图中的两对盲道边界辅助点。
[0074]
图6为本发明的盲道关键点确定过程示例图。图6(a)为采集的包含盲道的原图。图6(b)为使用训练好的me-unet盲道分割网络模型获得的盲道区域分割结果图。图6(c)为分割出的盲道区域的边缘检测结果图，使用canny边缘检测算法分别对分割出的左视点盲道区域和右视点盲道区域进行边缘检测，得到左视点盲道区域边缘点集合s
l_1
＝{p
l_i
(x
l_i
,y
l_i
),i＝1,2,
…
,n
l
}和右视点盲道区域边缘点集合s
r_1
＝{p
r_i'
(x
r_i'
,y
r_i'
),i'＝1,2,
…
,nr}；其中，p
l_i
(x
l_i
,y
l_i
)表示左视点盲道区域边缘上的点，p
r_i'
(x
r_i'
,y
r_i'
)表示右视点盲道区域边缘上的点，x
l_i
表示p
l_i
在左视图中的横坐标(单位为像素)，y
l_i
表示p
l_i
在左视图中的纵坐标(单位为像素)，x
r_i'
表示p
r_i'
在右视图中的横坐标，y
r_i'
表示p
r_i'
在右视图中的纵坐标，n
l
表示左视点盲道区域边缘上的点p
l_i
的个数，nr表示右视点盲道区域边缘上的点p
r_i'
的个数。图6(d)为分割出的盲道区域的边界检测结果图，根据盲道边界制式特性，使用凸包检测算法分别对左视点盲道区域边缘点集合s
l_1
和右视点盲道区域边缘点集合s
r_1
进行边界检测，得到左视点盲道区域边界点集合s
l_2
＝{p
l_j
(x
l_j
,y
l_j
),j＝1,2,
…
,m
l
}和右视点盲道区域边界点集合s
r_2
＝{p
r_j'
(x
r_j'
,y
r_j'
),j'＝1,2,
…
,mr}，其中，p
l_j
(x
l_j
,y
l_j
)表示左视点盲道区域边界上的点，p
r_j'
(x
r_j'
,y
r_j'
)表示右视点盲道区域边界上的点，x
l_j
表示p
l_j
在左视图中的横坐标，y
l_j
表示p
l_j
在左视图中的纵坐标，x
r_j'
表示p
r_j'
在右视图中的横坐标，y
r_j'
表示p
r_j'
在右视图中的纵坐标，m
l
表示左视点盲道区域边界上的点p
l_j
的个数，mr表示右视点盲道区域边界上的点p
r_j'
的个数，m
l
《n
l
，mr《nr。图6(e)为分割出的盲道区域的边界直线检测结果图，使用霍夫变换检测方法对左视点盲道区域边界点集合s
l_2
和右视点盲道区域边界点集合s
r_2
分别进行边界直线检测，得到左视点盲道区域边界直线集合l
l
＝{l
l_k
,k＝1,2,
…
,k
l
}和右视点盲道区域边界直线集合lr＝{l
r_k
,k＝1,2,
…
,kr}；其中，l
l_k
表示左视点盲道区域边界直线，l
r_k
表示右视点盲道区域边界直线，k
l
表示左视点盲道区域边界直线l
l_k
的个数，kr表示右视点盲道区域边界直线l
r_k
的个数。图6(f)为分割出的盲道区域的边界直线交点检测结果图，从左视点盲道区域边界直线集合l
l
和右视点盲道区域边界直线集合lr中分别选取距离相机最近即盲道区域最下方的左视点边界直线l
l_bottom
∈l
l
和右视点边界直线l
r_bottom
∈lr，分别计算左视点边界直线l
l_bottom
与其左相交边界线l
l_bottom_left
∈l
l
和右相交边界线l
l_bottom_right
∈l
l
的交点p
l_bottom_left
(x
l_bottom_left
,y
l_bottom_left
)和p
l_bottom_right
(x
l_bottom_right
,y
l_bottom_right
)以及右视点边界直线l
r_bottom
与其左相交边界线l
r_bottom_left
∈lr和右相交边界线l
r_bottom_right
∈lr的交点p
r_bottom_left
(x
r_bottom_left
,y
r_bottom_left
)和p
r_bottom_right
(x
r_bottom_right
,y
r_bottom_right
)，得到左视图和右视图中两对盲道边界辅助点(p
l_bottom_left
,p
r_bottom_left
)和(p
l_bottom_right
,p
r_bottom_right
)，其中，p
l_bottom_left
∈l
l_bottom
∩l
l_bottom_left
，p
r_bottom_left
∈l
r_bottom
∩l
r_bottom_left
，p
l_bottom_right
∈l
l_bottom
∩l
l_bottom_right
，p
r_bottom_right
∈l
r_bottom
∩l
r_bottom_right
；
x
l_bottom_left
表示左视点边界直线l
l_bottom
与其左相交边界线l
l_bottom_left
的交点p
l_bottom_left
的横坐标，y
l_bottom_left
表示交点p
l_bottom_left
的纵坐标，x
l_bottom_right
表示左视点边界直线l
l_bottom
与其右相交边界线l
l_bottom_right
的交点p
l_bottom_right
的横坐标，y
l_bottom_right
表示交点p
l_bottom_right
的纵坐标，x
r_bottom_left
表示右视点边界直线l
r_bottom
与其左相交边界线l
r_bottom_left
的交点p
r_bottom_left
的横坐标，y
r_bottom_left
表示p
r_bottom_left
的纵坐标，x
r_bottom_right
表示右视点边界直线l
r_bottom
与其右相交边界线l
r_bottom_right
的交点p
r_bottom_right
的横坐标，y
r_bottom_right
表示p
r_bottom_right
的纵坐标。
[0075]
步骤五：利用立体相机标定结果，根据两对盲道边界辅助点在左视图和右视图中的二维像素坐标计算出它们的三维空间坐标，并进一步计算出盲道关键点的三维空间坐标，根据盲道关键点的三维空间坐标获得相机到盲道关键点的实际距离和角度，作为盲道相对于视障者的位置信息。
[0076]
采用张正友标定法获得所述立体相机标定结果，并计算左视图和右视图中两对盲道边界辅助点(p
l_bottom_left
,p
r_bottom_left
)和(p
l_bottom_right
,p
r_bottom_right
)对应的两个空间辅助点的三维坐标p
bottom_left
(x
bottom_left
,y
bottom_left
,z
bottom_left
)和p
bottom_right
(x
bottom_right
,y
bottom_right
,z
bottom_right
)；选取所述两个空间辅助点p
bottom_left
和p
bottom_right
的中点作为盲道关键点p(x,y,z)：
[0077]
x＝(x
bottom_left
+x
bottom_right
)/2；
[0078]
y＝(y
bottom_left
+y
bottom_right
)/2；
[0079]
z＝(z
bottom_left
+z
bottom_right
)/2；
[0080]
计算相机到盲道关键点p的实际距离d和角度α作为盲道相对于视障者的位置信息，其中，如图7所示，以左视点相机中心位置为原点o，相机到盲道关键点p的实际距离d＝|op|，将op垂直投影到zoy平面上，垂足为点q，连接oq，op与oq的夹角即为相机到盲道关键点p的角度α；表达式为：
[0081][0082][0083]
在距离和角度测量实验中，根据提示盲道的提示作用不同，设计了5种不同的提示盲道场景：(1)单一提示盲道，(2)预警起点、终点处的提示盲道，(3)预警左转弯的提示盲道，(4)预警右转弯的提示盲道，(5)预警三岔路口的提示盲道，选择了2种常见的盲道颜色，即黄色和灰色，在1-1.5米、1.5-2米、2-2.5米和2.5-3米这四个不同距离范围内进行距离和角度测量的实验验证。在1-1.5米距离范围内，采用立体相机以随机距离分别采集5种不同提示盲道场景、2种不同盲道颜色的盲道图像，共采集了10组图像。在1.5-2米、2-2.5米和2.5-3米距离范围内，以相同方法分别各采集了10组图像，共计40组实验数据。表2示出了这40组实验数据对应的关键点p的空间三维坐标。
[0084]
表2关键点p的空间三维坐标
[0085][0086][0087]
图8示出了本发明的盲道实际距离测量结果对比曲线图。从图8可以看出，距离测量值和距离真值一致性好，误差较小。
[0088]
图9示出了本发明的盲道角度测量结果对比曲线图。角度的正值代表盲道在视障者左侧，角度的负值代表盲道在视障者右侧。从图9可以看出，角度测量值和角度真值一致性好，误差较小。
[0089]
本发明利用基于深度学习和立体视觉的盲道分割与定位方法测得盲道与视障者之间的距离和角度，能够为视障者提供更加精准的盲道位置信息，为他们提供更好的出行辅助和保障。
[0090]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，其步骤如下：步骤一：采集包含各种盲道的图像样本数据，构建带有提示盲道和行进盲道标签信息的多样性盲道图像数据集；步骤二：基于盲道连贯性和多尺度特性，构建me-unet盲道分割网络，并将多样性盲道图像数据集输入me-unet盲道分割网络中进行训练，获得训练好的me-unet盲道分割网络模型；步骤三：利用立体相机分别拍摄包含盲道的左视图和右视图，将左视图和右视图分别输入me-unet盲道分割网络模型，分割出左视点盲道区域和右视点盲道区域；步骤四：分别对左视点盲道区域和右视点盲道区域进行边缘检测、边界检测、边界直线检测、边界直线交点检测，获得左视图和右视图中的两对盲道边界辅助点；步骤五：利用立体相机标定结果，根据两对盲道边界辅助点在左视图和右视图中的二维像素坐标计算出它们的三维空间坐标，并进一步计算出盲道关键点的三维空间坐标，根据盲道关键点的三维空间坐标获得相机到盲道关键点的实际距离和角度，作为盲道相对于视障者的位置信息。2.根据权利要求1所述的基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，所述多样性盲道图像数据集是在不同地区、不同时段下采集的825张图像，根据盲道砖形状不同划分为提示盲道和行进盲道两种类型，根据盲道砖颜色不同划分为黄色盲道、灰色盲道、红色盲道和金属色盲道四种类型。3.根据权利要求1所述的基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，所述me-unet盲道分割网络是以u-net为基础，融合多尺度特征捕捉模块mfcm、增强注意力模块edam和注意力模块se的网络结构；该网络结构包括编码器和解码器，其中，编码器包括5组卷积模块、4个最大池化模块、2个edam模块和1个mfcm模块；解码器包括4组卷积模块、4个上采样模块、1个edam模块和2个se模块；输入图像经过编码器的第一组卷积模块和第一最大池化模块，得到第一特征；第一特征经过编码器的第二组卷积模块、第一edam模块和第二最大池化模块，得到第二特征；第二特征经过编码器的第三组卷积模块、第二edam模块和第三最大池化模块，得到第三特征；第三特征经过编码器的第四组卷积模块、第一mfcm模块和第四最大池化，得到第四特征；第四特征经过编码器的第五组卷积模块和第一上采样模块，得到第一上采样特征；第一上采样特征与第四特征进行合并连接后依次经过解码器的第一组卷积模块、第一se模块和第二上采样模块得到第二上采样特征；第二上采样特征与第三特征进行合并连接后依次经过解码器的第二组卷积模块、第二se模块和第三上采样模块得到第三上采样特征；第三上采样特征与第二特征进行合并连接后依次经过解码器的第三组卷积模块、第三edam模块和第四上采样模块得到第四上采样特征；第四上采样特征与第一特征进行合并连接后依次经过解码器的第四组卷积模块得到最终输出特征。
4.根据权利要求3所述的基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，所述编码器的第一组卷积模块、编码器的第二组卷积模块、编码器的第五组卷积模块和解码器的第一组卷积模块、解码器的第二组卷积模块、解码器的第三组卷积模块、解码器的第四组卷积模块均包括依次连接的两个卷积层；编码器的第三组卷积模块、编码器的第四组卷积模块均包括依次连接的三个卷积层；其中，所有卷积层的卷积核大小均为3
×
3。5.根据权利要求3所述的基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，所述mfcm模块包括：卷积层i、卷积层ii、卷积层iii和卷积层iv；输入特征分别经过所述卷积层i、卷积层ii、卷积层iii和卷积层iv，提取出四个不同尺度的特征，将所述四个不同尺度的特征进行合并连接，得到一个多尺度特征，再将所述多尺度特征与输入特征相加，得到输出特征；其中，卷积层i的卷积核大小为1
×
1，卷积层ii的扩张率为1、卷积核大小为3
×
3，卷积层iii的扩张率为3、卷积核大小为3
×
3，卷积层iv的扩张率为5、卷积核大小为3
×
3。6.根据权利要求3所述的基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，所述edam模块包括：卷积层v、横向池化模块、纵向池化模块、横向插值模块、纵向插值模块、卷积层vi和卷积层vii；输入特征经过所述卷积层v提取特征i，特征i分别经过所述横向池化模块和所述纵向池化模块获得纵向特征和横向特征，将纵向特征经过所述横向插值模块得到的特征ii与横向特征经过所述纵向插值模块得到的特征iii相加再经过所述卷积层vi提取特征iv，特征iv经过所述卷积层vii提取的特征与输入特征相加，得到输出特征；其中，卷积层v、卷积层vii的卷积核大小均为1
×
1，卷积层vi的卷积核大小为3
×
3。7.根据权利要求1所述的基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，在步骤四中，具体实现方法为：首先，使用canny边缘检测算法分别对分割出的左视点盲道区域和右视点盲道区域进行边缘检测，得到左视点盲道区域边缘点集合s
l_1
＝{p
l_i
(x
l_i
,y
l_i
),i＝1,2,
…
,n
l
}和右视点盲道区域边缘点集合s
r_1
＝{p
r_i'
(x
r_i'
,y
r_i'
),i'＝1,2,
…
,n
r
}；其中，p
l_i
(x
l_i
,y
l_i
)表示左视点盲道区域边缘上的点，p
r_i'
(x
r_i'
,y
r_i'
)表示右视点盲道区域边缘上的点，x
l_i
表示p
l_i
在左视图中的横坐标，y
l_i
表示p
l_i
在左视图中的纵坐标，x
r_i'
表示p
r_i'
在右视图中的横坐标，y
r_i'
表示p
r_i'
在右视图中的纵坐标，n
l
表示左视点盲道区域边缘上的点p
l_i
的个数，n
r
表示右视点盲道区域边缘上的点p
r_i'
的个数；其次，根据盲道边界制式特性，使用凸包检测算法分别对左视点盲道区域边缘点集合s
l_1
和右视点盲道区域边缘点集合s
r_1
进行边界检测，得到左视点盲道区域边界点集合s
l_2
＝{p
l_j
(x
l_j
,y
l_j
),j＝1,2,
…
,m
l
}和右视点盲道区域边界点集合s
r_2
＝{p
r_j'
(x
r_j'
,y
r_j'
),j'＝1,2,
…
,m
r
}，其中，p
l_j
(x
l_j
,y
l_j
)表示左视点盲道区域边界上的点，p
r_j'
(x
r_j'
,y
r_j'
)表示右视点盲道区域边界上的点，x
l_j
表示p
l_j
在左视图中的横坐标，y
l_j
表示p
l_j
在左视图中的纵坐标，x
r_j'
表示p
r_j'
在右视图中的横坐标，y
r_j'
表示p
r_j'
在右视图中的纵坐标，m
l
表示左视点盲道区域边界上的点p
l_j
的个数，m
r
表示右视点盲道区域边界上的点p
r_j'
的个数，m
l
<n
l
，m
r
<n
r
；然后，使用霍夫变换检测方法对左视点盲道区域边界点集合s
l_2
和右视点盲道区域边界点集合s
r_2
分别进行边界直线检测，得到左视点盲道区域边界直线集合l
l
＝{l
l_k
,k＝1,2,
…
,k
l
}和右视点盲道区域边界直线集合l
r
＝{l
r_k
,k＝1,2,
…
,k
r
}；其中，l
l_k
表示左视点盲道区域边界直线，l
r_k
表示右视点盲道区域边界直线，k
l
表示左视点盲道区域边界直线l
l_k
的个数，k
r
表示右视点盲道区域边界直线l
r_k
的个数；
最后，从左视点盲道区域边界直线集合l
l
和右视点盲道区域边界直线集合l
r
中分别选取距离相机最近即盲道区域最下方的左视点边界直线l
l_bottom
∈l
l
和右视点边界直线l
r_bottom
∈l
r
，分别计算左视点边界直线l
l_bottom
与其左相交边界线l
l_bottom_left
∈l
l
和右相交边界线l
l_bottom_right
∈l
l
的交点p
l_bottom_left
(x
l_bottom_left
,y
l_bottom_left
)和p
l_bottom_right
(x
l_bottom_right
,y
l_bottom_right
)以及右视点边界直线l
r_bottom
与其左相交边界线l
r_bottom_left
∈l
r
和右相交边界线l
r_bottom_right
∈l
r
的交点p
r_bottom_left
(x
r_bottom_left
,y
r_bottom_left
)和p
r_bottom_right
(x
r_bottom_right
,y
r_bottom_right
)，得到左视图和右视图中两对盲道边界辅助点(p
l_bottom_left
,p
r_bottom_left
)和(p
l_bottom_right
,p
r_bottom_right
)，其中，p
l_bottom_left
∈l
l_bottom
∩l
l_bottom_left
，p
r_bottom_left
∈l
r_bottom
∩l
r_bottom_left
，p
l_bottom_right
∈l
l_bottom
∩l
l_bottom_right
，p
r_bottom_right
∈l
r_bottom
∩l
r_bottom_right
；x
l_bottom_left
表示左视点边界直线l
l_bottom
与其左相交边界线l
l_bottom_left
的交点p
l_bottom_left
的横坐标，y
l_bottom_left
表示左视点边界直线l
l_bottom
与其左相交边界线l
l_bottom_left
的交点p
l_bottom_left
的纵坐标，x
l_bottom_right
表示左视点边界直线l
l_bottom
与其右相交边界线l
l_bottom_right
的交点p
l_bottom_right
的横坐标，y
l_bottom_right
表示左视点边界直线l
l_bottom
与其右相交边界线l
l_bottom_right
的交点p
l_bottom_right
的纵坐标，x
r_bottom_left
表示右视点边界直线l
r_bottom
与其左相交边界线l
r_bottom_left
的交点p
r_bottom_left
的横坐标，y
r_bottom_left
表示右视点边界直线l
r_bottom
与其左相交边界线l
r_bottom_left
的纵坐标，x
r_bottom_right
表示右视点边界直线l
r_bottom
与其右相交边界线l
r_bottom_right
的交点p
r_bottom_right
的横坐标，y
r_bottom_right
表示右视点边界直线l
r_bottom
与其右相交边界线l
r_bottom_right
的纵坐标。8.根据权利要求7所述的基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，所述盲道关键点的三维空间坐标的获得方法为：采用张正友标定法获得所述立体相机标定结果，并计算左视图和右视图中两对盲道边界辅助点(p
l_bottom_left
,p
r_bottom_left
)和(p
l_bottom_right
,p
r_bottom_right
)对应的两个空间辅助点的三维坐标p
bottom_left
(x
bottom_left
,y
bottom_left
,z
bottom_left
)和p
bottom_right
(x
bottom_right
,y
bottom_right
,z
bottom_right
)；选取所述两个空间辅助点p
bottom_left
和p
bottom_right
的中点作为盲道关键点p(x,y,z)：x＝(x
bottom_left
+x
bottom_right
)/2；y＝(y
bottom_left
+y
bottom_right
)/2；z＝(z
bottom_left
+z
bottom_right
)/2。9.根据权利要求8所述的基于深度学习和立体视觉的盲道分割与定位方法，其特征在于，所述相机到盲道关键点的实际距离和角度的获得方法为：以左视点相机中心位置为原点o，相机到盲道关键点p的实际距离d＝|op|，将op垂直投影到zoy平面上，垂足为点q，连接oq，op与oq的夹角即为相机到盲道关键点p的角度α；表达式为：oq，op与oq的夹角即为相机到盲道关键点p的角度α；表达式为：

技术总结
本发明提出了一种基于深度学习和立体视觉的盲道分割与定位方法，其步骤为：首先，利用多样性盲道图像数据集对ME-UNet盲道分割网络进行训练，获得ME-UNet盲道分割网络模型；其次，拍摄包含盲道的左视图和右视图，将左视图和右视图分别输入ME-UNet盲道分割网络模型，分割出左视点盲道区域和右视点盲道区域；然后，通过对左视点盲道区域和右视点盲道区域进行检测，获得左视图和右视图中的两对盲道边界辅助点；最后，根据两对辅助点在左视图和右视图中的二维像素坐标获得盲道关键点的三维空间坐标，进而计算相机到盲道关键点的实际距离和角度，作为盲道相对于视障者的位置信息。本发明有效提高了盲道定位的精度，为视障者安全出行提供了保障。出行提供了保障。出行提供了保障。


技术研发人员：杨蕾 宋晓炜 文秀静 蔡文静 李梦龙 刘伟
受保护的技术使用者：中原工学院
技术研发日：2023.07.06
技术公布日：2023/10/15