基于双目视觉的轨道车辆测速方法及装置与流程

1.本发明涉及轨道车辆测速技术领域，尤其涉及一种基于双目视觉的轨道车辆测速方法及装置。


背景技术：

2.速度是轨道车辆状态的重要参数，例如通过车辆速度的变化可以获得车辆牵引或制动的性能参数，因此车速测量的准确性及实时性是至关重要的。
3.在现有的车辆轨旁检测技术中，传统的测速方法有雷达测速、磁感线圈(磁钢)测速、激光测速等，但是上述传统的测速方式存在准确性差、无法全过程精准测速等问题，例如激光测速的测量准确度会随着测量偏差角度的变大而下降，雷达测速系统中，由于车身各部分发射的雷达回波信号的多普勒频率存在差异，会影响测量的准确度。目前有混合多种方式测速的方法以提高准确性，但是这种方法又存在安装布置复杂、成本高、不易维护等问题，因此亟需一种测速精度高、成本较低且能够根据现场安装环境灵活布置的测速方法。


技术实现要素：

4.本发明提供一种基于双目视觉的轨道车辆测速方法及装置，用以解决现有技术中传统的单项测速方法准确性差，混合测速方法安装布置复杂、成本高的缺陷，采用视觉测速的方式，实现根据现场环境灵活配置，且测速准确性高的效果。
5.本发明提供一种基于双目视觉的轨道车辆测速方法，包括：
6.获取由双目相机以预设帧率拍摄的车辆图像，所述车辆图像中包括车辆的关键目标；
7.识别并选取所述车辆图像中的关键目标区域，所述关键目标区域为所述车辆图像中的所述关键目标所处的区域；
8.计算所述关键目标区域的关键特征点在所述车辆图像中的二维坐标，基于所述双目相机的内参和外参，将所述车辆图像映射至同一平面，并将所述车辆图像中的所述关键特征点的二维坐标二维坐标映射至同一世界坐标系中，获得所述关键特征点在三维空间中的位置信息；
9.基于所述关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度。
10.根据本发明提供一种的基于双目视觉的轨道车辆测速方法，识别并选取所述车辆图像中的所述关键目标区域，具体包括：
11.利用第一神经网络模型对所述车辆图像进行目标检测；所述第一神经网络模型是基于预标注的用于标记关键目标区域的目标框训练得到的；
12.在所述车辆图像中仅存在一个关键目标区域的情况下，直接选取所述关键目标区域；
13.在所述车辆图像中存在多个关键目标区域的情况下，选取目标框最大的所述关键目标区域。
14.根据本发明提供一种的基于双目视觉的轨道车辆测速方法，基于所述关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度，具体包括：
15.将所述双目相机拍摄相邻两帧车辆图像之间的时间间隔作为预设的时间间隔，基于相邻两帧车辆图像中的所述关键特征点的世界坐标，计算出所述关键特征点的位移距离，再基于位移距离和预设的时间间隔，计算所述关键特征点的速度，并作为车辆的速度。
16.根据本发明提供一种的基于双目视觉的轨道车辆测速方法，所述关键目标为车辆的同一转向架上的轮对组。
17.根据本发明提供一种的基于双目视觉的轨道车辆测速方法，所述预设帧率为所述双目相机的最大频率，以保证所述双目相机在车辆的任意车速范围内均能够拍摄到精准的车辆图像。
18.根据本发明提供一种的基于双目视觉的轨道车辆测速方法，在获取由双目相机以预设帧率拍摄的车辆图像之前，还包括：
19.获取所述双目相机的两个相机的内参和外参，基于所述内参和外参去除相机镜头造成的径向畸变和切向畸变，避免车辆图像变形；所述内参和外参是通过对双目相机进行标定得到的。
20.根据本发明提供一种的基于双目视觉的轨道车辆测速方法，在获取由双目相机以预设帧率拍摄的车辆图像之后，还包括：
21.利用第二神经网络模型识别并选取所述车辆图像中的车号区域，提取出所述车号区域内包含的车号信息；所述第二神经网络模型是基于预标注的用于标记车号的目标框训练得到的。
22.根据本发明提供一种的基于双目视觉的轨道车辆测速方法，提取出所述车号区域内包含的车号信息，具体包括：
23.利用ocr算法，将所述车辆图像中的车号区域转换为符号和数字，将符号和数字作为车号信息。
24.根据本发明提供一种的基于双目视觉的轨道车辆测速方法，在计算出车辆的速度之后，还包括：
25.将车辆的速度、车号和时间信息按照预设的格式进行绑定和输出。
26.本发明还提供一种基于双目视觉的轨道车辆测速装置，包括：图像获取模块、图像识别模块、位置确定模块和速度计算模块；
27.所述图像获取模块用于获取由双目相机以预设帧率拍摄的车辆图像，所述车辆图像中包括车辆的关键目标；
28.所述图像识别模块用于识别并选取所述车辆图像中的所述关键目标区域，所述关键目标区域为所述车辆图像中的所述关键目标所处的区域；
29.所述位置确定模块用于计算所述关键目标区域的关键特征点在所述车辆图像中的二维坐标，基于所述双目相机的内参和外参，将所述车辆图像映射至同一平面，并将所述车辆图像中的所述关键特征点的二维坐标映射至同一世界坐标系中，获得所述关键特征点在三维空间中的位置信息；
30.所述速度计算模块用于基于所述关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度。
31.本发明提供的一种基于双目视觉的轨道车辆测速方法及装置，通过获取由双目相机以预设帧率拍摄的车辆图像，车辆图像中包括车辆的关键目标；识别并选取车辆图像中的关键目标区域；计算关键目标区域的关键特征点在车辆图像中的二维坐标，基于双目相机的内参和外参，将车辆图像映射至同一平面，并将车辆图像中的关键特征点的二维坐标二维坐标映射至同一世界坐标系中，获得关键特征点在三维空间中的位置信息；基于关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度。通过上述方法的实施，实现了利用视觉的方式进行测速，测速设备可根据现场的实际环境灵活安装配置，测速准确性高。
附图说明
32.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1是本发明提供的基于双目视觉的轨道车辆测速方法的流程示意图；
34.图2是本发明实施例中的各个测速设备的工作示意图；
35.图3是本发明提供的基于双目视觉的轨道车辆测速装置的结构示意图；
36.图4是本发明实施例中的用于描述目标框的示例图片。
37.附图标记：
38.31、图像获取模块；32、图像识别模块；33、位置确定模块；34、速度计算模块。
具体实施方式
39.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.下面结合图1至图2描述本发明的基于双目视觉的轨道车辆测速方法。
41.如图1所示，本发明提供的基于双目视觉的轨道车辆测速方法，包括以下步骤：
42.s1、获取由双目相机以预设帧率拍摄的车辆图像；
43.s2、识别并选取车辆图像中的关键目标区域；
44.s3、计算关键目标区域的关键特征点在车辆图像中的二维坐标，基于双目相机的内参和外参，将车辆图像映射至同一平面，并将车辆图像中的关键目标区域的关键特征点的二维坐标映射至同一世界坐标系中，获得关键特征点在三维空间中的位置信息；
45.s4、基于关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度。
46.下面对上述的各个步骤进行具体说明。
47.在上述的步骤“s1、获取由双目相机以预设帧率拍摄的车辆图像”中，具体地，在本技术的一种可选的实施例中，如图2所示，双目相机布置在轨道旁，双目相机的布置可根据实际的现场情况进行，保证拍摄视野能够涵盖车辆的关键目标的位置，例如，双目相机的拍摄视野可涵盖车辆的转向架区域和车身侧部的车号区域。双目相机能够将采集到的图像以
有线或者无线的传输方式传输至测速装置，优选的，双目相机与测速装置之间可通过六类网线连接，以提高传输的速度和稳定性。应当理解的是，本技术中的测速装置包括但不限于各类移动或固定终端，例如台式电脑、笔记本电脑、手机、平板、pda等，优选的，可选用便携性较高的终端，例如微型电脑、笔记本电脑等作为测速装置，提高测速设备安装和配置的灵活性。
48.上述的双目相机拍摄的预设帧率可根据实际场景的不同进行灵活设置，在本技术的一种优选的实施例中，可将预设帧率设为相机的最大拍摄帧率，例如，假设双目相机采用的是最大拍摄帧率为500fps的面阵相机，则将预设帧率设为500fps。通过将相机的拍摄帧率设为最大频率，能够保证车辆在其能够达到的任意车速范围内，双目相机均能够拍摄到精准的图像。
49.在本技术的一种可选的实施例中，在首次利用双目相机进行拍摄之前，还需利用标定板对双目相机进行标定，以获得相机的内参和外参，并基于相机的内参和外参，去除相机镜头带来的径向畸变和切向畸变，避免拍摄到的车辆图像发生变形。
50.在上述的步骤“s2、识别并选取车辆图像中的关键目标区域”中，具体地，需要利用第一神经网络模型对车辆图像进行目标检测，识别出车辆图像中的关键目标区域。
51.在本技术的一种可选的实施例中，可选取轮对作为轨道车辆的关键目标进行测速。由于同一车辆转向架的两个轮对距离较近，在进行目标识别时容易混淆，因此采用两个轮对作为一个关键目标，提高目标识别的准确性。
52.车辆图像中的关键目标区域的识别采用深度学习的方法，利用深度神经网络自动检测并标出关键目标区域在图像中的坐标参数。考虑到测速对实时性的要求，选择ylolv3网络进行目标检测，并使用转向架的轮对数据集对yolov3网络进行训练得到第一神经网络模型，第一神经网络模型采用有监督训练方法，通过人工预标注用于标记轮对的检测框，并将检测框应用于第一神经网络模型的训练中，最后将训练完毕的第一神经网络模型部署在测速装置上。yol0(you only look 0nce:unified,real-time obiect detection)，是joseph redmon和ali farhad等人于2015年提出的基于单个神经网络的目标检测系统。
53.在通过第一神经网络模型检测到车辆图像中仅存在一个关键目标区域(即仅存在一个轮对)的情况下，直接选取该关键目标区域；
54.在车辆图像中存在多个关键目标区域的情况下，选取目标框最大的一个关键目标区域。目标框在可视化图像中表现为一个矩形，当车辆图像中存在多个轮对组时，选取目标框最大的一个轮对组作为关键目标区域，目的在于选择距离相机镜头最近的轮对作为关键目标区域，以获得最精细的关键特征点。
55.在上述的步骤“s3、计算关键目标区域的关键特征点在车辆图像中的二维坐标，基于双目相机的内参和外参，将车辆图像映射至同一平面，并将车辆图像中的关键目标区域的关键特征点的二维坐标映射至同一世界坐标系中，获得关键特征点在三维空间中的位置信息”中，具体地，关键特征点为关键目标区域中的一个预先设定的点，例如可将关键目标区域对应的目标框的中心点作为关键目标区域的关键特征点，如图4所示，在作为示例的图4中，假设将狗、自行车和汽车作为关键目标区域，可见在关键目标区域处有一个矩形的目标框，可通过计算选取目标框的中心点作为关键目标区域的关键特征点。
56.假设双目相机中的左右两个相机的内参(内部参数)分别为k
l
和kr，外参(外部参
数)分别为[r
l
,t
l
]和[rr,tr],其中r
l
，t
l
，rr，tr分别为左右两个相机的旋转矩阵和平移向量，假设从目标框中计算出关键目标区域的关键特征点在左相机图像中的坐标为(u
l
,v
l
)，则关键目标区域的关键特征点在左相机坐标系下的坐标为：
[0057][0058]
其中表示关键特征点在左相机坐标系下的坐标(三维坐标)。又因为左右两个相机的视点位置不同，因此需要进行坐标系转换，计算出关键特征点在右相机坐标系下的坐标：
[0059][0060]
最后计算出关键特征点在世界坐标系下的坐标，获得关键特征点在三维空间中的位置信息：
[0061][0062]
其中rw和tw分别为左相机到世界坐标系的旋转矩阵和平移向量。
[0063]
在上述的步骤“s4、基于关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度”中，将双目相机拍摄相邻两帧车辆图像之间的时间间隔作为预设的时间间隔，基于相邻两帧车辆图像中的关键特征点的世界坐标，计算出关键特征点的位移距离，再基于位移距离和预设的时间间隔，计算关键特征点的速度，并作为车辆的速度。
[0064]
具体地，用关键特征点在预设的时间间隔前后的三维空间位置信息来表示轨道车辆在预设的时间间隔前后的位置，并利用以下公式来计算关键特征点运动的速度：
[0065][0066]
其中，(x
k+1
，y
k+1
，z
k+1
)和(xk，yk，zk)表示相邻两帧车辆图像中的关键特征点的世界坐标，δt表示相邻两帧车辆图像之间的时间间隔，例如当相机的拍摄帧率为500fps时，δt＝1/500秒。
[0067]
在本发明的一种可选的实施例中，在上述的步骤s1之后，即获取由双目相机以预设帧率拍摄的车辆图像之后，还包括：
[0068]
利用第二神经网络模型识别并选取所述车辆图像中的车号区域，提取出车号区域内包含的车号信息。其中，车辆图像中的车号区域的识别采用深度学习的方法，利用深度神经网络自动检测并标出车号区域在图像中的坐标参数。考虑到测速对实时性的要求，选择ylolv3网络进行车号区域的监测，并使用车号图像数据集对yolov3网络进行训练得到第二
神经网络模型，第二神经网络模型采用有监督训练方法，通过人工预标注用于标记车号的检测框，并将检测框应用于第二神经网络模型的训练中，最后将训练完毕的第二神经网络模型部署在测速装置上。
[0069]
在本技术的一种可选的实施例中，提取出车号区域内包含的车号信息，可利用ocr算法，将车辆图像中的车号区域转换为符号和数字，将符号和数字作为车号信息。例如，利用ocr算法将车号区域转换为g、5、0、0、1这几个字符，则车号为g5001。
[0070]
在本技术的一种可选的实施例中，在计算出车辆的速度之后，还可将车辆的速度、车号和时间信息按照预设的格式进行绑定和输出。例如，可将车辆的速度、车号和时间信息按照“车号+时间+速度”的格式进行绑定和输出，通过该信息可得知某辆列车在某个时间下的车速，有效提高信息的可用性。
[0071]
综上所述，本发明提供的一种基于双目视觉的轨道车辆测速方法及装置，通过获取由双目相机以预设帧率拍摄的车辆图像，车辆图像中包括车辆的关键目标；识别并选取车辆图像中的关键目标区域；计算关键目标区域的关键特征点在车辆图像中的二维坐标，基于双目相机的内参和外参，将车辆图像映射至同一平面，并将车辆图像中的关键特征点的二维坐标二维坐标映射至同一世界坐标系中，获得关键特征点在三维空间中的位置信息；基于关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度。通过上述方法的实施，实现了利用视觉的方式进行测速，测速设备可根据现场的实际环境灵活安装配置，测速准确性高
[0072]
基于同样的发明构思，本发明还提供一种基于双目视觉的轨道车辆测速装置，用于执行上述的基于双目视觉的轨道车辆测速方法。下面对本发明提供的基于双目视觉的轨道车辆测速装置进行描述，下文描述的基于双目视觉的轨道车辆测速装置与上文描述的基于双目视觉的轨道车辆测速方法可相互对应参照。
[0073]
如图3所示，本发明提供的基于双目视觉的轨道车辆测速装置，包括图像获取模块31、图像识别模块32、位置确定模块33和速度计算模块34。
[0074]
图像获取模块31用于获取由双目相机以预设帧率拍摄的车辆图像，车辆图像中包括车辆的关键目标；
[0075]
图像识别模块32用于识别并选取车辆图像中的关键目标区域，关键目标区域为车辆图像中的关键目标所处的区域；
[0076]
位置确定模块33用于计算关键目标区域的关键特征点在车辆图像中的二维坐标，基于双目相机的内参和外参，将车辆图像映射至同一平面，并将车辆图像中的关键特征点的二维坐标映射至同一世界坐标系中，获得关键特征点在三维空间中的位置信息；
[0077]
速度计算模块34用于基于关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度。
[0078]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0079]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可
借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0080]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于双目视觉的轨道车辆测速方法，其特征在于，包括：获取由双目相机以预设帧率拍摄的车辆图像，所述车辆图像中包括车辆的关键目标；识别并选取所述车辆图像中的关键目标区域，所述关键目标区域为所述车辆图像中的所述关键目标所处的区域；计算所述关键目标区域的关键特征点在所述车辆图像中的二维坐标，基于所述双目相机的内参和外参，将所述车辆图像映射至同一平面，并将所述车辆图像中的所述关键特征点的二维坐标二维坐标映射至同一世界坐标系中，获得所述关键特征点在三维空间中的位置信息；基于所述关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度。2.根据权利要求1所述的基于双目视觉的轨道车辆测速方法，其特征在于，识别并选取所述车辆图像中的所述关键目标区域，具体包括：利用第一神经网络模型对所述车辆图像进行目标检测；所述第一神经网络模型是基于预标注的用于标记关键目标区域的目标框训练得到的；在所述车辆图像中仅存在一个关键目标区域的情况下，直接选取所述关键目标区域；在所述车辆图像中存在多个关键目标区域的情况下，选取目标框最大的所述关键目标区域。3.根据权利要求2所述的基于双目视觉的轨道车辆测速方法，其特征在于，基于所述关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度，具体包括：将所述双目相机拍摄相邻两帧车辆图像之间的时间间隔作为预设的时间间隔，基于相邻两帧车辆图像中的所述关键特征点的世界坐标，计算出所述关键特征点的位移距离，再基于位移距离和预设的时间间隔，计算所述关键特征点的速度，并作为车辆的速度。4.根据权利要求1所述的基于双目视觉的轨道车辆测速方法，其特征在于，所述关键目标为车辆的同一转向架上的轮对组。5.根据权利要求1所述的基于双目视觉的轨道车辆测速方法，其特征在于，所述预设帧率为所述双目相机的最大频率，以保证所述双目相机在车辆的任意车速范围内均能够拍摄到精准的车辆图像。6.根据权利要求1所述的基于双目视觉的轨道车辆测速方法，其特征在于，在获取由双目相机以预设帧率拍摄的车辆图像之前，还包括：获取所述双目相机的两个相机的内参和外参，基于所述内参和外参去除相机镜头造成的径向畸变和切向畸变，避免车辆图像变形；所述内参和外参是通过对双目相机进行标定得到的。7.根据权利要求1所述的基于双目视觉的轨道车辆测速方法，其特征在于，在获取由双目相机以预设帧率拍摄的车辆图像之后，还包括：利用第二神经网络模型识别并选取所述车辆图像中的车号区域，提取出所述车号区域内包含的车号信息；所述第二神经网络模型是基于预标注的用于标记车号的目标框训练得到的。8.根据权利要求7所述的基于双目视觉的轨道车辆测速方法，其特征在于，提取出所述车号区域内包含的车号信息，具体包括：利用ocr算法，将所述车辆图像中的车号区域转换为符号和数字，将符号和数字作为车
号信息。9.根据权利要求1-8任一项所述的基于双目视觉的轨道车辆测速方法，其特征在于，在计算出车辆的速度之后，还包括：将车辆的速度、车号和时间信息按照预设的格式进行绑定和输出。10.一种基于双目视觉的轨道车辆测速方法装置，其特征在于，包括图像获取模块、图像识别模块、位置确定模块和速度计算模块；所述图像获取模块用于获取由双目相机以预设帧率拍摄的车辆图像，所述车辆图像中包括车辆的关键目标；所述图像识别模块用于识别并选取所述车辆图像中的所述关键目标区域，所述关键目标区域为所述车辆图像中的所述关键目标所处的区域；所述位置确定模块用于计算所述关键目标区域的关键特征点在所述车辆图像中的二维坐标，基于所述双目相机的内参和外参，将所述车辆图像映射至同一平面，并将所述车辆图像中的所述关键特征点的二维坐标映射至同一世界坐标系中，获得所述关键特征点在三维空间中的位置信息；所述速度计算模块用于基于所述关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度。

技术总结
本发明涉及轨道车辆测速技术领域，提供一种基于双目视觉的轨道车辆测速方法及装置，通过获取由双目相机以预设帧率拍摄的车辆图像，车辆图像中包括车辆的关键目标；识别并选取车辆图像中的关键目标区域；计算关键目标区域的关键特征点在车辆图像中的二维坐标，基于双目相机的内参和外参，将车辆图像映射至同一平面，并将车辆图像中的关键特征点的二维坐标二维坐标映射至同一世界坐标系中，获得关键特征点在三维空间中的位置信息；基于关键特征点在预设的时间间隔前后的位置信息，计算出车辆的速度，通过本方法和装置的实施，实现了利用视觉的方式进行测速，测速设备可根据现场的实际环境灵活安装配置，测速准确性高。测速准确性高。测速准确性高。


技术研发人员：李长耿 沈华波 李伟 孙晓东 袁博 郝伟 张一然
受保护的技术使用者：中车青岛四方机车车辆股份有限公司
技术研发日：2023.06.28
技术公布日：2023/10/7