信号灯关联方法、装置、设备及存储介质与流程

1.本发明涉及车辆技术领域，尤其涉及一种信号灯关联方法、装置、设备及存储介质。


背景技术：

2.在自动驾驶中，道路的tfl(traffic light，交通信号灯)类型较多且复杂，其中正常颜色指示灯和倒计时功能分离时，即交通信号灯由纯计时灯和颜色指示灯构成，自动驾驶系统很难学习到两个相关的灯的关系，该情况下自动驾驶系统很难给出正确的倒计时，不能给用户好的体验。因此，在正常红绿颜色指示灯和倒计时功能分离时，如何将红绿灯与计时灯准确关联，从而使自动驾驶系统给出正确的倒计时是现有技术中亟待解决的问题。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种信号灯关联方法、装置、设备及存储介质，旨在解决在正常红绿颜色指示灯和倒计时功能分离时，如何将红绿灯与计时灯准确关联，从而使自动驾驶系统给出正确的倒计时的技术问题。
5.为实现上述目的，本发明提供了一种信号灯关联方法，所述方法包括以下步骤：获取拍摄装置采集的当前图像帧，确定所述当前图像帧中的多个信号灯边界框的位置信息和属性信息，其中，所述当前图像帧中包括红绿灯对应的图像以及计时灯对应的图像；根据各信号灯边界框的位置信息进行划分，确定多个信号灯组；根据各信号灯边界框的属性信息确定各信号灯组内的多个红绿灯和多个计时灯，根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离；根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时。
6.可选地，所述根据各信号灯边界框的位置信息进行划分，确定多个信号灯组，包括：在多个信号灯边界框中任意选定定位边界框，根据所述定位边界框的尺寸信息和所述定位边界框的位置信息进行相似性检测，确定所述定位边界框的相似灯组；根据所述相似灯组和多个信号灯边界框确定划分灯组；根据所述相似灯组和所述划分灯组确定多个信号灯组。
7.可选地，所述根据所述定位边界框的尺寸信息和所述定位边界框的位置信息进行相似性检测，确定所述定位边界框的相似灯组，包括：获取所述定位边界框的短边尺寸；
根据所述定位边界框的位置信息进行各个信号灯边界框划分，确定位于同行的多个信号灯边界框；根据所述短边尺寸检测所述同行的多个信号灯边界框的尺寸相似性，确定所述定位边界框对应的相似灯组。
8.可选地，所述根据所述相似灯组和所述划分灯组确定多个信号灯组，包括：根据各信号灯边界框的属性信息检测所述相似灯组和所述划分灯组中是否均存在计时灯；在所述相似灯组和所述划分灯组中均存在计时灯时，确定所述相似灯组内的相似红绿灯数量和相似计时灯数量，并确定所述划分灯组内的划分红绿灯数量和划分计时灯数量；检测所述相似红绿灯数量和所述划分红绿灯数量是否一致；在所述相似红绿灯数量和所述划分红绿灯数量一致时，检测所述相似计时灯数量和所述划分计时灯数量是否一致；在所述相似计时灯数量和所述划分计时灯数量一致时，将所述相似灯组和所述划分灯组作为多个信号灯组。
9.可选地，所述根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离，包括：根据各红绿灯的位置信息确定各信号灯组内的各红绿灯的中心位置；根据各计时灯的位置信息确定各信号灯组内的各计时灯的中心位置；检测各信号灯组内的红绿灯数量是否和各信号灯组内的计时灯数量一致；在所述红绿灯数量与所述计时灯数量一致时，根据各计时灯的中心位置和各红绿灯的中心位置计算各计时灯与各红绿灯之间的间隔距离。
10.可选地，所述根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯，包括：根据各红绿灯的长边尺寸和与各计时灯之间的间隔距离确定各红绿灯与各计时灯之间的距离比值；根据各红绿灯与各计时灯之间的距离比值确定目标距离比值；根据所述目标距离比值进行计时灯匹配，确定各红绿灯分别对应的计时灯。
11.可选地，所述根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯之后，还包括：获取各计时灯的时间信息；发送各时间信息至各计时灯对应的红绿灯，以使各交通规划节点根据所述红绿灯的时间信息进行行驶规划。
12.此外，为实现上述目的，本发明还提出一种信号灯关联装置，所述信号灯关联装置包括：获取模块，用于获取拍摄装置采集的当前图像帧，确定所述当前图像帧中的多个信号灯边界框的位置信息和属性信息，其中，所述当前图像帧中包括红绿灯对应的图像以及计时灯对应的图像；划分模块，用于根据各信号灯边界框的位置信息进行划分，确定多个信号灯组；
processing unit，cpu），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器1005可以是高速的随机存取存储器（random access memory，ram），也可以是稳定的非易失性存储器（non-volatile memory，nvm），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
21.本领域技术人员可以理解，图1中示出的结构并不构成对信号灯关联设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
22.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及信号灯关联程序。
23.在图1所示的信号灯关联设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明信号灯关联设备中的处理器1001、存储器1005可以设置在信号灯关联设备中，所述信号灯关联设备通过处理器1001调用存储器1005中存储的信号灯关联程序，并执行本发明实施例提供的信号灯关联方法。
24.本发明实施例提供了一种信号灯关联方法，参照图2，图2为本发明信号灯关联方法第一实施例的流程示意图。
25.本实施例中，所述信号灯关联方法包括以下步骤：步骤s10：获取拍摄装置采集的当前图像帧，确定所述当前图像帧中的多个信号灯边界框的位置信息和属性信息，其中，所述当前图像帧中包括红绿灯对应的图像以及计时灯对应的图像。
26.需要说明的是，本实施例的执行主体为车辆的数据处理单元，车辆包括但不限于数据处理单元、多个拍摄装置以及车辆行驶单元，车辆可为可自动驾驶车辆，也可为普通车辆。多个拍摄装置用于采集车辆行驶过程中的周边环境图像和车内环境图像。
27.可以理解的是，数据处理单元实时获取拍摄装置采集的图像帧，并对其进行图像识别，检测图像帧中是否存在信号灯边界框，在拍摄装置采集的图像帧边界框时，根据图像帧检测到的各信号灯边界框的显示信息确定各信号灯边界框的属性信息，根据各信号灯边界框的属性信息确定图像帧中是否同时存在红绿灯和计时灯，在图像帧中同时存在红绿灯和计时灯时，则将当前时刻拍摄装置采集的图像帧作为当前图像帧。此时根据当前图像帧进行坐标系建立，确定各信号灯边界框在当前图像帧中的所处位置坐标。
28.在具体实现中，属性信息指的是各信号灯边界框对应的信号灯的功能，信号灯的属性信息包括只能用于显示倒计时的计时灯和只能用于显示颜色的红绿灯，红绿灯并非说明该指示灯只能显示红绿两种颜色，红绿灯也可显示黄色。位置信息指的是各信号灯边界框在当前图像帧中的所处位置坐标。
29.需要说明的是，如图3所示，同一信号杆的上方为显示颜色的红绿灯，下方为显示倒计时的计时灯，该场景下指示灯和倒计时功能未分离；如图4所示，同一信号杆的左侧为显示颜色的红绿灯，右侧为显示倒计时的计时灯，则认定该场景下指示灯和倒计时功能分离，此时需进行信号灯关联。
30.步骤s20：根据各信号灯边界框的位置信息进行划分，确定多个信号灯组。
31.需要说明的是，为了保证后续在进行红绿灯和计时灯进行关联匹配，需现利用各信号灯边界框的位置信息将当前图像帧中的各信号灯边界框进行分组，将位于同一个信号杆上的信号灯边界框作为同一个信号灯组，同一个信号灯组内应同时存在计时灯和红绿灯。
32.步骤s30：根据各信号灯边界框的属性信息确定各信号灯组内的多个红绿灯和多个计时灯，根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离。
33.需要说明的是，根据各信号灯边界框的属性信息确定各信号灯组内各信号灯边界框具体为何种信号灯，信号灯包括计时灯和红绿灯两类，将各信号灯组内的信号灯按照属性信息分为两类，一类红绿灯，另一类为计时灯。
34.可以理解的是，按照各红绿灯的位置信息和各计时灯的位置信息，依次计算各计时灯与各红绿灯之间的间隔距离。具体地，所述步骤s30包括：根据各红绿灯的位置信息确定各信号灯组内的各红绿灯的中心位置；根据各计时灯的位置信息确定各信号灯组内的各计时灯的中心位置；检测各信号灯组内的红绿灯数量是否和各信号灯组内的计时灯数量一致；在所述红绿灯数量与所述计时灯数量一致时，根据各计时灯的中心位置和各红绿灯的中心位置计算各计时灯与各红绿灯之间的间隔距离。
35.在具体实现中，根据各红绿灯的位置信息确定各信号灯组内的各红绿灯的信号灯边界框的中心点位置，各红绿灯的信号灯边界框的中心点位置即为各红绿灯的中心位置。根据各计时灯的位置信息确定各信号灯组内的各计时灯的信号灯边界框的中心点位置，各计时灯的信号灯边界框的中心点位置即为各计时灯的中心位置。
36.需要说明的是，获取各信号灯组内的计时灯的计时灯数量和红绿灯的红绿灯数量，在信号灯组内的计时灯数量和红绿灯数量一致时，则计算各计时灯的中心位置与各红绿灯的中心位置之间的间距，各计时灯的中心位置与各红绿灯的中心位置之间的间距即可代表各计时灯与各红绿灯之间的间隔距离。例如，如图5所示，信号灯组a内存在2个计时灯和2个红绿灯，红绿灯的编号分别为1、3，计时灯的编号分别为2、4，计算计时灯2的中心位置与红绿灯1、红绿灯3的中心位置的间距均为5cm，计时灯4的中心位置与红绿灯3的中心位置的间距为5cm，计时灯4的中心位置与红绿灯1的中心位置的间距为15cm，则红绿灯1与计时灯2之间的间隔距离为5cm，红绿灯1与计时灯4之间的间隔距离为15cm，红绿灯3与计时灯2之间的间隔距离为5cm，红绿灯3与计时灯4之间的间隔距离为5cm。
37.步骤s40：根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯。
38.需要说明的是，在确定各红绿灯与各计时灯之间的间隔距离后，根据各红绿灯与各计时灯之间的间隔距离进行距离匹配，得到最优的距离匹配结果，从而确定各红绿灯分别对应的计时灯。具体地，所述步骤s40包括：根据各红绿灯的长边尺寸和与各计时灯之间的间隔距离确定各红绿灯与各计时灯之间的距离比值；根据各红绿灯与各计时灯之间的距离比值确定目标距离比值；根据所述目标距离比值进行计时灯匹配，确定各红绿灯分别对应的计时灯。
39.可以理解的是，长边尺寸指的是在当前图像帧中所测得的红绿灯的信号灯边界框的较长边的尺寸。根据各红绿灯的长边尺寸和各红绿灯与各计时灯之间的间隔距离进行比
值计算，得到各红绿灯和各计时灯之间的距离比值。例如，红绿灯1与计时灯2之间的间隔距离为x，红绿灯1的长边尺寸为y，则红绿灯1与计时灯2之间的距离比值为x/y。
40.在具体实现中，将各红绿灯与各计时灯之间的距离比值作为匹配算法参数，匹配算法可根据各红绿灯与各计时灯之间的距离比值输出最佳匹配结果，依次确定各红绿灯和与之匹配的计时灯之间的距离比值，各红绿灯和与之匹配计时灯之间的距离比值即为目标距离比值。根据目标距离比值即可确定各红绿灯分别对应的计时灯。例如，红绿灯1与计时灯2之间的距离比值为x/y，红绿灯1与计时灯4之间的距离比值为3x/y，红绿灯3与计时灯2之间的距离比值为x/y，红绿灯3与计时灯4之间的距离比值为x/y，则红绿灯1和红绿灯2与计时灯之间的目标距离比值均为x/y，则红绿灯1对应的计时灯为计时灯2，红绿灯3对应的计时灯4。
41.具体地，所述步骤s40之后，还包括：获取各计时灯的时间信息；发送各时间信息至各计时灯对应的红绿灯，以使各交通规划节点根据所述红绿灯的时间信息进行行驶规划。
42.需要说明的是，获取各计时灯显示的倒计时对应的时间属性信息，倒计时对应的时间属性信息即为各计时灯的时间信息，发送各计时灯的时间信息至各计时灯对应的红绿灯，从而完成对各红绿灯的倒计时赋值。
43.可以理解的是，交通规划节点指的是其他车辆，完成各红绿灯的倒计时赋值后，各交通规划节点和自身车辆的预测单元可根据红绿灯的时间信息提前进行车辆行驶的规划决策，能够快速通过红绿灯路口，同时还能使各交通规划节点和自身车辆的仪表显示单元准确显示真实情况，带来直观的视觉感受。
44.本实施例通过获取拍摄装置采集的当前图像帧，确定所述当前图像帧中的多个信号灯边界框的位置信息和属性信息，其中，所述当前图像帧中包括红绿灯对应的图像以及计时灯对应的图像；根据各信号灯边界框的位置信息进行划分，确定多个信号灯组；根据各信号灯边界框的属性信息确定各信号灯组内的多个红绿灯和多个计时灯，根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离；根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯。通过上述方式，将当前图像帧中的多个信号灯边界框进行分组，确定多个信号灯组，并利用信号灯边界框的属性信息进行信号灯关联，将单独的计时灯与红绿灯进行匹配，进而使红绿灯能够得到相对应的倒计时信息，确保了信号灯输出信息的完整性和准确性，以使后续车辆能够根据匹配的倒计时信息更及时、准确且有效的进行规划决策，提升了车辆通过路口的效率，并改善了自动驾驶系统的用户体验。
45.参考图6，图6为本发明信号灯关联方法第二实施例的流程示意图。
46.基于上述第一实施例，本实施例信号灯关联方法中所述步骤s20，包括：步骤s201：在多个信号灯边界框中任意选定定位边界框，根据所述定位边界框的尺寸信息和所述定位边界框的位置信息进行相似性检测，确定所述定位边界框的相似灯组。
47.需要说明的是，在进行边界框的选定时虽采取任意选定原则，但需根据各信号灯比边界框的属性信息，在红绿灯所对应的信号灯边界框中任意选定一个信号框作为定位边界框。
48.可以理解的是，尺寸信息指的是在当前图像帧中所测得的信号边界框的长边尺寸
和短边尺寸。相似灯组指的是与定位边界框的红绿灯位于同一个信号杆的信号灯组。
49.具体地，所述步骤s201，包括：获取所述定位边界框的短边尺寸；根据所述定位边界框的位置信息进行各个信号灯边界框划分，确定位于同行的多个信号灯边界框；根据所述短边尺寸检测所述同行的多个信号灯边界框的尺寸相似性，确定所述定位边界框对应的相似灯组。
50.在具体实现中，根据定位边界框的位置信息先确定与定位边界框位于同一行的多个信号灯边界框，然后根据定位边界框的尺寸信息中的短边尺寸检测同一行的多个信号灯边界框的尺寸相似性，确定与定位边界框同一行的多个信号灯边界框的短边尺寸是否与定位边界框的短边尺寸相同，在同一行的多个信号灯边界框的短边尺寸与定位边界框的短边尺寸均相同时，则初步认定上述多个信号灯边界框所对应的信号灯与定位边界框所对应的红绿灯位于同一个信号杆上，输出相似灯组。
51.步骤s202：根据所述相似灯组和多个信号灯边界框确定划分灯组。
52.需要说明的是，在确定相似灯组后，获取相似灯组中的信号灯边界框的数量，若剩余的信号灯边界框的数量与相似灯组中的信号灯边界框的数量相同，则剩余的信号灯边界框则自动认定为同一个信号杆上的信号灯组，即为划分灯组。此时将多个信号灯边界框划分成两个信号灯组，分别为相似灯组和划分灯组。
53.可以理解的是，如图7所示，当前图像帧中存在8个信号灯边界框，根据各信号灯边界框的属性信息确定1~4为红绿灯，5~8为计时灯，将红绿灯1的信号灯边界框作为定位边界框，根据红绿灯1的位置信息确定与之位于同一行的信号边界框为2、5、6，检测信号灯边界框2、5、6的短边尺寸是否与红绿灯1的短边尺寸相同，在信号灯边界框2、5、6的短边尺寸与红绿灯1的短边尺寸相同时，则将红绿灯1和2、计时灯5和6作为相似灯组，相似灯组内的信号灯边界框的数量为4，剩余信号灯边界框的数量也为4，则将红绿灯3和4、计时灯7和8作为划分灯组。
54.在具体实现中，若剩余的信号灯边界框的数量大于相似灯组中的信号灯边界框的数量时，则在剩余的信号灯边界框中任意选定一个红绿灯的信号灯边界框作为定位边界框，再次执行步骤s201至步骤s202的步骤，直至当前图像帧中的所有信号灯边界框均划分完成，与定位边界框位于同一个信号杆的信号灯组即为相似灯组，最后自动成组的信号灯组即为划分灯组。
55.步骤s203：根据所述相似灯组和所述划分灯组确定多个信号灯组。
56.需要说明的是，为了确保分组的准确性，在得到相似灯组和划分灯组后，需进行分组验证，具体地，所述步骤s203，包括：根据各信号灯边界框的属性信息检测所述相似灯组和所述划分灯组中是否均存在计时灯；在所述相似灯组和所述划分灯组中均存在计时灯时，确定所述相似灯组内的相似红绿灯数量和相似计时灯数量，并确定所述划分灯组内的划分红绿灯数量和划分计时灯数量；检测所述相似红绿灯数量和所述划分红绿灯数量是否一致；在所述相似红绿灯数量和所述划分红绿灯数量一致时，检测所述相似计时灯数量和所述划分计时灯数量是否一致；在所述相似计时灯数量和所述划分计时灯数量一致时，将所述相似灯组和所述划分灯组作为多个信号灯组。
57.可以理解的是，为了保证各信号灯组内均同时存在计时灯和红绿灯，需根据各信号灯的边界框属性对相似灯组合划分灯组内的信号灯进行检测，确定相似灯组和划分灯组
中是否均存在计时灯，在相似灯组和划分灯组中均存在计时灯时，则需检测各信号灯组之间同属性的信号灯的数量是否一致。
58.在具体实现中，获取相似灯组内的红绿灯的数量和计时灯的数量，相似灯组内的红绿灯的数量即为相似红绿灯数量，相似灯组内的计时灯的数量即为相似计时灯数量，同理获取划分灯组内的划分红绿灯数量和划分计时灯数量，检测各相似灯组内的相似红绿灯数量是否与各划分灯组内的划分红绿灯数量一致，在各相似灯组内的相似红绿灯数量与各划分灯组内的划分红绿灯数量一致时，则检测各相似灯组内的相似计时灯数量是否与各划分灯组内的划分计时灯数量一致，若各相似灯组内的相似计时灯数量是与各划分灯组内的划分计时灯数量一致，则说明各信号灯组之间同属性的信号灯的数量一致，当前分组为合理的，直接将当前的信号灯边界框的划分结果作为最终的划分结果，即将相似灯组和划分灯组作为多个信号灯组。
59.需要说明的是，如图8所示，根据当前图像帧中检测到的多个信号灯边界框的位置信息和尺寸信息进行分组，相同的行/列为同一个信号灯组，在本实施例中仅以行进行说明，判断各信号灯组内的红绿灯和计时灯的数量是否一致，在各信号灯组内的计时灯和红绿灯的数量一致时，计算组内各红绿灯和各计时灯之间的距离比值，并输出到匹配算法作为匹配参数，得到红绿灯和计时灯之间的最优匹配结果，并将计时灯的时间信息关联到对应的红绿灯上并输出。
60.本实施例通过在多个信号灯边界框中任意选定定位边界框，根据所述定位边界框的尺寸信息和所述定位边界框的位置信息进行相似性检测，确定所述定位边界框的相似灯组；根据所述相似灯组和多个信号灯边界框确定划分灯组；根据所述相似灯组和所述划分灯组确定多个信号灯组。通过上述方式，根据选定的定位边界框的位置信息和尺寸信息进行相似性检测，进行信号灯边界框的分组，得到相似灯组和划分灯组，最终输出准确的多个信号灯组，以保证后续在信号灯关联时的准确性。
61.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有信号灯关联程序，所述信号灯关联程序被处理器执行时实现如上文所述的信号灯关联方法。
62.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
63.参照图9，图9为本发明信号灯关联装置第一实施例的结构框图。
64.如图9所示，本发明实施例提出的信号灯关联装置包括：获取模块10，用于获取拍摄装置采集的当前图像帧，确定所述当前图像帧中的多个信号灯边界框的位置信息和属性信息，其中，所述当前图像帧中包括红绿灯对应的图像以及计时灯对应的图像。
65.划分模块20，用于根据各信号灯边界框的位置信息进行划分，确定多个信号灯组。
66.计算模块30，用于根据各信号灯边界框的属性信息确定各信号灯组内的多个红绿灯和多个计时灯，根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离。
67.匹配模块40，用于根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯。
68.应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具
体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
69.本实施例通过获取拍摄装置采集的当前图像帧，确定所述当前图像帧中的多个信号灯边界框的位置信息和属性信息，其中，所述当前图像帧中包括红绿灯对应的图像以及计时灯对应的图像；根据各信号灯边界框的位置信息进行划分，确定多个信号灯组；根据各信号灯边界框的属性信息确定各信号灯组内的多个红绿灯和多个计时灯，根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离；根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯。通过上述方式，将当前图像帧中的多个信号灯边界框进行分组，确定多个信号灯组，并利用信号灯边界框的属性信息进行信号灯关联，将单独的计时灯与红绿灯进行匹配，进而使红绿灯能够得到相对应的倒计时信息，确保了信号灯输出信息的完整性和准确性，以使后续车辆能够根据匹配的倒计时信息更及时、准确且有效的进行规划决策，提升了车辆通过路口的效率，并改善了自动驾驶系统的用户体验。
70.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
71.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的信号灯关联方法，此处不再赘述。
72.在一实施例中，所述划分模块20，还用于在多个信号灯边界框中任意选定定位边界框，根据所述定位边界框的尺寸信息和所述定位边界框的位置信息进行相似性检测，确定所述定位边界框的相似灯组；根据所述相似灯组和多个信号灯边界框确定划分灯组；根据所述相似灯组和所述划分灯组确定多个信号灯组。
73.在一实施例中，所述划分模块20，还用于获取所述定位边界框的短边尺寸；根据所述定位边界框的位置信息进行各个信号灯边界框划分，确定位于同行的多个信号灯边界框；根据所述短边尺寸检测所述同行的多个信号灯边界框的尺寸相似性，确定所述定位边界框对应的相似灯组。
74.在一实施例中，所述划分模块20，还用于根据各信号灯边界框的属性信息检测所述相似灯组和所述划分灯组中是否均存在计时灯；在所述相似灯组和所述划分灯组中均存在计时灯时，确定所述相似灯组内的相似红绿灯数量和相似计时灯数量，并确定所述划分灯组内的划分红绿灯数量和划分计时灯数量；检测所述相似红绿灯数量和所述划分红绿灯数量是否一致；在所述相似红绿灯数量和所述划分红绿灯数量一致时，检测所述相似计时灯数量和所述划分计时灯数量是否一致；在所述相似计时灯数量和所述划分计时灯数量一致时，将所述相似灯组和所述划分灯组作为多个信号灯组。
75.在一实施例中，所述计算模块30，还用于根据各红绿灯的位置信息确定各信号灯组内的各红绿灯的中心位置；根据各计时灯的位置信息确定各信号灯组内的各计时灯的中心位置；检测各信号灯组内的红绿灯数量是否和各信号灯组内的计时灯数量一致；在所述红绿灯数量与所述计时灯数量一致时，根据各计时灯的中心位置和各红绿灯的中心位置计算各计时灯与各红绿灯之间的间隔距离。
76.在一实施例中，所述匹配模块40，还用于根据各红绿灯的长边尺寸和与各计时灯之间的间隔距离确定各红绿灯与各计时灯之间的距离比值；根据各红绿灯与各计时灯之间
的距离比值确定目标距离比值；根据所述目标距离比值进行计时灯匹配，确定各红绿灯分别对应的计时灯。
77.在一实施例中，所述匹配模块40，还用于获取各计时灯的时间信息；发送各时间信息至各计时灯对应的红绿灯，以使各交通规划节点根据所述红绿灯的时间信息进行行驶规划。
78.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
79.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
80.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（read only memory，rom）/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
81.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种信号灯关联方法，其特征在于，所述信号灯关联方法，包括：获取拍摄装置采集的当前图像帧，确定所述当前图像帧中的多个信号灯边界框的位置信息和属性信息，其中，所述当前图像帧中包括红绿灯对应的图像以及计时灯对应的图像；根据各信号灯边界框的位置信息进行划分，确定多个信号灯组；根据各信号灯边界框的属性信息确定各信号灯组内的多个红绿灯和多个计时灯，根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离；根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯。2.如权利要求1所述的信号灯关联方法，其特征在于，所述根据各信号灯边界框的位置信息进行划分，确定多个信号灯组，包括：在多个信号灯边界框中任意选定定位边界框，根据所述定位边界框的尺寸信息和所述定位边界框的位置信息进行相似性检测，确定所述定位边界框的相似灯组；根据所述相似灯组和多个信号灯边界框确定划分灯组；根据所述相似灯组和所述划分灯组确定多个信号灯组。3.如权利要求2所述的信号灯关联方法，其特征在于，所述根据所述定位边界框的尺寸信息和所述定位边界框的位置信息进行相似性检测，确定所述定位边界框的相似灯组，包括：获取所述定位边界框的短边尺寸；根据所述定位边界框的位置信息进行各个信号灯边界框划分，确定位于同行的多个信号灯边界框；根据所述短边尺寸检测所述同行的多个信号灯边界框的尺寸相似性，确定所述定位边界框对应的相似灯组。4.如权利要求2所述的信号灯关联方法，其特征在于，所述根据所述相似灯组和所述划分灯组确定多个信号灯组，包括：根据各信号灯边界框的属性信息检测所述相似灯组和所述划分灯组中是否均存在计时灯；在所述相似灯组和所述划分灯组中均存在计时灯时，确定所述相似灯组内的相似红绿灯数量和相似计时灯数量，并确定所述划分灯组内的划分红绿灯数量和划分计时灯数量；检测所述相似红绿灯数量和所述划分红绿灯数量是否一致；在所述相似红绿灯数量和所述划分红绿灯数量一致时，检测所述相似计时灯数量和所述划分计时灯数量是否一致；在所述相似计时灯数量和所述划分计时灯数量一致时，将所述相似灯组和所述划分灯组作为多个信号灯组。5.如权利要求1所述的信号灯关联方法，其特征在于，所述根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离，包括：根据各红绿灯的位置信息确定各信号灯组内的各红绿灯的中心位置；根据各计时灯的位置信息确定各信号灯组内的各计时灯的中心位置；检测各信号灯组内的红绿灯数量是否和各信号灯组内的计时灯数量一致；
在所述红绿灯数量与所述计时灯数量一致时，根据各计时灯的中心位置和各红绿灯的中心位置计算各计时灯与各红绿灯之间的间隔距离。6.如权利要求1所述的信号灯关联方法，其特征在于，所述根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯，包括：根据各红绿灯的长边尺寸和与各计时灯之间的间隔距离确定各红绿灯与各计时灯之间的距离比值；根据各红绿灯与各计时灯之间的距离比值确定目标距离比值；根据所述目标距离比值进行计时灯匹配，确定各红绿灯分别对应的计时灯。7.如权利要求1至6中任一项所述的信号灯关联方法，其特征在于，所述根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯之后，还包括：获取各计时灯的时间信息；发送各时间信息至各计时灯对应的红绿灯，以使各交通规划节点根据所述红绿灯的时间信息进行行驶规划。8.一种信号灯关联装置，其特征在于，所述信号灯关联装置包括：获取模块，用于获取拍摄装置采集的当前图像帧，确定所述当前图像帧中的多个信号灯边界框的位置信息和属性信息，其中，所述当前图像帧中包括红绿灯对应的图像以及计时灯对应的图像；划分模块，用于根据各信号灯边界框的位置信息进行划分，确定多个信号灯组；计算模块，用于根据各信号灯边界框的属性信息确定各信号灯组内的多个红绿灯和多个计时灯，根据各红绿灯的位置信息和各计时灯的位置信息计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离；匹配模块，用于根据各红绿灯与各计时灯之间的间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯。9.一种信号灯关联设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的信号灯关联程序，所述信号灯关联程序配置为实现如权利要求1至7中任一项所述的信号灯关联方法。10.一种存储介质，其特征在于，所述存储介质上存储有信号灯关联程序，所述信号灯关联程序被处理器执行时实现如权利要求1至7任一项所述的信号灯关联方法。

技术总结
本发明属于车辆技术领域，公开了一种信号灯关联方法、装置、设备及存储介质。该方法包括：获取拍摄装置采集的当前图像帧，确定多个信号灯边界框的位置信息和属性信息；根据各信号灯边界框的位置信息进行划分，确定多个信号灯组；根据各信号灯边界框的属性信息确定各信号灯组内的多个红绿灯和多个计时灯，计算各信号灯组内的各红绿灯与各计时灯之间的间隔距离；根据间隔距离进行计时灯匹配，确定各红绿灯分别对应的计时灯。通过上述方式，将单独的计时灯与红绿灯进行匹配，进而使红绿灯能够得到相对应的倒计时信息，确保了信号灯输出信息的完整性和准确性，以使后续车辆能够根据匹配的倒计时信息更及时、准确且有效的进行规划决策。策。策。


技术研发人员：范云凤 邱悦 张肖 崔留争 王少毅
受保护的技术使用者：广州小鹏自动驾驶科技有限公司
技术研发日：2023.04.27
技术公布日：2023/7/20