对象追踪方法、装置、终端设备及存储介质与流程
未命名
08-14
阅读:111
评论:0

1.本技术涉及自动驾驶技术领域,尤其涉及一种对象追踪方法、装置、终端设备及存储介质。
背景技术:
2.在自动驾驶中,交通信号对象的追踪至关重要,交通信号对象是指交通信号灯、交通标志、交通标线等用于传达交通信号的对象,准确地对交通信号对象进行追踪有利于提高自动驾驶控制效果。
3.目前,关于交通信号对象的追踪过程一般通过检测交通信号对象对应的边界检测框(bbox,bounding box),再根据前后帧之间的边界检测框的交并比(iou,intersection over union)大小对交通信号对象进行追踪。但是在实际的应用中,可能出现前后帧检测不稳定、边界检测框位置改变过大、障碍物遮挡等异常情况,目前的交通信号对象的追踪方式在这些异常情况下容易追踪失败或者产生误关联。换言之,目前的交通信号对象的追踪方式的鲁棒性差。
技术实现要素:
4.本技术的主要目的在于提供一种对象追踪方法、装置、终端设备及存储介质,旨在解决目前的交通信号对象的追踪方式的鲁棒性差的问题。
5.为实现上述目的,本技术提供一种对象追踪方法,所述对象追踪方法包括:
6.获取目标交通信号对象在目标画面中的预测边界检测框;
7.基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。
8.可选地,所述获取目标交通信号对象在目标画面中的预测边界检测框的步骤包括:
9.获取所述目标交通信号对象在目标画面中的历史追踪信息;
10.基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
11.可选地,所述获取所述目标交通信号对象在目标画面中的历史追踪信息的步骤包括:
12.获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻;
13.所述基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框的步骤包括:
14.根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息,计算得到所述相机的相对运动信息;
15.根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息,计算得
到所述目标交通信号对象的深度信息;
16.根据所述目标交通信号对象的深度信息,计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
17.可选地,所述基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪的步骤包括:
18.基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件;
19.若是,则确定所述目标画面的当前边界检测框属于所述目标交通信号对象;
20.若否,则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。
21.可选地,所述基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件的步骤包括:
22.对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算,得到交并比计算结果;
23.根据所述交并比计算结果判断是否满足预设的第一追踪条件,得到对应的第一判断结果。
24.可选地,所述基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件的步骤包括:
25.获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系,以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系;
26.根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件,得到对应的第二判断结果。
27.可选地,所述基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪的步骤包括:
28.基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配,得到对应的匹配结果;
29.根据所述匹配结果对所述目标交通信号对象进行追踪。
30.本技术实施例还提出一种对象追踪装置,所述对象追踪装置包括:
31.获取模块,用于获取目标交通信号对象在目标画面中的预测边界检测框;
32.追踪模块,用于基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。
33.本技术实施例还提出一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对象追踪程序,所述对象追踪程序被所述处理器执行时实现如上所述的对象追踪方法的步骤。
34.本技术实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有对象追踪程序,所述对象追踪程序被处理器执行时实现如上所述的对象追踪方法的步骤。
35.本技术实施例提出的对象追踪方法、装置、终端设备及存储介质,通过获取目标交通信号对象在目标画面中的预测边界检测框;基于所述目标画面的当前边界检测框和所述
预测边界检测框,对所述目标交通信号对象进行追踪。基于本技术方案,通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置,基于目标画面的当前边界检测框和预测边界检测框,可以对目标交通信号对象进行追踪,并且能够适应追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。
附图说明
36.图1为本技术对象追踪装置所属终端设备的功能模块示意图;
37.图2为本技术对象追踪方法第一示例性实施例流程示意图;
38.图3为本技术对象追踪方法第二示例性实施例流程示意图;
39.图4为本技术对象追踪方法第三示例性实施例流程示意图;
40.图5为本技术对象追踪方法第四示例性实施例流程示意图;
41.图6为本技术对象追踪方法第五示例性实施例流程示意图;
42.图7为本技术对象追踪方法第六示例性实施例流程示意图;
43.图8为本技术对象追踪方法第七示例性实施例流程示意图。
44.本技术目的的实现、功能特点及优点将结合实施例,参照附图作进一步说明。
具体实施方式
45.应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
46.本技术实施例的主要解决方案是:获取目标交通信号对象在目标画面中的预测边界检测框;基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。基于本技术方案,通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置,基于目标画面的当前边界检测框和预测边界检测框,可以对目标交通信号对象进行追踪,并且能够适应追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。
47.具体地,参照图1,图1为本技术对象追踪装置所属终端设备的功能模块示意图。该对象追踪装置可以为独立于终端设备的、能够进行对象追踪的装置,其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端,还可以为具有数据处理功能的固定终端设备或服务器等。
48.在本实施例中,该对象追踪装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
49.存储器130中存储有操作系统以及对象追踪程序,对象追踪装置可以将获取的目标交通信号对象在目标画面中的预测边界检测框;基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪的追踪结果等信息存储于该存储器130中;输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等,通过通信模块140与外部设备或服务器进行通信。
50.其中,存储器130中的对象追踪程序被处理器执行时实现以下步骤:
51.获取目标交通信号对象在目标画面中的预测边界检测框;
52.基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。
53.进一步地,存储器130中的对象追踪程序被处理器执行时还实现以下步骤:
54.获取所述目标交通信号对象在目标画面中的历史追踪信息;
55.基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
56.进一步地,存储器130中的对象追踪程序被处理器执行时还实现以下步骤:
57.获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻;
58.所述基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框的步骤包括:
59.根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息,计算得到所述相机的相对运动信息;
60.根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息,计算得到所述目标交通信号对象的深度信息;
61.根据所述目标交通信号对象的深度信息,计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
62.进一步地,存储器130中的对象追踪程序被处理器执行时还实现以下步骤:
63.基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件;
64.若是,则确定所述目标画面的当前边界检测框属于所述目标交通信号对象;
65.若否,则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。
66.进一步地,存储器130中的对象追踪程序被处理器执行时还实现以下步骤:
67.对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算,得到交并比计算结果;
68.根据所述交并比计算结果判断是否满足预设的第一追踪条件,得到对应的第一判断结果。
69.进一步地,存储器130中的对象追踪程序被处理器执行时还实现以下步骤:
70.获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系,以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系;
71.根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件,得到对应的第二判断结果。
72.进一步地,存储器130中的对象追踪程序被处理器执行时还实现以下步骤:
73.基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配,得到对应的匹配结果;
74.根据所述匹配结果对所述目标交通信号对象进行追踪。
75.本实施例通过上述方案,具体通过获取目标交通信号对象在目标画面中的预测边界检测框;基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。本实施例中,通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置,基于目标画面的当前边界检测框和预测边界检测框,可以对目标
交通信号对象进行追踪,并且能够适应追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。
76.参照图2,本技术对象追踪方法第一实施例提供一种流程示意图,所述对象追踪方法包括:
77.步骤s10,获取目标交通信号对象在目标画面中的预测边界检测框。
78.具体地,本实施例涉及的交通信号对象是指用于传达交通信号的交通信号灯、交通标志、交通标线等对象。例如,在自动驾驶场景中常见的红绿灯就属于交通信号对象的一种。
79.目标车辆基于车载的目标相机获取道路的画面,也就是目标画面,目标画面之中可能存在有若干个交通信号对象,目标车辆基于预设的检测算法检测出目标画面之中的若干个交通信号对象对应的边界检测框,其中包括目标交通信号对象的边界检测框。
80.通常,目标车辆处于持续运动的状态,目标交通信号对象可能会出现在目标画面的连续帧(即连续的多个图像帧),目标交通信号对象在连续帧的位置也会随时变化,将目标交通信号对象与连续帧的边界检测框进行关联,可以实现对目标交通信号对象的追踪。
81.但是在实际的应用中,可能出现前后帧检测不稳定、边界检测框位置改变过大、障碍物遮挡等异常情况,利用目前的交通信号对象的追踪方式无法实现对目标交通信号对象的稳定追踪,追踪过程鲁棒性差。
82.为此,本实施例提出了基于预测边界检测框的交通信号对象追踪方式。更为具体地,需要获取目标交通信号对象在历史帧(即当前帧之前的任意帧)中的历史边界检测框和目标车辆/目标相机的相对运动信息,基于目标交通信号对象的历史边界检测框和目标车辆/目标相机的运动信息计算出目标交通信号对象的预测边界检测框。
83.步骤s20,基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。
84.具体地,目标画面的当前帧存在若干个交通信号对象对应的边界检测框,即当前边界检测框。目标画面中的当前边界检测框有可能属于目标交通信号对象,也有可能不属于目标交通信号对象。为了验证上述当前边界检测框的归属并对目标交通信号对象进行追踪,可以将预测边界检测框作为参照,基于预测边界检测框和当前边界检测框判断是否符合预设的追踪条件。如果判断结果表明符合预设的追踪条件,那么可以确定当前边界检测框属于目标交通信号对象,可以将当前边界检测框的相关信息加入目标交通信号对象的追踪信息之中;如果判断结果表明不符合预设的追踪条件,那么可以确定当前边界检测框不属于目标交通信号对象。
85.预测边界检测框是一种虚拟的边界检测框,本实施例涉及的当前边界检测框并不直接与历史边界检测框进行比对,也即不涉及前后帧的实际边界检测框的比对,可以有效克服前后帧检测不稳定、边界检测框位置改变过大、障碍物遮挡等异常情况,并且能够有效提高交通信号对象的追踪结果的准确性。
86.本实施例通过上述方案,具体通过获取目标交通信号对象在目标画面中的预测边界检测框;基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。本实施例中,通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置,基于目标画面的当前边界检测框和预测边界检测框,可以对目标
交通信号对象进行追踪,并且能够适应追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。
87.进一步地,参照图3,本技术对象追踪方法第二实施例提供一种流程示意图,基于上述图2所示的实施例,步骤s10,获取目标交通信号对象在目标画面中的预测边界检测框进一步细化,包括:
88.步骤s101,获取所述目标交通信号对象在目标画面中的历史追踪信息。
89.具体地,本实施例涉及的预测边界检测框需要基于目标交通信号对象在目标画面中的历史追踪信息构建,因此,需要获取目标交通信号对象在目标画面中的历史追踪信息。其中,历史追踪信息包括目标交通信号对象在历史帧(即当前帧之前的任意帧)中的历史边界检测框、历史边界检测框对应的检测时刻等信息。
90.步骤s102,基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
91.具体地,在得到目标交通信号对象在目标画面中的历史追踪信息之后,可以结合目标车辆/目标相机的运动信息计算出目标交通信号对象在目标画面中的预测边界检测框。
92.可以理解的是,预测边界检测框是指目标交通信号对象在目标车辆/目标相机在运动信息对应的运动状态下,预测出来的位于当前帧的边界检测框,可用于表示目标交通信号对象在目标画面中的应然状态。另外,目标画面的当前帧也存在若干个交通信号对象对应的边界检测框,即当前边界检测框,当前边界检测框可用于表示交通信号对象在目标画面中的实然状态。
93.本实施例通过上述方案,具体通过获取所述目标交通信号对象在目标画面中的历史追踪信息;基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。本实施例中,利用目标交通信号对象在目标画面中的历史追踪信息可以得到准确的预测边界检测框,基于目标画面的当前边界检测框和预测边界检测框,可以对目标交通信号对象进行追踪,并且能够适应追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。
94.进一步地,参照图4,本技术对象追踪方法第三实施例提供一种流程示意图,基于上述图3所示的实施例,步骤s101,获取所述目标交通信号对象在目标画面中的历史追踪信息进一步细化,包括:
95.步骤s1011,获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻。
96.具体地,为了准确计算出目标交通信号对象在目标画面中的预测边界检测框,需要知道目标车辆在过去一段时间的运动状态。首先,需要获取目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻,第一检测时刻也可以是历史帧的生成时刻。
97.步骤s102,基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框进一步细化,包括:
98.步骤s1021,根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息,计算得到所述相机的相对运动信息。
99.具体地,确定当前边界检测框对应的第二检测时刻,第一检测时刻也可以是当前
帧的生成时刻,当前帧是指最新的一帧。根据第一检测时刻和第二检测时刻调取目标画面对应的相机(即目标相机)的位置信息,也即分别得到目标相机的第一位置信息和第二位置信息。然后,根据第一位置信息和第二位置信息计算出目标相机在第一检测时刻和第二检测时刻之间的相对运动信息,相对运动信息可以表示一段位移。
100.步骤s1022,根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息,计算得到所述目标交通信号对象的深度信息。
101.具体地,预设规格参数用于表示目标交通信号对象实际的规格,交通信号对象实际的规格一般由道路法律法规、国家标准、地方标准、行业标准等进行限定。因此,可以从记载道路法律法规、国家标准、地方标准、行业标准的相关文件之中提取得到目标交通信号对象的预设规格参数。例如,可以从相关文件提取红绿灯的高度或者宽度等参数。
102.在得到目标相机的相对运动信息之后,可以根据目标交通信号对象的预设规格参数和目标相机的相对运动信息恢复出目标交通信号对象的深度信息。深度信息可以是目标相机视觉中的目标交通信号对象的深度值。
103.步骤s1023,根据所述目标交通信号对象的深度信息,计算得到所述目标交通信号对象在目标画面中的预测边界检测框。
104.具体地,在得到目标交通信号对象的深度信息之后,可以根据目标交通信号对象的深度信息计算得到目标交通信号对象在目标画面中的预测位置,并基于目标交通信号对象在目标画面中的预测位置还原出预测边界检测框。
105.本实施例通过上述方案,具体通过获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻;根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息,计算得到所述相机的相对运动信息;根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息,计算得到所述目标交通信号对象的深度信息;根据所述目标交通信号对象的深度信息,计算得到所述目标交通信号对象在目标画面中的预测边界检测框。本实施例中,基于第一检测时刻和第二检测时刻计算目标相机的相对运动信息,并根据目标相机的相对运动信息、目标交通信号对象的预设规格参数计算目标交通信号对象的深度信息,进而基于深度信息恢复出预测边界检测框,预测边界检测框能够有效反映目标交通信号对象在当前帧的预测位置,进而提高交通信号对象的追踪结果的准确性。
106.进一步地,参照图5,本技术对象追踪方法第四实施例提供一种流程示意图,基于上述图2所示的实施例,步骤s20,基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪进一步细化,包括:
107.步骤s201,基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件。
108.具体地,目标画面的当前帧存在若干个交通信号对象对应的边界检测框,即当前边界检测框。目标画面中的当前边界检测框有可能属于目标交通信号对象,也有可能不属于目标交通信号对象。为了验证上述当前边界检测框的归属并对目标交通信号对象进行追踪,可以将预测边界检测框作为参照,基于预测边界检测框和当前边界检测框判断是否符合预设的至少一个追踪条件。例如,设置追踪条件a,基于预测边界检测框和当前边界检测框判断是否符合追踪条件a,得到对应的判断结果;或者,设置追踪条件b和追踪条件c,基于
预测边界检测框和当前边界检测框判断是否同时符合追踪条件b和追踪条件c,得到对应的判断结果。
109.步骤s202,若是,则确定所述目标画面的当前边界检测框属于所述目标交通信号对象。
110.具体地,如果前述结果表明符合预设的至少一个追踪条件,那么可以确定目标画面的当前边界检测框属于目标交通信号对象,可以将当前边界检测框的相关信息加入目标交通信号对象的追踪信息之中,对目标交通信号对象进行追踪。
111.步骤s203,若否,则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。
112.具体地,如果前述结果表明不符合预设的至少一个追踪条件,那么可以确定目标画面的当前边界检测框不属于目标交通信号对象。
113.本实施例通过上述方案,具体通过基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件;若是,则确定所述目标画面的当前边界检测框属于所述目标交通信号对象;若否,则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。本实施例在得到当前边界检测框和预测边界检测框的条件下,通过至少一个追踪条件的判断,确定当前边界检测框是否属于目标交通信号对象。本实施例能够适应追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。
114.进一步地,参照图6,本技术对象追踪方法第五实施例提供一种流程示意图,基于上述图5所示的实施例,步骤s201,基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件进一步细化,包括:
115.步骤s2011,对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算,得到交并比计算结果。
116.具体地,在获取到预测边界检测框之后,可以进一步基于目标画面的当前边界检测框和预测边界检测框进行交并比计算(iou,intersection over union),即计算当前边界检测框和预测边界检测框的交叠率,得到当前边界检测框和预测边界检测框的交集和并集的比值。最理想情况是当前边界检测框和预测边界检测框完全重叠,即比值为1。
117.步骤s2012,根据所述交并比计算结果判断是否满足预设的第一追踪条件,得到对应的第一判断结果。
118.具体地,可以基于预设的交并比阈值设置第一追踪条件。如果前述交并比计算过程得到的当前边界检测框和预测边界检测框的交并比值大于交并比阈值,那么可以认为满足预设的第一追踪条件;如果前述交并比计算过程得到的当前边界检测框和预测边界检测框的交并比值小于交并比阈值,那么可以认为不满足预设的第一追踪条件。
119.本实施例通过上述方案,具体通过对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算,得到交并比计算结果;根据所述交并比计算结果判断是否满足预设的第一追踪条件,得到对应的第一判断结果。本实施例采用交并比计算的方法,判断当前边界检测框和预测边界检测框的交并比是否满足预设的第一追踪条件,并根据判断结果确定当前边界检测框是否属于目标交通信号对象,能够适应追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。
120.进一步地,参照图7,本技术对象追踪方法第六实施例提供一种流程示意图,基于上述图5所示的实施例,步骤s201,基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件进一步细化,包括:
121.步骤s2013,获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系,以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系。
122.具体地,预测边界检测框与目标交通信号对象在目标画面中的历史边界检测框会形成一定的夹角关系,即第一夹角关系;当前边界检测框与目标交通信号对象在目标画面中的历史边界检测框同样会形成一定的夹角关系,即第二夹角关系。本实施例通过角度信息的比较确定当前边界检测框是否属于目标交通信号对象,需要先获取第一夹角关系和第二夹角关系。
123.步骤s2014,根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件,得到对应的第二判断结果。
124.具体地,可以基于预设的角度差阈值设置第二追踪条件。在理想的情况下第一夹角关系和第二夹角关系是接近或者相等的,即当前边界检测框与预测边界检测框接近或者重叠。如果基于第一夹角关系和第二夹角关系计算得到的角度差小于角度差阈值,那么可以认为满足预设的第二追踪条件;如果基于第一夹角关系和第二夹角关系计算得到的角度差大于角度差阈值,那么可以认为不满足预设的第二追踪条件。
125.本实施例通过上述方案,具体通过获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系,以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系;根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件,得到对应的第二判断结果。本实施例利用了角度信息判断当前边界检测框是否属于目标交通信号对象,有效提高了交通信号对象的追踪结果的准确性。本实施例尤其可以克服障碍物遮挡的异常情况,提高了交通信号对象的追踪过程的鲁棒性。
126.进一步地,参照图8,本技术对象追踪方法第七实施例提供一种流程示意图,基于上述图2所示的实施例,步骤s20,基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪进一步细化,包括:
127.步骤s204,基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配,得到对应的匹配结果。
128.具体地,匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法。应用到本实施例中,基于预设的匈牙利算法对目标画面的至少一个当前边界检测框和预测边界检测框进行匹配,得到的匹配结果为最优当前边界检测框。可以理解的是,最优当前边界检测框是最接近预测边界检测框的边界检测框。
129.步骤s205,根据所述匹配结果对所述目标交通信号对象进行追踪。
130.具体地,可以确定最优当前边界检测框属于目标交通信号对象,可以将最优当前边界检测框的相关信息加入目标交通信号对象的追踪信息之中,对目标交通信号对象进行追踪。
131.本实施例通过上述方案,具体通过基于预设的匈牙利算法对所述目标画面的当前
边界检测框和所述预测边界检测框进行匹配,得到对应的匹配结果;根据所述匹配结果对所述目标交通信号对象进行追踪。本实施例中,采用匈牙利算法可以匹配出最优当前边界检测框作为目标交通信号对象在当前帧的实际边界检测框,能够有效提高对目标交通信号对象的追踪过程的准确性和鲁棒性。
132.此外,本技术实施例还提出一种对象追踪装置,所述对象追踪装置包括:
133.获取模块,用于获取目标交通信号对象在目标画面中的预测边界检测框;
134.追踪模块,用于基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。
135.本实施例实现对象追踪的原理及实施过程,请参照上述各实施例,在此不再赘述。
136.此外,本技术实施例还提出一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对象追踪程序,所述对象追踪程序被所述处理器执行时实现如上所述的对象追踪方法的步骤。
137.由于本对象追踪程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
138.此外,本技术实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有对象追踪程序,所述对象追踪程序被处理器执行时实现如上所述的对象追踪方法的步骤。
139.由于本对象追踪程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
140.相比现有技术,本技术实施例提出的对象追踪方法、装置、终端设备及存储介质,通过获取目标交通信号对象在目标画面中的预测边界检测框;基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。基于本技术方案,通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置,基于目标画面的当前边界检测框和预测边界检测框,可以对目标交通信号对象进行追踪,并且能够适应追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。
141.需要说明的是,在本文中,术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
142.上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
143.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本技术每个实施例的方法。
144.以上仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
技术特征:
1.一种对象追踪方法,其特征在于,所述对象追踪方法包括:获取目标交通信号对象在目标画面中的预测边界检测框;基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。2.如权利要求1所述的对象追踪方法,其特征在于,所述获取目标交通信号对象在目标画面中的预测边界检测框的步骤包括:获取所述目标交通信号对象在目标画面中的历史追踪信息;基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框。3.如权利要求2所述的对象追踪方法,其特征在于,所述获取所述目标交通信号对象在目标画面中的历史追踪信息的步骤包括:获取所述目标交通信号对象在目标画面中的历史边界检测框对应的第一检测时刻;所述基于所述历史追踪信息计算得到所述目标交通信号对象在目标画面中的预测边界检测框的步骤包括:根据所述目标画面对应的相机分别在所述第一检测时刻和所述当前边界检测框对应的第二检测时刻的位置信息,计算得到所述相机的相对运动信息;根据所述目标交通信号对象的预设规格参数和所述相机的相对运动信息,计算得到所述目标交通信号对象的深度信息;根据所述目标交通信号对象的深度信息,计算得到所述目标交通信号对象在目标画面中的预测边界检测框。4.如权利要求1所述的对象追踪方法,其特征在于,所述基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪的步骤包括:基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件;若是,则确定所述目标画面的当前边界检测框属于所述目标交通信号对象;若否,则确定所述目标画面的当前边界检测框不属于所述目标交通信号对象。5.如权利要求4所述的对象追踪方法,其特征在于,所述基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件的步骤包括:对所述目标画面的当前边界检测框和所述预测边界检测框进行交并比计算,得到交并比计算结果;根据所述交并比计算结果判断是否满足预设的第一追踪条件,得到对应的第一判断结果。6.如权利要求4所述的对象追踪方法,其特征在于,所述基于所述目标画面的当前边界检测框和所述预测边界检测框,判断是否符合预设的至少一个追踪条件的步骤包括:获取所述预测边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第一夹角关系,以及所述当前边界检测框和所述目标交通信号对象在目标画面中的历史边界检测框的第二夹角关系;根据所述第一夹角关系和所述第二夹角关系判断是否满足预设的第二追踪条件,得到对应的第二判断结果。
7.如权利要求1所述的对象追踪方法,其特征在于,所述基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪的步骤包括:基于预设的匈牙利算法对所述目标画面的当前边界检测框和所述预测边界检测框进行匹配,得到对应的匹配结果;根据所述匹配结果对所述目标交通信号对象进行追踪。8.一种对象追踪装置,其特征在于,所述对象追踪装置包括:获取模块,用于获取目标交通信号对象在目标画面中的预测边界检测框;追踪模块,用于基于所述目标画面的当前边界检测框和所述预测边界检测框,对所述目标交通信号对象进行追踪。9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对象追踪程序,所述对象追踪程序被所述处理器执行时实现如权利要求1-7中任一项所述的对象追踪方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有对象追踪程序,所述对象追踪程序被处理器执行时实现如权利要求1-7中任一项所述的对象追踪方法的步骤。
技术总结
本申请公开了一种对象追踪方法、装置、终端设备及存储介质,其对象追踪方法包括:获取目标交通信号对象在目标画面中的预测边界检测框;基于目标画面的当前边界检测框和预测边界检测框,对目标交通信号对象进行追踪。基于本申请方案,通过预测边界检测框来表示目标交通信号对象在目标画面中的可能出现的位置,并且能够适应对目标交通信号对象的追踪过程的多种异常情况,提高了对目标交通信号对象的追踪过程的鲁棒性。踪过程的鲁棒性。踪过程的鲁棒性。
技术研发人员:范云凤 张肖 崔留争 王少毅 高立东
受保护的技术使用者:广州小鹏自动驾驶科技有限公司
技术研发日:2023.04.27
技术公布日:2023/8/13
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:导向条切削装置的制作方法 下一篇:一种变刚度辅助站立外骨骼机器人及其使用方法