跨相机轨迹确定方法、装置、设备及存储介质与流程
未命名
07-22
阅读:70
评论:0

1.本技术涉及汽车技术领域,尤其涉及自动驾驶图像识别技术领域,具体涉及一种跨相机轨迹确定方法、装置、设备及存储介质。
背景技术:
2.在车辆自动驾驶的场景下,为获得更为丰富的视觉信息,通常需要有多个相机同时进行拍摄,故需要对每个相机进行兴趣对象的检测与跟踪,然后对跨相机下的同一对象进行关联合并,得到对象完整的运行轨迹,以便后续根据对象的各角度图像进行综合处理和实现跨相机的对象连续稳定跟踪。
3.但由于实际情况中可能出现遮挡,图像抖动等一系列问题,导致跨相机轨迹的关联准确性不足,对自动驾驶场景下的行车安全带来隐患。
技术实现要素:
4.本技术的目的之一在于提供一种跨相机轨迹确定方法、装置、设备及存储介质,用于实现跨相机关联多个单相机中的对象,确定对象的轨迹。
5.为了实现上述目的,本技术采用的技术方案如下:
6.根据本技术涉及的第一方面,提供一种跨相机轨迹确定方法,包括:跨相机轨迹确定装置获取目标相机拍摄到的视频流,目标相机为部署于同一车辆上多个相机中的任意一个;并确定在目标相机下对象的轨迹段;对象的轨迹段包括对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征。进一步的,跨相机轨迹确定装置确定多个历史轨迹中是否存在目标历史轨迹,历史轨迹由多个轨迹段合并得到,目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与对象的局部标识相同;并在多个历史轨迹中存在目标历史轨迹的情况下,根据对象的轨迹段更新目标历史轨迹。进一步的,跨相机轨迹确定装置在多个历史轨迹中不存在目标历史轨迹的情况下,确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度;并在多个轨迹段中存在目标轨迹段的情况下,确定对象的跨相机轨迹,跨相机轨迹中包括对象的轨迹段以及目标轨迹段,目标轨迹段为多个轨迹段中与对象的轨迹段的目标相似度大于预设相似度的轨迹段。
7.根据上述技术手段,本技术提供的跨相机轨迹确定方法中,在获取到对象的轨迹段后,首先判断对象的局部标识是否与已确定的多个历史轨迹中的历史轨迹是否存在关联,在存在关联的情况下,基于对象的轨迹段更新目标历史轨迹,实现对象的轨迹确定;在不存在关联的情况下,确定其他相机下的多个轨迹段中,是否有与对象的轨迹段的目标相似度大于预设相似度的轨迹段,在存在的情况下,合并对象轨迹段以及目标轨迹段,实现对象轨迹的确定,也即对象的跟踪。
8.在一种可能的实施方式中,上述确定在目标相机下对象的轨迹段,包括:基于预设算法对视频流进行对象检测,获取对象的局部标识以及检测框;根据对象的局部标识以及检测框,确定对象在世界坐标系中的轨迹;确定视频流中包括对象的目标图像,目标图像为
对象质量分数高于预设分数的多个图像,对象质量分数用于表征对象在图像中的清晰度、完整度以及朝向;根据目标图像确定对象的外观特征;根据对象的局部标识、检测框、在世界坐标系中的轨迹以及外观特征,确定在目标相机下对象的轨迹段。
9.根据上述技术手段,本技术提供了一种确定对象的轨迹段的实现方法,且能够保障轨迹段的特征质量。
10.在一种可能的实施方式中,上述确定多个历史轨迹中是否存在目标历史轨迹,包括:确定局部标识集合,局部标识集合中包括多个历史轨迹中每个历史轨迹对应的局部标识;在局部标识集合中存在对象的局部标识的情况下,确定多个历史轨迹中存在目标历史轨迹;在局部标识集合中不存在对象的局部标识的情况下,确定多个历史轨迹中不存在目标历史轨迹。
11.在一种可能的实施方式中,上述根据对象的轨迹段更新目标历史轨迹,包括:确定目标历史轨迹中的多个图像的对象质量分数中的最低对象质量分数;在目标图像的对象质量分数,大于最低对象质量分数的情况下,根据目标图像,替换最低对象质量分数对应的图像。
12.根据上述技术手段,本技术提供的跨相机轨迹确定方法中,能够实现避免将同一对象,确定为不同的对象,影响对对象的跟踪。
13.在一种可能的实施方式中,上述确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度,包括:确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的外观相似度和时空相似度;根据外观相似度以及时空相似度,确定目标相似度。
14.根据上述技术手段,本技术提供的跨相机轨迹确定方法中,基于外观相似度以及时空相似度,从多个维度评估轨迹段的相关性,提高对象关联的准确性。
15.在一种可能的实施方式中,上述跨相机轨迹确定方法包括:在对象的轨迹段在目标相机与其他相机的重叠区域内的情况下,根据外观相似度、时空相似度,以及第一预设权重,确定目标相似度,第一预设权重包括外观相似度的权重以及时空相似度的权重,外观相似度的权重小于时空相似度的权重。
16.根据上述技术手段,本技术提供的跨相机轨迹确定方法中,对于存在重叠区域情况来说,同一对象在不同的相机的当前跟踪结果应具有相近的世界坐标,历史跟踪结果应具有相近的轨迹起止位置、类似的轨迹形状、速度、方向等,故将时空相似度的权重设置的大于外观相似度,有助于提高目标相似度的准确性。
17.在一种可能的实施方式中,上述跨相机轨迹确定方法包括:在对象的轨迹段不在目标相机与其他相机的重叠区域内的情况下,根据外观相似度、时空相似度,以及第二预设权重,确定目标相似度,第二预设权重包括外观相似度的权重以及时空相似度的权重,外观相似度的权重大于时空相似度的权重。
18.根据上述技术手段,本技术提供的跨相机轨迹确定方法中,对于不存在重叠区域情况来说,由于缺少了时空上的限制,为了提高目标相似度的准确性,将时空相似度的权重设置的小于外观相似度,以保障轨迹确定的准确性。
19.在一种可能的实施方式中,上述跨相机轨迹确定方法包括:在多个轨迹段中不存在目标轨迹段的情况下,更新多个轨迹段,更新后的多个轨迹段中包括对象的轨迹段。
20.根据上述技术手段,本技术提供的跨相机轨迹确定方法中,在多个轨迹段中不存
在目标轨迹段的情况下,即跨相机轨迹确定装置未找到与对象的轨迹段匹配的轨迹段情况下,将对象的轨迹段存储,确定为多个轨迹段中的其中一个,以使得该对象后续再次出现时,调取进行匹配,更好的确定对象的运动轨迹。
21.在一种可能的实施方式中,上述跨相机轨迹确定方法包括:在多个历史轨迹中的任意一个历史轨迹超过预设时长未更新的情况下,删除任意一个历史轨迹。
22.根据上述技术手段,本技术提供的跨相机轨迹确定方法中,跨相机轨迹确定装置监测存储的多个历史轨迹,在任意一个超过预设时长仍未更新的情况下,即表明该历史轨迹对应的对象已暂时消失,丢弃该对象的历史轨迹,避免长时间占用跨相机轨迹确定装置的存储资源,以及计算资源,减小资源消耗。
23.根据本技术提供的第二方面,提供一种跨相机轨迹确定装置,包括获取单元、确定单元以及处理单元。获取单元,用于获取目标相机拍摄到的视频流,目标相机为部署于同一车辆上多个相机中的任意一个;确定单元,用于确定在目标相机下对象的轨迹段;对象的轨迹段包括对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征;确定单元,还用于确定多个历史轨迹中是否存在目标历史轨迹,历史轨迹由多个轨迹段合并得到,目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与对象的局部标识相同;处理单元,用于在多个历史轨迹中存在目标历史轨迹的情况下,根据对象的轨迹段更新目标历史轨迹;确定单元,还用于在多个历史轨迹中不存在目标历史轨迹的情况下,确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度;确定单元,还用于在多个轨迹段中存在目标轨迹段的情况下,确定对象的跨相机轨迹,跨相机轨迹中包括对象的轨迹段以及目标轨迹段,目标轨迹段为多个轨迹段中与对象的轨迹段的目标相似度大于预设相似度的轨迹段。
24.在一种可能的实施方式中,上述获取单元,还用于基于预设算法对视频流进行对象检测,获取对象的局部标识以及检测框;上述确定单元,还用于根据对象的局部标识以及检测框,确定对象在世界坐标系中的轨迹;确定视频流中包括对象的目标图像,目标图像为对象质量分数高于预设分数的多个图像,对象质量分数用于表征对象在图像中的清晰度、完整度以及朝向;根据目标图像确定对象的外观特征;根据对象的局部标识、检测框、在世界坐标系中的轨迹以及外观特征,确定在目标相机下对象的轨迹段。
25.在一种可能的实施方式中,上述确定单元,还用于确定局部标识集合,局部标识集合中包括多个历史轨迹中每个历史轨迹对应的局部标识;在局部标识集合中存在对象的局部标识的情况下,确定多个历史轨迹中存在目标历史轨迹;在局部标识集合中不存在对象的局部标识的情况下,确定多个历史轨迹中不存在目标历史轨迹。
26.在一种可能的实施方式中,上述确定单元,还用于确定目标历史轨迹中的多个图像的对象质量分数中的最低对象质量分数;上述处理单元,还用于在目标图像的对象质量分数,大于最低对象质量分数的情况下,根据目标图像,替换最低对象质量分数对应的图像。
27.在一种可能的实施方式中,上述确定单元,还用于确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的外观相似度和时空相似度;根据外观相似度以及时空相似度,确定目标相似度。
28.在一种可能的实施方式中,上述确定单元,还用于在对象的轨迹段在目标相机与
其他相机的重叠区域内的情况下,根据外观相似度、时空相似度,以及第一预设权重,确定目标相似度,第一预设权重包括外观相似度的权重以及时空相似度的权重,外观相似度的权重小于时空相似度的权重。
29.在一种可能的实施方式中,上述确定单元,还用于在对象的轨迹段不在目标相机与其他相机的重叠区域内的情况下,根据外观相似度、时空相似度,以及第二预设权重,确定目标相似度,第二预设权重包括外观相似度的权重以及时空相似度的权重,外观相似度的权重大于时空相似度的权重。
30.在一种可能的实施方式中,上述处理单元,还用于在多个轨迹段中不存在目标轨迹段的情况下,更新多个轨迹段,更新后的多个轨迹段中包括对象的轨迹段。
31.在一种可能的实施方式中,上述处理单元,还用于在多个历史轨迹中的任意一个历史轨迹超过预设时长未更新的情况下,删除任意一个历史轨迹。
32.根据本技术提供的第三方面,提供一种跨相机轨迹确定设备,部署于车辆。跨相机轨迹确定设备包括存储器和处理器,存储器和处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当处理器执行计算机指令时,跨相机轨迹确定设备执行上述第一方面及其任一种可能的实施方式提供的跨相机轨迹确定方法。
33.根据本技术提供的第四方面,提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在跨相机轨迹确定设备上运行时,使得跨相机轨迹确定设备执行上述第一方面及其任一种可能的实施方式提供的跨相机轨迹确定方法。
34.根据本技术提供的第五方面,提供一种车辆,包括上述第三方面提供的跨相机轨迹确定设备。
35.根据本技术提供的第六方面,提供一种计算机程序产品,计算机程序产品包括计算机指令,当计算机指令在在跨相机轨迹确定设备上运行时,使得跨相机轨迹确定设备执行上述第一方面及其任一种可能的实施方式提供的跨相机轨迹确定方法。
36.由此,本技术的上述技术特征具有以下有益效果:
37.(1)本技术提供的跨相机轨迹确定方法中,在获取到对象的轨迹段后,首先判断对象的局部标识是否与已确定的多个历史轨迹中的历史轨迹是否存在关联,在存在关联的情况下,基于对象的轨迹段更新目标历史轨迹,实现对象的轨迹确定;在不存在关联的情况下,确定其他相机下的多个轨迹段中,是否有与对象的轨迹段的目标相似度大于预设相似度的轨迹段,在存在的情况下,合并对象轨迹段以及目标轨迹段,实现对象轨迹的确定,也即对象的跟踪。
38.(2)基于外观相似度以及时空相似度,从多个维度评估轨迹段的相关性,提高对象关联的准确性。
39.(3)对于存在重叠区域情况来说,同一对象在不同的相机的当前跟踪结果应具有相近的世界坐标,历史跟踪结果应具有相近的轨迹起止位置、类似的轨迹形状、速度、方向等,故将时空相似度的权重设置的大于外观相似度,有助于提高目标相似度的准确性。
40.(4)根据上述技术手段,本技术提供的跨相机轨迹确定方法中,对于不存在重叠区域情况来说,由于缺少了时空上的限制,为了提高目标相似度的准确性,将时空相似度的权重设置的小于外观相似度,保障轨迹确定的准确性。
41.(5)在多个轨迹段中不存在目标轨迹段的情况下,即跨相机轨迹确定装置未找到
与对象的轨迹段匹配的轨迹段情况下,将对象的轨迹段存储,确定为多个轨迹段中的其中一个,以使得该对象后续再次出现时,调取进行匹配,更好的确定对象的运动轨迹。
42.(6)跨相机轨迹确定装置监测存储的多个历史轨迹,在任意一个超过预设时长仍未更新的情况下,即表明该历史轨迹对应的对象已暂时消失,丢弃该对象的历史轨迹,避免长时间占用跨相机轨迹确定装置的存储资源,以及计算资源,减小资源消耗。
附图说明
43.图1是根据一示例性实施例示出的一种跨相机轨迹确定系统的结构示意图;
44.图2是根据一示例性实施例示出的一种跨相机轨迹确定方法的流程图;
45.图3是根据一示例性实施例示出的又一种跨相机轨迹确定方法的流程图;
46.图4是根据一示例性实施例示出的又一种跨相机轨迹确定方法的流程图;
47.图5是根据一示例性实施例示出的又一种跨相机轨迹确定系统的结构示意图;
48.图6是根据一示例性实施例示出的又一种跨相机轨迹确定方法的流程图;
49.图7是根据一示例性实施例示出的一种跨相机轨迹确定装置的框图;
50.图8是根据一示例性实施例示出的一种跨相机轨迹确定设备的框图。
具体实施方式
51.以下将参照附图和优选实施例来说明本技术的实施方式,本领域技术人员可由本说明书中所揭露的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本技术的精神下进行各种修饰或改变。应当理解,优选实施例仅为了说明本技术,而不是为了限制本技术的保护范围。
52.需要说明的是,以下实施例中所提供的图示仅以示意方式说明本技术的基本构想,遂图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
53.在实施例的描述中,除非另有说明,“/”表示“或”的意思,例如,a/b可以表示a或b。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。此外,“至少一个”“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
54.相关技术中,首先获取每个单相机的障碍物的跟踪结果,确定障碍物的局部标识,在满足主相机对跨相机障碍物融合的触发条件后,建立局部标识与全局标识的映射关系,对全局标识进行关联一致性检测(位置一致性、轮廓一致性以及体积一致性)进而根据相似度进行匹配,最终确定相同障碍物的全局标识。
55.在相关技术中,由于实际场景比较复杂,同一对象在不同角度位置的相机下成像出的轮廓本身就存在不一致性,而且在实际中还会出现在一个相机下被遮挡、在另一相机下没有被遮挡的情况,由此造成不满足轮廓一致性以及体积一致性的检查,容易识别为两个对象,关联准确性较低。并且,相关技术中提出的方法仅适用于重叠区域的位置一致性检
测,无法实现在非重叠区域的对象关联,对于对象的轨迹的确定准确性较差。
56.为了解决上述技术问题,本技术提出一种跨相机轨迹确定方法、装置、设备及存储介质,该方法包括:跨相机轨迹确定装置获取目标相机拍摄到的视频流,目标相机为部署于同一车辆上多个相机中的任意一个;并确定在目标相机下对象的轨迹段;对象的轨迹段包括对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征。进一步的,跨相机轨迹确定装置确定多个历史轨迹中是否存在目标历史轨迹,历史轨迹由多个轨迹段合并得到,目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与对象的局部标识相同;并在多个历史轨迹中存在目标历史轨迹的情况下,根据对象的轨迹段更新目标历史轨迹。进一步的,跨相机轨迹确定装置在多个历史轨迹中不存在目标历史轨迹的情况下,确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度;并在多个轨迹段中存在目标轨迹段的情况下,确定对象的跨相机轨迹,跨相机轨迹中包括对象的轨迹段以及目标轨迹段,目标轨迹段为多个轨迹段中与对象的轨迹段的目标相似度大于预设相似度的轨迹段。
57.这样一来,本技术提供的跨相机轨迹确定方法中,在获取到对象的轨迹段后,首先判断对象的局部标识是否与已确定的多个历史轨迹中的历史轨迹是否存在关联,在存在关联的情况下,基于对象的轨迹段更新目标历史轨迹,实现对象的轨迹确定;在不存在关联的情况下,确定其他相机下的多个轨迹段中,是否有与对象的轨迹段的目标相似度大于预设相似度的轨迹段,在存在的情况下,合并对象轨迹段以及目标轨迹段,实现对象轨迹的确定,也即对象的跟踪。
58.图1示出一种跨相机轨迹确定系统,本技术实施例提供的跨相机轨迹确定方法可以适用于如图1所示的跨相机轨迹确定系统,用于实现跨相机关联多个单相机中的对象,确定对象的轨迹。如图1所示,跨相机轨迹确定系统10中包括跨相机轨迹确定装置11、相机12以及相机13。
59.其中,跨相机轨迹确定装置11分别与相机12以及相机13连接,具体可以采用有线方式连接,也可以采用无线方式连接,本技术对此不作具体限定。
60.跨相机轨迹确定装置11、相机12以及相机13部署于车辆。
61.需要说明的,图1中示例性示出两个相机,分别为相机12以及相机13,用于表征本技术实施例提供的跨相机轨迹确定方法适用于车辆上的多相机场景,不构成对于相机数量上的限定,在车辆上部署3个、4个、5个等相机的情况下,本技术实施例提供的跨相机轨迹确定方法同样能够适用。
62.相机12以及相机13可以用于基于部署的位置,拍摄相应角度的视频,还可以用于将拍摄到的视频,以视频流的形式向跨相机轨迹确定装置11发送。
63.需要说明的,相机12以及相机13可以为深度相机,即可以获得rgb及对应的深度图。跨相机轨迹确定系统10的运维人员,预先设置相机的内参和外参,以及时间同步校准。
64.其中,相机外参为相机坐标系到车辆坐标系的变换矩阵,车辆坐标系的原点可以定义为车辆中心点到地面的投影点,世界坐标系可为车辆初始位置时的车辆坐标系,且固定不动。在相机的对象检测算法检测出对象的回归框时,选择回归框的下边缘终点作为该对象的图像位置,通过坐标变换,确定对象在世界坐标系中的位置。对象为自动驾驶中关系的目标或障碍物,例如行人、车辆等,本技术实施例对此不作具体限定。
65.跨相机轨迹确定装置11可以用于获取相机12以及相机13发送的视频流。
66.跨相机轨迹确定装置11还可以用于对视频流中的对象进行检测、实例分割以及跟踪,确定在相机下对象的轨迹段。其中,对象的轨迹段包括对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征。
67.跨相机轨迹确定装置11还可以用于确定多个历史轨迹中是否存在目标历史轨迹。
68.其中,历史轨迹由多个轨迹段合并得到,目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与对象的局部标识相同。
69.跨相机轨迹确定装置11还可以用于在多个历史轨迹中存在目标历史轨迹的情况下,根据对象的轨迹段更新目标历史轨迹。
70.跨相机轨迹确定装置11还可以用于在多个历史轨迹中不存在目标历史轨迹的情况下,确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度。
71.跨相机轨迹确定装置11还可以用于在多个轨迹段中存在目标轨迹段的情况下,确定对象的跨相机轨迹。
72.其中,跨相机轨迹中包括对象的轨迹段以及目标轨迹段,目标轨迹段为多个轨迹段中与对象的轨迹段的目标相似度大于预设相似度的轨迹段。
73.跨相机轨迹确定装置11还可以用于存储历史轨迹以及未关联的轨迹段。
74.图2是根据一些示例性实施例示出的一种跨相机轨迹确定方法的流程示意图。在一些实施例中,上述跨相机轨迹确定方法可以应用到如图1所示的跨相机轨迹确定系统10中的跨相机轨迹确定装置11。以下,本技术实施例以跨相机轨迹确定方法应用于跨相机轨迹确定装置11为例,对上述跨相机轨迹确定方法进行说明。
75.如图2所示,本技术实施例提供的跨相机轨迹确定方法,包括下述s201-s206。
76.s201、跨相机轨迹确定装置获取目标相机拍摄到的视频流。
77.其中,目标相机为部署于同一车辆上多个相机中的任意一个。
78.作为一种可能的实现方式,部署于同一车辆上的多个相机在车辆启动后开始拍摄,并基于预设周期,将拍摄到的视频以视频流的形式,向跨相机轨迹确定装置发送。
79.相应的,跨相机轨迹确定装置接收多个相机中的每个相机发送的视频流,获取目标相机拍摄到的视频流。
80.需要说明的,预设周期可以由跨相机轨迹确定系统的运维人员,预先在相机中设置,例如可以为1分钟,2分钟等,本技术实施例对此不作具体限定。
81.s202、跨相机轨迹确定装置确定在目标相机下对象的轨迹段。
82.其中,对象的轨迹段包括对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征。
83.作为一种可能的实现方式,跨相机轨迹确定装置采用mask r-cnn算法对视频流进行对象检测分割,确定对象的局部标识以及检测框。进一步的,跨相机轨迹确定装置采用fairmot算法对检测到的对象进行跟踪,确定对象在车辆坐标系下的轨迹,进而根据坐标转换,确定对象在世界坐标系中的轨迹。进一步的,跨相机轨迹确定装置还根据视频流中预设数量的对象图像,确定对象的外观特征,进而根据对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征,确定在目标相机下对象的轨迹段。
84.在一些实施例中,为了提高对象外观特征的准确性,跨相机轨迹确定装置确定在
目标相机下对象的轨迹段,如图3所示,还包括s2021-s2025。
85.s2021、跨相机轨迹确定装置基于预设算法对视频流进行对象检测,获取对象的局部标识以及检测框。
86.需要说明的,预设算法可以为mask r-cnn算法,也可以为faster r-cnn算法,或者还可以为其他用于对象检测的算法,可以由跨相机轨迹确定系统的运维人员,预先在跨相机轨迹确定装置中设置,本技术实施例对此不作具体限定。
87.s2022、跨相机轨迹确定装置根据对象的局部标识以及检测框,确定对象在世界坐标系中的轨迹。
88.作为一种可能的实现方式,跨相机轨迹确定装置基于上述步骤s2021中确定到的对象的局部标识以及检测框,将检测框底边的中点,确定为对象的位置。进一步的,跨相机轨迹确定装置基于对象的位置在车辆坐标系中的变化,确定对象在车辆坐标系下的轨迹,进而根据车辆坐标系与世界坐标系的转换矩阵,确定对象在世界坐标系中的轨迹。
89.s2023、跨相机轨迹确定装置确定视频流中包括对象的目标图像。
90.其中,目标图像为对象质量分数高于预设分数的多个图像,对象质量分数用于表征对象在图像中的清晰度、完整度以及朝向;
91.作为一种可能的实现方式,跨相机轨迹确定装置确定视频流中包括对象的图像,并针对每个图像,基于对象在每个图像中的清晰度、完整度以及朝向,计算图像的对象质量分数。进一步的,跨相机轨迹确定装置基于每个图像的对象质量分数与预设分数对比,将对象质量分数大于预设分数的图像确定为目标图像。
92.在一些实施例中,预设分数可以由跨相机轨迹确定装置根据得到的每个图像的对象质量分数,从大到小进行排序,将预设次序的图像的对象质量分数确定为预设分数,也即将预设次序前的图像确定为目标图像。
93.需要说明的,预设分数可以由跨相机轨迹确定装置根据一个视频流中的图像的对象质量分数确定,也可以由跨相机轨迹确定系统的运维人员,预先在跨相机轨迹确定装置中设置为固定值,本技术实施例对此不作具体限定。
94.s2024、跨相机轨迹确定装置根据目标图像确定对象的外观特征。
95.作为一种可能的实现方式,跨相机轨迹确定装置采用预设卷积神经网络,从上述步骤s2023中确定到的目标图像中,提取对象的外观特征。
96.需要说明的,预设卷积神经网络可以由跨相机轨迹确定系统的运维人员,预先在跨相机轨迹确定装置中设置为固定值,本技术实施例对此不作具体限定。
97.s2025、跨相机轨迹确定装置根据对象的局部标识、检测框、在世界坐标系中的轨迹以及外观特征,确定在目标相机下对象的轨迹段。
98.s203、跨相机轨迹确定装置确定多个历史轨迹中是否存在目标历史轨迹。
99.其中,历史轨迹由多个轨迹段合并得到,目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与对象的局部标识相同。
100.作为一种可能的实现方式,跨相机轨迹确定装置确定存储的多个历史轨迹中,每个历史轨迹对应的轨迹段,以及轨迹段对应的局部标识。进一步的,跨相机轨迹确定装置确定多个历史轨迹中每个历史轨迹对应的局部标识中,是否存在与对象的局部标识相同的局部标识。
101.在确定存在与对象的局部标识相同的局部标识的情况下,确定多个历史轨迹中存在目标历史轨迹;在确定不存在与对象的局部标识相同的局部标识的情况下,确定多个历史轨迹中不存在目标历史轨迹。
102.在一些实施例中,跨相机轨迹确定装置确定局部标识集合,其中,局部标识集合中包括多个历史轨迹中每个历史轨迹对应的局部标识。进一步的,跨相机轨迹确定装置确定局部标识集合中是否存在对象的局部标识。
103.在局部标识集合中存在对象的局部标识的情况下,跨相机轨迹确定装置确定多个历史轨迹中存在目标历史轨迹;在局部标识集合中不存在对象的局部标识的情况下,跨相机轨迹确定装置确定多个历史轨迹中不存在目标历史轨迹。
104.s204、跨相机轨迹确定装置在多个历史轨迹中存在目标历史轨迹的情况下,根据对象的轨迹段更新目标历史轨迹。
105.需要说明的,在本技术实施例中,每个轨迹段都具有跨相机轨迹确定装置配置的局部标识,每个历史轨迹都具有跨相机轨迹确定装置配置的全局标识。
106.作为一种可能的实现方式,在跨相机轨迹确定装置基于上述步骤s203确定多个历史轨迹中存在目标历史轨迹的情况下,跨相机轨迹确定装置将对象的轨迹段与目标历史轨迹合并,并将对象的外观特征并入目标历史轨迹的特征,以使得将识别到的对象的轨迹段,与其他轨迹段进行关联。
107.在一些实施例中,为了保障目标历史轨迹的特征质量,跨相机轨迹确定装置根据对象的轨迹段更新目标历史轨迹,如图4所示,还包括s2041-s2042。
108.s2041、跨相机轨迹确定装置确定目标历史轨迹中多个图像的对象质量分数中最低对象质量分数。
109.作为一种可能的实现方式,跨相机轨迹确定装置确定目标历史轨迹中,用于描述对象的图像的对象质量分数,并确定最低的对象质量分数,以及最低对象质量分数对应的图像。
110.s2042、跨相机轨迹确定装置在目标图像的对象质量分数,大于最低对象质量分数的情况下,根据目标图像替换最低对象质量分数对应的图像。
111.作为一种可能的实现方式,跨相机轨迹确定装置基于上述步骤s2023中确定到的目标图像,以及目标图像的对象质量分数,判断目标图像的对象质量分数与最低对象质量分数的大小。进一步的,在目标图像的对象质量分数大于最低对象质量分数的情况下,跨相机轨迹确定装置基于目标图像替换最低对象质量分数对应的图像,以目标图像来描述目标历史轨迹中的对象。
112.s205、跨相机轨迹确定装置在多个历史轨迹中不存在目标历史轨迹的情况下,确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度。
113.作为一种可能的实现方式,跨相机轨迹确定装置基于上述步骤s203确定多个历史轨迹中不存在目标历史轨迹的情况下,跨相机轨迹确定装置分别确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度,得到与其他相机下的多个轨迹段一一对应的多个目标相似度。
114.需要说明的,目标相似度可以为两个轨迹段的时空相似度、外观相似度和/或时空相似度和外观相似度的加权和。
115.在一些实施例中,跨相机轨迹确定装置确定对象的轨迹段与其他相机下的多个轨迹段的目标相似度可以为:跨相机轨迹确定装置确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的外观相似度和时空相似度;并根据外观相似度以及时空相似度,确定目标相似度。
116.具体的,在对象的轨迹段在目标相机与其他相机的重叠区域内的情况下,跨相机轨迹确定装置根据外观相似度、时空相似度,以及第一预设权重,确定目标相似度。
117.其中,第一预设权重包括外观相似度的权重以及时空相似度的权重,外观相似度的权重小于时空相似度的权重。
118.示例性的,第一预设权重包括外观相似度的权重为0.2,时空相似度权重为0.8,若外观相似度为a,时空相似度为b,则目标相似度s=0.2a+0.8b。
119.可以理解的,对于存在重叠区域情况来说,同一对象在不同的相机的当前跟踪结果应具有相近的世界坐标,历史跟踪结果应具有相近的轨迹起止位置、类似的轨迹形状、速度、方向等,故将时空相似度的权重设置的大于外观相似度,有助于提高目标相似度的准确性,但本技术实施例对于权重的具体大小不作限定。
120.在对象的轨迹段不在目标相机与其他相机的重叠区域内的情况下,跨相机轨迹确定装置根据外观相似度、时空相似度,以及第二预设权重,确定目标相似度。
121.其中,第二预设权重包括外观相似度的权重以及时空相似度的权重,外观相似度的权重大于时空相似度的权重。
122.示例性的,第二预设权重包括外观相似度的权重为0.65,时空相似度权重为0.35,若外观相似度为a,时空相似度为b,则目标相似度s=0.65a+0.35b。
123.可以理解的,对于不存在重叠区域情况来说,由于缺少了时空上的限制,为了提高目标相似度的准确性,应将时空相似度的权重设置的小于外观相似度,但本技术实施例对于权重的具体大小不作限定。
124.需要说明的,第一预设权重、第二预设权重可以由跨相机轨迹确定系统的运维人员,预先在跨相机轨迹确定装置中设置,本技术实施例对此不作具体限定。
125.s206、跨相机轨迹确定装置在多个轨迹段中存在目标轨迹段的情况下,确定对象的跨相机轨迹。
126.其中,跨相机轨迹中包括对象的轨迹段以及目标轨迹段,目标轨迹段为多个轨迹段中与对象的轨迹段的目标相似度大于预设相似度的轨迹段。
127.作为一种可能的实现方式,跨相机轨迹确定装置基于上述步骤s205中确定到的多个目标相似度,确定其中是否存在大于预设相似度的目标相似度。进一步的,在存在目标相似度大于预设相似度的情况下,确定与目标相似度对应的轨迹段为目标轨迹段,并将目标轨迹段与对象的轨迹段合并,确定对象的跨相机轨迹,并配置全局标识,以及从目标轨迹段以及对象的轨迹段中选择对象质量分数最高的预设数量的图像,确定对象的跨相机轨迹的外观特征。
128.在一些实施例中,跨相机轨迹确定装置在多个轨迹段中不存在目标轨迹段的情况下,更新多个轨迹段,更新后的多个轨迹段中包括对象的轨迹段。
129.可以理解的,在多个轨迹段中不存在目标轨迹段的情况下,即跨相机轨迹确定装置未找到与对象的轨迹段匹配的轨迹段情况下,将对象的轨迹段存储,确定为多个轨迹段
中的其中一个,以使得该对象后续再次出现时,调取进行匹配,更好的确定对象的运动轨迹。
130.在一些实施例中,跨相机轨迹确定装置在多个历史轨迹中的任意一个历史轨迹超过预设时长未更新的情况下,删除该任意一个历史轨迹。
131.可以理解的,跨相机轨迹确定装置监测存储的多个历史轨迹,在任意一个超过预设时长仍未更新的情况下,即表明该历史轨迹对应的对象已暂时消失,丢弃该对象的历史轨迹,避免长时间占用跨相机轨迹确定装置的存储资源,以及计算资源,减小资源消耗。
132.可以理解的,本技术提供的跨相机轨迹确定方法中,在获取到对象的轨迹段后,首先判断对象的局部标识是否与已确定的多个历史轨迹中的历史轨迹是否存在关联,在存在关联的情况下,基于对象的轨迹段更新目标历史轨迹,实现对象的轨迹确定;在不存在关联的情况下,确定其他相机下的多个轨迹段中,是否有与对象的轨迹段的目标相似度大于预设相似度的轨迹段,在存在的情况下,合并对象轨迹段以及目标轨迹段,实现对象轨迹的确定,也即对象的跟踪。
133.在一种设计中,结合如图1所示的跨相机轨迹确定系统10,如图5所示,跨相机轨迹确定装置11中包括单相机对象跟踪模块111、对象质量评价模块112、跨相机关联模块113、对象档案模块114。
134.其中,单相机对象跟踪模块111可以用于获取多个相机拍摄的视频流,在每个单相机的视频流中进行对象的检测、实例分割及跟踪,获取单相机下对象的局部标识(local_id)与轨迹段。
135.对象质量评价模块112可以用于确定单相机拍摄的视频流中,每张图像的对象质量评分,确定评分较高的目标图像提取到的特征,表征该对象在单相机下轨迹段的外观特征。
136.跨相机关联模块113可以用于关联轨迹段。
137.对象档案模块114可以用于维护和更新对象的全局标识(global_id)及局部标识(local_id)。
138.结合图5示出的跨相机轨迹确定系统,本技术实施例提供的跨相机轨迹确定方法的又一流程图,如图6所示,包括s1-s11。
139.s1、单相机对象跟踪模块获取多个单相机跟踪结果。
140.s2、对象质量评价模块对各个单相机跟踪结果进行对象质量评分。
141.s3、跨相机关联模块确定对象档案模块中的global_id是否存在当前多个单相机下对象的轨迹段的local_id。
142.需要说明的,在存在当前多个单相机下对象的轨迹段的local_id的情况下,执行步骤s4,在不存在当前多个单相机下对象的轨迹段的local_id的情况下,执行步骤s5。
143.s4、跨相机关联模块确定当前多个单相机下对象的轨迹段的local_id中具有相同local_id的global_id进行合并。
144.s5、跨相机关联模块确定对象是否在当前单相机与其他相机的重叠区域内。
145.需要说明的,在确定对象在当前单相机与其他相机的重叠区域内的情况下,执行步骤s6,在确定对象不在当前单相机与其他相机的重叠区域内的情况下,执行步骤s8。
146.s6、跨相机关联模块确定候选轨迹段。
147.其中,候选轨迹段为能够拍摄到当前重叠区域的其他相机下的轨迹段。
148.s7、跨相机关联模块计算不同相机local_id的目标相似度,并根据目标相似度合并轨迹段。
149.s8、跨相机关联模块确定历史候选轨迹段。
150.其中,历史候选轨迹段为对象档案模块中存储的轨迹段。
151.s9、跨相机关联模块计算local_id与历史候选轨迹段的目标相似度,并根据目标相似度合并或新增global_id。
152.s10、对象档案模块根据对象质量评分,更新对象档案。
153.s11、对象档案模块合并低质量档案。
154.需要说明的,跨相机轨迹确定装置中各模块对于跨相机轨迹确定方法的具体实现,可以参照本技术上述实施例的记载,此处不再进行赘述。
155.上述主要从方法的角度对本技术实施例提供的方案进行了介绍。为了实现上述功能,跨相机轨迹确定装置或跨相机轨迹确定设备包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
156.本技术实施例可以根据上述方法,示例性的对跨相机轨迹确定装置或跨相机轨迹确定设备进行功能模块的划分,例如,跨相机轨迹确定装置或跨相机轨迹确定设备可以包括对应各个功能划分的各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本技术实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
157.图7为本技术实施例提供的一种跨相机轨迹确定装置的结构示意图。该跨相机轨迹确定装置用于执行上述跨相机轨迹确定方法。如图7所示,该跨相机轨迹确定装置30包括获取单元301、确定单元302以及处理单元303。
158.获取单元301,用于获取目标相机拍摄到的视频流,目标相机为部署于同一车辆上多个相机中的任意一个。
159.确定单元302,用于确定在目标相机下对象的轨迹段;对象的轨迹段包括对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征。
160.确定单元302,还用于确定多个历史轨迹中是否存在目标历史轨迹,历史轨迹由多个轨迹段合并得到,目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与对象的局部标识相同。
161.处理单元303,用于在多个历史轨迹中存在目标历史轨迹的情况下,根据对象的轨迹段更新目标历史轨迹。
162.确定单元302,还用于在多个历史轨迹中不存在目标历史轨迹的情况下,确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度。
163.确定单元302,还用于在多个轨迹段中存在目标轨迹段的情况下,确定对象的跨相
机轨迹,跨相机轨迹中包括对象的轨迹段以及目标轨迹段,目标轨迹段为多个轨迹段中与对象的轨迹段的目标相似度大于预设相似度的轨迹段。
164.可选的,上述获取单元301,还用于基于预设算法对视频流进行对象检测,获取对象的局部标识以及检测框。
165.确定单元302,还用于根据对象的局部标识以及检测框,确定对象在世界坐标系中的轨迹;确定视频流中包括对象的目标图像,目标图像为对象质量分数高于预设分数的多个图像,对象质量分数用于表征对象在图像中的清晰度、完整度以及朝向;根据目标图像确定对象的外观特征;根据对象的局部标识、检测框、在世界坐标系中的轨迹以及外观特征,确定在目标相机下对象的轨迹段。
166.可选的,确定单元302,还用于确定局部标识集合,局部标识集合中包括多个历史轨迹中每个历史轨迹对应的局部标识;在局部标识集合中存在对象的局部标识的情况下,确定多个历史轨迹中存在目标历史轨迹;在局部标识集合中不存在对象的局部标识的情况下,确定多个历史轨迹中不存在目标历史轨迹。
167.可选的,确定单元302,还用于确定目标历史轨迹中的多个图像的对象质量分数中的最低对象质量分数。
168.处理单元303,还用于在目标图像的对象质量分数,大于最低对象质量分数的情况下,根据目标图像,替换最低对象质量分数对应的图像。
169.可选的,确定单元302,还用于确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的外观相似度和时空相似度;根据外观相似度以及时空相似度,确定目标相似度。
170.可选的,确定单元302,还用于在对象的轨迹段在目标相机与其他相机的重叠区域内的情况下,根据外观相似度、时空相似度,以及第一预设权重,确定目标相似度,第一预设权重包括外观相似度的权重以及时空相似度的权重,外观相似度的权重小于时空相似度的权重。
171.可选的,确定单元302,还用于在对象的轨迹段不在目标相机与其他相机的重叠区域内的情况下,根据外观相似度、时空相似度,以及第二预设权重,确定目标相似度,第二预设权重包括外观相似度的权重以及时空相似度的权重,外观相似度的权重大于时空相似度的权重。
172.可选的,处理单元303,还用于在多个轨迹段中不存在目标轨迹段的情况下,更新多个轨迹段,更新后的多个轨迹段中包括对象的轨迹段。
173.可选的,处理单元303,还用于在多个历史轨迹中的任意一个历史轨迹超过预设时长未更新的情况下,删除任意一个历史轨迹。
174.图8是根据一示例性实施例示出的一种跨相机轨迹确定设备的框图。如图8所示,跨相机轨迹确定设备40包括但不限于:处理器401和存储器402。
175.其中,上述的存储器402,用于存储上述处理器401的可执行指令。可以理解的是,上述处理器401被配置为执行指令,以实现上述实施例中的跨相机轨迹确定方法。
176.需要说明的是,本领域技术人员可以理解,图8中示出的跨相机轨迹确定设备结构并不构成对跨相机轨迹确定设备的限定,跨相机轨迹确定设备可以包括比图8所示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
177.处理器401是跨相机轨迹确定设备的控制中心,利用各种接口和线路连接整个跨
相机轨迹确定设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行跨相机轨迹确定设备的各种功能和处理数据,从而对跨相机轨迹确定设备进行整体监控。处理器401可包括一个或多个处理单元。可选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
178.存储器402可用于存储软件程序以及各种数据。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能模块所需的应用程序(比如确定单元、处理单元等)等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
179.在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器402,上述指令可由跨相机轨迹确定设备40的处理器401执行以实现上述实施例中的跨相机轨迹确定方法。
180.在实际实现时,图7中的获取单元301、确定单元302以及处理单元303的功能均可以由图8中的处理器401调用存储器402中存储的计算机程序实现。其具体的执行过程可参考上实施例中的跨相机轨迹确定方法部分的描述,这里不再赘述。
181.可选地,计算机可读存储介质可以是非临时性计算机可读存储介质,例如,该非临时性计算机可读存储介质可以是只读存储器(read-only memory,rom)、随机存储存储器(random access memory,ram)、cd-rom、磁带、软盘和光数据存储设备等。
182.在示例性实施例中,本技术实施例还提供了一种包括上述跨相机轨迹确定设备的车辆。
183.在示例性实施例中,本技术实施例还提供了一种包括一条或多条指令的计算机程序产品,该一条或多条指令可以由跨相机轨迹确定设备的处理器401执行以完成上述实施例中的跨相机轨迹确定方法。
184.需要说明的是,上述计算机可读存储介质中的指令或计算机程序产品中的一条或多条指令被跨相机轨迹确定设备的处理器执行时实现上述跨相机轨迹确定方法实施例的各个过程,且能达到与上述跨相机轨迹确定方法相同的技术效果,为避免重复,这里不再赘述。
185.通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全分类部或者部分功能。
186.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
187.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的
部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全分类部单元来实现本实施例方案的目的。
188.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
189.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全分类部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例方法的全分类部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
190.以上,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何在本技术揭露的技术范围内的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
技术特征:
1.一种跨相机轨迹确定方法,其特征在于,所述方法包括:获取目标相机拍摄到的视频流,所述目标相机为部署于同一车辆上多个相机中的任意一个;确定在所述目标相机下对象的轨迹段;所述对象的轨迹段包括所述对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征;确定多个历史轨迹中是否存在目标历史轨迹,历史轨迹由多个轨迹段合并得到,所述目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与所述对象的局部标识相同;在所述多个历史轨迹中存在所述目标历史轨迹的情况下,根据所述对象的轨迹段更新所述目标历史轨迹;在所述多个历史轨迹中不存在所述目标历史轨迹的情况下,确定所述对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度;在所述多个轨迹段中存在目标轨迹段的情况下,确定所述对象的跨相机轨迹,所述跨相机轨迹中包括所述对象的轨迹段以及目标轨迹段,所述目标轨迹段为所述多个轨迹段中与所述对象的轨迹段的目标相似度大于预设相似度的轨迹段。2.根据权利要求1所述的跨相机轨迹确定方法,其特征在于,所述确定在所述目标相机下对象的轨迹段,包括:基于预设算法对所述视频流进行对象检测,获取所述对象的局部标识以及检测框;根据所述对象的局部标识以及所述检测框,确定所述对象在所述世界坐标系中的轨迹;确定所述视频流中包括所述对象的目标图像,所述目标图像为对象质量分数高于预设分数的多个图像,所述对象质量分数用于表征所述对象在图像中的清晰度、完整度以及朝向;根据所述目标图像确定所述对象的外观特征;根据所述对象的局部标识、检测框、在世界坐标系中的轨迹以及外观特征,确定在所述目标相机下所述对象的轨迹段。3.根据权利要求1所述的跨相机轨迹确定方法,其特征在于,所述确定多个历史轨迹中是否存在目标历史轨迹,包括:确定局部标识集合,所述局部标识集合中包括所述多个历史轨迹中每个历史轨迹对应的局部标识;在所述局部标识集合中存在所述对象的局部标识的情况下,确定所述多个历史轨迹中存在所述目标历史轨迹;在所述局部标识集合中不存在所述对象的局部标识的情况下,确定所述多个历史轨迹中不存在所述目标历史轨迹。4.根据权利要求2所述的跨相机轨迹确定方法,其特征在于,所述根据所述对象的轨迹段更新所述目标历史轨迹,包括:确定所述目标历史轨迹中的多个图像的对象质量分数中的最低对象质量分数;在所述目标图像的对象质量分数,大于所述最低对象质量分数的情况下,根据所述目标图像,替换所述最低对象质量分数对应的图像。
5.根据权利要求1所述的跨相机轨迹确定方法,其特征在于,所述确定所述对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度,包括:确定所述对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的外观相似度和时空相似度;根据所述外观相似度以及所述时空相似度,确定所述目标相似度。6.根据权利要求5所述的跨相机轨迹确定方法,其特征在于,所述方法还包括:在所述对象的轨迹段在所述目标相机与其他相机的重叠区域内的情况下,根据所述外观相似度、所述时空相似度,以及第一预设权重,确定所述目标相似度,所述第一预设权重包括所述外观相似度的权重以及所述时空相似度的权重,所述外观相似度的权重小于所述时空相似度的权重。7.根据权利要求5所述的跨相机轨迹确定方法,其特征在于,所述方法还包括:在所述对象的轨迹段不在所述目标相机与其他相机的重叠区域内的情况下,根据所述外观相似度、所述时空相似度,以及第二预设权重,确定所述目标相似度,所述第二预设权重包括所述外观相似度的权重以及所述时空相似度的权重,所述外观相似度的权重大于所述时空相似度的权重。8.根据权利要求1所述的跨相机轨迹确定方法,其特征在于,所述方法还包括:在所述多个轨迹段中不存在所述目标轨迹段的情况下,更新所述多个轨迹段,更新后的所述多个轨迹段中包括所述对象的轨迹段。9.根据权利要求1所述的跨相机轨迹确定方法,其特征在于,所述方法还包括:在所述多个历史轨迹中的任意一个历史轨迹超过预设时长未更新的情况下,删除所述任意一个历史轨迹。10.一种跨相机轨迹确定装置,其特征在于,包括获取单元、确定单元以及处理单元;所述获取单元,用于获取目标相机拍摄到的视频流,所述目标相机为部署于同一车辆上多个相机中的任意一个;所述确定单元,用于确定在所述目标相机下对象的轨迹段;所述对象的轨迹段包括所述对象的局部标识、检测框、世界坐标系中的轨迹以及外观特征;所述确定单元,还用于确定多个历史轨迹中是否存在目标历史轨迹,历史轨迹由多个轨迹段合并得到,所述目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与所述对象的局部标识相同;所述处理单元,用于在所述多个历史轨迹中存在所述目标历史轨迹的情况下,根据所述对象的轨迹段更新所述目标历史轨迹;所述确定单元,还用于在所述多个历史轨迹中不存在所述目标历史轨迹的情况下,确定所述对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度;所述确定单元,还用于在所述多个轨迹段中存在目标轨迹段的情况下,确定所述对象的跨相机轨迹,所述跨相机轨迹中包括所述对象的轨迹段以及目标轨迹段,所述目标轨迹段为所述多个轨迹段中与所述对象的轨迹段的目标相似度大于预设相似度的轨迹段。11.一种跨相机轨迹确定设备,其特征在于,部署于车辆,包括存储器和处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;
当所述处理器执行所述计算机指令时,所述跨相机轨迹确定设备执行如权利要求1-9中任意一项所述的跨相机轨迹确定方法。12.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在跨相机轨迹确定设备上运行时,使得所述跨相机轨迹确定设备执行如权利要求1-9中任意一项所述的跨相机轨迹确定方法。13.一种车辆,其特征在于,包括如权利要求11所述的跨相机轨迹确定设备。
技术总结
本申请涉及一种跨相机轨迹确定方法、装置、设备及存储介质,涉及汽车技术领域。该方法包括:获取目标相机拍摄到的视频流,并确定在目标相机下对象的轨迹段。进一步的,确定多个历史轨迹中是否存在目标历史轨迹,目标历史轨迹包括的多个轨迹段中,存在至少一个轨迹段包括的局部标识与对象的局部标识相同。在多个历史轨迹中存在目标历史轨迹的情况下,根据对象的轨迹段更新目标历史轨迹;在多个历史轨迹中不存在目标历史轨迹的情况下,确定对象的轨迹段与其他相机下的多个轨迹段中每个轨迹段的目标相似度。在多个轨迹段中存在目标轨迹段的情况下,确定对象的跨相机轨迹。由此,实现跨相机关联多个单相机中的对象,确定对象的轨迹。确定对象的轨迹。确定对象的轨迹。
技术研发人员:邹明杰
受保护的技术使用者:重庆长安汽车股份有限公司
技术研发日:2023.03.28
技术公布日:2023/7/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/