一种行人地理轨迹提取方法及设备与流程

1.本技术涉及目标检测与追踪技术领域，特别是涉及一种行人地理轨迹提取方法及设备。


背景技术：

2.随着移动设备和定位技术的发展，越来越多的人开始在日常生活中使用智能手机、手表等设备来记录自己的位置信息，这些位置信息可以被用来提取行人地理轨迹，从而揭示人们的行为模式和移动规律，这对城市规划、交通管理、公共安全等领域具有重要的研究价值。
3.目前的行人地理轨迹提取技术主要包括以下几种：惯性导航系统(inertial navigation system,ins)、全球导航卫星系统(global navigation satellite system,gnss)或wifi技术来获取行人轨迹，但是ins定位误差随着时间累积，导致导航精度低，gps的自主性低，容易受到环境干扰，而wifi技术的使用依赖用户开启相应功能，才能对用户的位置进行定位，因此现有技术中的上述行人地理轨迹提取技术均无法满足高效精确提取行人轨迹数据的需求。
4.因此，现有技术有待进一步的改进和提高。


技术实现要素：

5.鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种行人地理轨迹提取方法及设备，克服现有技术中容易受环境干扰和轨迹提取精度低的缺陷。
6.本发明解决技术问题所采用的技术方案如下：
7.第一方面，本实施例提供了一种行人地理轨迹提取方法，其中，包括：
8.获取无人机视频对应的各个无人机图像，并利用目标检测算法对各个无人机图像中的目标行人进行识别；
9.利用多目标跟踪算法对各个无人机图像中识别出的目标行人进行像素轨迹提取，得到行人像素轨迹；
10.利用图像配准算法对所述无人机图像中的地理坐标进行识别，得到无人机图像的像素坐标与地理坐标之间的映射关系；
11.基于所述无人机的像素坐标与地理坐标之间的映射关系和所述行人像素轨迹得到行人地理轨迹。
12.可选的，所述目标检测算法为添加了cbam注意力机制单元的改进yolov5网络；所述yolov5网络包括：backbone网络模块；所述cbam注意力机制单元添加设置在所述backbone网络模块的csp单元和cbl单元之间；所述cbam注意力机制单元包括：通道注意力子单元和空间注意力子单元。
13.可选的，所述利用目标检测算法对各个无人机图像中的目标行人进行识别的步骤还包括：
14.利用kmeans++算法对训练数据集中训练图像的行人目标先验框进行聚类，选出k个初始的聚类中心；
15.利用所述k个初始的聚类中心对无人机图像执行kmeans算法进行聚类；其中，k为正整数；
16.将聚类完成的无人机图像输入改进的yolov5网络进行目标行人识别。
17.可选的，所述多目标跟踪算法为改进的deepsort算法；在deepsort算法的级联匹配过程中增加轨迹置信度得到所述改进的deepsort算法；所述轨迹置信度为目标跟踪算法提取得到的预测行人像素轨迹与真实行人轨迹之间的相似度；
18.所述利用多目标跟踪算法对各个无人机图像中识别出的目标行人进行像素轨迹提取的步骤包括：
19.利用改进的deepsort算法进行级联匹配处理时，分别计算外观相似度、运动相似度、形状相似度和轨迹置信度；
20.按照预设权重系数计算外观相似度、运动相似度、形状相似度和轨迹置信度的加权值，并将计算得到的加权值与预设相似度阈值相比较，删除加权值超过所述预设相似度阈值的行人像素轨迹。
21.可选的，所述轨迹置信度的计算公式为：
[0022][0023]
其中，l表示行人运动轨迹的长度，w表示漏检帧数，其中，l表示行人运动轨迹的长度，w表示漏检帧数，为行人没有被遮挡轨迹的起始时刻，为行人没有被遮挡轨迹的终止时刻；k表无人机图像在无人机视频中的第k帧，k为正整数；β代表取值范围在[0,1]的常量，λ(ti,xi)表示行人间相似度。
[0024]
可选的，所述图像配准算法由改进的unet网络和特征匹配算法组成；其中，所述改进的unet网络为加入aspp模块和ca模块的unet网络。
[0025]
可选的，所述利用图像配准算法对所述无人机图像中的地理坐标进行识别，得到无人机图像的像素坐标与地理坐标之间的映射关系的步骤包括:
[0026]
将无人机图像输入至改进的unet网络，利用改进的unet网络得到无人机图像的道路分割信息；
[0027]
利用所述特征匹配算法对无人机图像的道路分割信息进行特征点提取，得到道路特征点；
[0028]
将所述道路特征点与特征点数据库中存储的特征点进行匹配，得到含有无人机图像的像素坐标与地理坐标之间映射关系的配准图像，其中，所述特征点数据库中保存的特征点为基于基准图进行道路特征点提取得到的。
[0029]
可选的，所述基于所述无人机的像素坐标与地理坐标之间的映射关系和所述行人像素轨迹得到行人轨迹的步骤包括：
[0030]
根据所述无人机的像素坐标与地理坐标之间的映射关系得到无人机图像的地理坐标；
[0031]
通过行人像素轨迹和无人机图像的地理坐标确定出行人的地理轨迹。
[0032]
第二方面，本实施例还公开了一种信息处理终端，包括存储器和处理器，所述存储
器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述方法的步骤。
[0033]
第三方面，本实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的方法的步骤。
[0034]
本实施例公开了一种行人地理轨迹提取方法及设备，通过获取无人机视频对应的各个无人机图像，利用目标检测算法对各个无人机图像中的目标行人进行识别，利用多目标跟踪算法对无人机图像中识别出的目标行人进行像素轨迹提取，得到行人像素轨迹；利用图像配准算法对无人机图像中的地理坐标进行识别，得到无人机图像的像素坐标与地理坐标之间的映射关系，基于无人机的像素坐标与地理坐标之间的映射关系和行人像素轨迹得到行人轨迹。本实施例公开的行人地理轨迹提取方法，通过地理配准技术对图像进行准确定位，轨迹提取精度较高，且相比于基于gps等设备的轨迹提取方法，不受信号遮挡等因素的影响，可实现实时的行人地理轨迹提取。
附图说明
[0035]
图1为本发明实施例中行人地理轨迹提取的原理示意图
[0036]
图2为本发明实施例中行人地理轨迹提取方法的流程图；
[0037]
图3为本发明实施例中yolov5网络的结构示意图；
[0038]
图4为本发明实施例中cbam注意力机制单元的结构示意图；
[0039]
图5为本发明实施例中改进的yolov5网络中backbone模块的结构示意图；
[0040]
图6为本发明实施例中deepsort算法的结构示意图；
[0041]
图7为本发明实施例中改进的unet网络的结构示意图；
[0042]
图8为本发明实施例中利用图像配准算法对所述无人机图像中的地理坐标进行识别的步骤流程示意图。
具体实施方式
[0043]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0044]
行人地理轨迹提取是指从行人的移动位置数据中提取行人轨迹的过程。由于行人的轨迹中揭示人们的行为模式和移动规律，因此对城市规划、交通管理、公共安全等领域具有重要的研究价值。尤其在公共安全监测中，行人地理轨迹蕴藏着丰富的行为信息及事件规律，可以反映出当前空间中行人个体或人群整体的位置状态，具有重大研究价值。
[0045]
目前常通过惯性导航系统(inertial navigation system,ins)或全球导航卫星系统(global navigation satellite system,gnss)来获取行人地理轨迹。基于wifi信号强度的方法通过手机或其他移动设备扫描周围的wifi信号，并计算信号强度，利用wifi信号的强度值来确定移动设备所处的位置，从而提取行人地理轨迹。基于惯性传感器(inertial measurement unit,imu)的方法通过手机或其他移动设备的加速度计数据来判断行人的运动状态和方向，从而提取行人的轨迹。
[0046]
近年来随着视频监控设备的广泛应用及计算机视觉技术的快速发展，利用视频监控技术对行人的运动轨迹进行捕捉和分析，从而提取行人轨迹的方法成为了主流的研究方
法。有学者提出了一种基于单个鱼眼相机的行人轨迹提取方法，可以实现整体无盲区的室内空间监控。该方法能够在有或没有标记的平面或不平坦地形上检测和跟踪人。另外，有的学者提出了一种基于深度学习的行人检测与跟踪方法，利用时间序列模型对行人轨迹进行建模，将行人的运动行为转化为轨迹，能够实现对行人在视频中的准确跟踪。还有学者提出了一种基于轨迹相似性的行人关联算法，能够实现不同视频中的行人轨迹的关联，并在行人轨迹数据库中进行快速检索，该方法能够在室内视频监控场景下实现高效准确的行人轨迹提取与关联检索。
[0047]
虽然ins可以在不依赖于任何外部信息的情况下实现完全自主的导航，具有很好的隐蔽性和抗干扰能力，可在全天候工作，但其定位误差随时间快速累积，导航精度受系统设备的影响较大。gnss定位精度高，误差不随时间累积，其中全球定位系统(global positioning system,gps)拥有极高的全球覆盖率，但gps的自主性低，容易受环境干扰。另一方面，通过惯性导航系统或全球导航卫星系统获取的轨迹信息需要用户主动提供，不能随意获取，导致数据获取受限。由于wifi信号的覆盖范围和信号强度受到环境影响，如墙壁、人流等，因此在室内环境下，行人地理轨迹提取的精度有限。另外，由于多路径效应等原因，wifi信号的强度难以准确反映位置信息。而且基于wifi信号的轨迹提取需要用户手机开启wifi功能并连接到可用的wifi网络，否则无法获取wifi信号强度信息。同时由于wifi信号的覆盖范围较广，可能涉及到用户隐私问题。在基于imu的行人地理轨迹提取的方法中，由于imu的测量存在累积误差，随着时间的推移，误差会不断积累，导致轨迹精度下降。另外，imu的测量受到环境干扰，如震动、温度变化等，容易产生噪声，影响轨迹精度，因此现有行人地理轨迹提取方法的局限性导致提取到的轨迹信息无法满足高精度的需求。
[0048]
为了克服上述问题，本实施例提供了一种行人地理轨迹提取的方法及设备，结合图1所示，本方法通过对无人机图像中的目标行人进行检测和跟踪，获取到行人像素轨迹，同时对无人机图像进行地理坐标配准，获取到无人机图像的像素坐标与地理坐标之间的映射关系，基于行人像素轨迹和获取到的无人机图像的像素坐标与地理坐标之间的映射关系，得到像素轨迹与地理轨迹之间的映射关系，从而实现对行人地理轨迹的提取。本实施例提供的行人地理轨迹的提取方法同时适用于室内和室外环境，且对于复杂的环境和场景也可以较好地应对，可以获取到更高精度的轨迹信息，有利于对行人地理轨迹做进一步研究与应用，使轨迹数据发挥更大的实用价值。
[0049]
下面结合附图所示，对本实施例提供的一种行人地理轨迹提取方法及设备做详细的说明。
[0050]
本实施例提供了一种行人地理轨迹提取方法，如图2所示，所述方法包括：
[0051]
步骤s1、获取无人机视频对应的各个无人机图像，并利用目标检测算法对各个无人机图像中的目标行人进行识别。
[0052]
在本步骤之前，首先利用无人机的摄像机对待行人地理轨迹区域进行拍摄，得到该区域的无人机视频，对无人机视频进行处理，得到与该无人机视频相对应的一系列视频帧。该视频帧为中的每一帧在本实施例中为一张无人机图像。由于需要获取到行人的运动轨迹，因此本步骤中的各个无人机图像为时间上连续的视频帧，基于对一系列视频帧进行目标检测和信息提取，从而提取到图像中行人地理轨迹。
[0053]
当获取到一系列无人机图像后，则需要先对其进行预处理，使得处理后的无人机
图像输入至改进的yolov5网络中更准确的识别出目标行人，因此在本步骤还包括：
[0054]
利用kmeans++算法对训练数据集中训练图像的行人目标先验框进行聚类，选出k个初始的聚类中心；利用所述k个初始的聚类中心对无人机图像执行kmeans算法进行聚类；其中，k为正整数；将聚类完成的无人机图像输入改进的yolov5网络进行目标行人识别。
[0055]
由于无人机在不同飞行高度下目标行人的尺寸变化较大，飞行高度越高，则在无人机视频中行人尺寸越小，则为了使得无人机图像更适合进行行人检测，则采用kmeans++聚类方法对先验框进行聚类，因此首先需要先确定出无人机图像中的各个先验框。
[0056]
本步骤中利用kmeans++算法对无人机图像中确定出的先验框进行聚类，以得到聚类后的无人机图像，其具体步骤如下：
[0057]
先从先对原始数据集进行筛选得visdrone2019-pedestrian数据集，仅保留行人目标框的宽、高形成样本集，从样本集中随机选择一个样本作为初始聚类中心,计算每个样本与其最近聚类中心的距离，以交并比作为距离度量，计算每个样本成为聚类中心的概率，选择概率较大的样本作为新的聚类中心，重复多次选择，直至选出多个聚类中心，利用选择出的多个聚类中心执行kmeans算法。
[0058]
在使用上述聚类方法对无人机图像中的先验框进行聚类以后，则执行利用目标检测算法对各个无人机图像中的目标行人进行识别的步骤，从无人机图像中识别出行人。具体的，目标检测算法有很多种，本实施例中选择基于yolov5的行人目标检测算法实现对无人机图像中目标行人的检测。
[0059]
yolov5网络结构是yolo系列中的一种高效的目标检测算法，其整体结构如图3所示，yolov5网络包括：输入层、backbone网络模块、neck网络模块和输出层。无人机图像先输入至输入层，依次经过马赛克数据增强、自适应图像缩放和自适应锚框的处理后，输入至backbone网络模块，经过backbone网络模块进行特征提取后，将提取到的特征输入至neck网络模块，neck网络模块输出的结果经过卷积处理后输出。
[0060]
为了实现更好的目标行人检测结果，本实施例中使用的yolov5网络为改进的yolov5网络。结合图4和图5所示，该yolov5网络的backbone网络模块中添加了cbam注意力机制单元，该cbam注意力机制单元设置在backbone网络模块的csp单元和cbl单元之间。cbam注意力机制单元包括：通道注意力子单元和空间注意力子单元，以实现对小目标特征的提取，避免无人机图像中目标行人由于尺寸较小而误检或漏检。
[0061]
进一步的，改进前的backbone网络模块包括：依次连接的focus单元、第一cbl单元、csp1_1单元、第二cbl单元、csp1_2单元、第三cbl单元、csp1_3单元、第四cbl单元、spp单元，csp2_1单元、第五cbl单元和spp单元。在改进后的backbone网络模块中cbam注意力机制单元设置在各个csp单元和cbl单元之间，也即是改进后的backbone网络模块包括：依次连接的focus单元、第一cbl单元、csp1_1单元、第一cbam注意力机制单元、第二cbl单元、csp1_2单元、第二cbam注意力机制单元，第三cbl单元、csp1_3单元、第三cbam注意力机制单元、第四cbl单元、spp单元，csp2_1单元、第四cbam注意力机制单元、第五cbl单元和spp单元。
[0062]
本步骤中利用改进的yolov5网络对无人机图像中的目标行人进行检测，识别出其中的行人特征，由于将cbam模块融入yolov5网络的骨干网络中，实现对无人机图像中小目标行人的特征进行有效提取，因此促使小目标特征更容易被网络学习，进而提高整个模型的检测性能。
[0063]
步骤s2、利用多目标跟踪算法对各个无人机图像中识别出的目标行人进行像素轨迹提取，得到行人像素轨迹。
[0064]
由于无人机图像的背景复杂，并且目标行人在图像中的尺寸较小，容易导致容易收到遮挡，进而无法实现对行人的准确跟踪，也无法实现提取到稳定的行人地理轨迹，因此本步骤中利用多目标跟踪算法对无人机图像中识别的目标行人进行像素轨迹提取，以实现无人机图像中的行人追踪。
[0065]
具体的，本步骤中使用的多目标跟踪算法为改进的deepsort算法，在deepsort算法的级联匹配过程中增加轨迹置信度得到改进的deepsort算法。本实施例通过在deepsort算法的级联匹配中增加了轨迹置信度的度量，利用改进的deepsort算法对识别出的目标行人进行跟踪，以实现轨迹与目标检测结果的准确匹配。
[0066]
轨迹置信度为一种相似性度量，以轨迹长度、轨迹遮挡程度等信息作为考量指标，衡量算法计算得到的轨迹与真实轨迹之间相似程度。在deepsort算法中的级联匹配中存在外观相似度、运动相似度、形状相似度的度量，本实施例中在上述相似度的度量基础上增加了轨迹置信度的度量，以提高行人跟踪的稳定性。
[0067]
利用改进的deepsort算法进行级联匹配处理时，分别计算外观相似度、运动相似度、形状相似度和轨迹置信度；
[0068]
按照预设权重系数计算外观相似度、运动相似度、形状相似度和轨迹置信度的加权值，并将计算得到的加权值与预设相似度阈值相比较，删除加权值超过所述预设相似度阈值的行人像素轨迹。
[0069]
进一步的，所述轨迹置信度的计算公式为：
[0070][0071]
其中，l表示行人运动轨迹的长度，w表示漏检帧数，其中，l表示行人运动轨迹的长度，w表示漏检帧数，为行人没有被遮挡轨迹的起始时刻，为行人没有被遮挡轨迹的终止时刻；k表无人机图像在无人机视频中的第k帧，k为正整数；β代表取值范围在[0,1]的常量，λ(ti,xi)表示行人间相似度。
[0072]
由于在进行目标行人跟踪时，在deepsort算法中增加了轨迹置信度的考量，从而提高了级联匹配时真实轨迹与目标检测出轨迹之间的匹配准确度和行人地理跟踪的稳定性。
[0073]
步骤s3、利用图像配准算法对所述无人机图像中的地理坐标进行识别，得到无人机图像的像素坐标与地理坐标之间的映射关系。
[0074]
本步骤中利用图像配准算法对无人机图像中的地理坐标进行识别。本实施例中所使用的图像配准算法由改进的unet网络及基于道路语义约束的特征匹配算法组成。
[0075]
本实施例公开的改进的unet网络为在传统的unet网络中增加空洞空间金字塔池化(atrous spatial pyramid pooling,aspp)和coordattention(coordinate attention，ca)模块，以实现特征提取更加准确，模型分割的精度更高。
[0076]
如图7所示，unet网络中包括多个卷积层，在其u型结构中左边卷积网络部分通过下采样进行图像中特征的提取，右边卷积网络部分通过上采样以实现输出的特征图恢复到原图大小。下采样卷积层从上到下分别包括：第一下卷积层x
0,0
，第二下卷积层x
1,0
，第三下
卷积层x
2,0
，第四下卷积层x
3,0
，第五下卷积层x
4,0
。上采样卷积层从下到上分别包括：第一上卷积层x
3,1
，第二上卷积层x
2,1
，第三上卷积层x
1,1
，第四上卷积层x
0,1
。本实施例提供的改进的unet网络在下采样的卷积层和其对应上采样卷积层之间增加了aspp模块，具体的，改进后的unet网络结构在第一下卷积层x
0,0
和第四上卷积层x
0,1
之间增加了第一aspp模块，在第二下卷积层x
1,0
和第三上卷积层x
1,1
之间增加了第二aspp模块，在第三下卷积层x
2,0
和第二上卷积层x
2,1
之间增加了第三aspp模块，在第四下卷积层x
3,0
和第一上卷积层x
3,1
之间增加了第四aspp模块，以及在第五下卷积层x
4,0
和第一上卷积层x
3,1
之间增加了ca模块。由于aspp模块可以帮助网络更好地处理尺度变化和不同尺度物体的分割问题，ca模块可以帮助网络更好地关注和利用对分割任务有意义的特征，从而在实际应用中提高网络的性能表现，使得分割结果更加准确和可靠。因此改进后的unet网络可以获取到更好特征提取效果。
[0077]
结合图8所示，改进的unet语义分割网络用于对无人机图像中的道路进行分割，得到无人机图像的道路分割结果，再利用特征匹配算法对分割出道路的无人机图像进行特征点提取，以获取到道路特征点，最后将获取到的道路特征点与基准特征点进行匹配，从而得到无人机图像与基准图的像素对应关系。
[0078]
步骤s4、基于所述无人机的像素坐标与地理坐标之间的映射关系和所述行人像素轨迹得到行人地理轨迹。
[0079]
当上述步骤s2中获取到无人机图像中的行人像素轨迹和步骤s3中获取到无人机像素坐标与地理坐标之间的映射关系后，则可以得到无人机图像像素坐标与地理坐标之间的对应关系，通过行人像素轨迹与无人机图像的地理坐标，从而推算出行人的地理轨迹，实现行人地理轨迹的提取。
[0080]
针对行人地理轨迹获取困难且轨迹精度低的问题，本实施例提出了一种行人地理轨迹提取方法，该方法使用了计算机视觉、图像地理配准等技术手段，基于yolov5+deepsort的行人检测与追踪模型，以及根据针对目标行人的尺寸小，易被遮挡等问题，通过kmeans++先验框聚类、cbam注意力机制及轨迹置信度等改进策略，有效地提高检测精度以及跟踪效果，使得获取的行人像素轨迹更加连续可靠。
[0081]
下面对本方法的具体应用实施例做进一步详细的说明。
[0082]
本发明所述方法在具体应用实施时的步骤包括以下：
[0083]
步骤h1、利用yolov5的目标检测算法对无人机图像中的目标行人进行检测。
[0084]
针对无人机不同飞行高度下行人目标尺寸变化明显及kmeans算法在随机初始化k个质心时的位置选择对聚类结果和运行时间影响较大的问题，本发明先采用kmeans++聚类方法对先验框进行聚类，使其更适用于无人机图像中的行人检测。
[0085]
具体的，基于kmeans++的目标框聚类算法步骤如下所示：
[0086]
步骤1、由于visdrone2019数据集共包含10个类别，因此首先对原始数据集进行筛选得visdrone2019-pedestrian数据集，仅保留行人目标框的宽、高形成样本集。
[0087]
步骤2、从步骤1得到的样本集中随机选择一个样本作为初始聚类中心c1。
[0088]
步骤3、计算每个样本与其最近的聚类中心的距离d(x)，以交并比(intersection over union,iou)作为距离度量，则d(x)的计算如公式(2)所示：
[0089]
d(x)＝1-iou(box,center)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0090]
步骤4、计算每个样本成为聚类中心的概率p(x)：
[0091][0092]
步骤5、选择概率较大的样本作为新的聚类中心，重复步骤3、4，直到选出k个聚类中心；
[0093]
步骤6、利用这k个初始的聚类中心来执行标准kmeans算法。
[0094]
进一步的，由于无人机图像中行人目标较小，其特征信息在深层网络中易丢失，导致出现误检及漏检等问题，因此在进行行人目标检测时，在yolov5网络中增加cbam注意力机制，以通过cbam注意力机制中的通道注意力模块和空间注意力模块对小目标的特征进行有效提取，促使小目标信息更容易被网络学习。
[0095]
本实施例具体的将cbam模块融入yolov5网络的backbone模块中，实现对无人机图像中小目标行人的特征进行有效提取，促使小目标特征更容易被网络学习，进而提高整个模型的检测性能.
[0096]
步骤h2、基于检测出的行人目标进行跟踪得到行人像素轨迹。
[0097]
简单的在线实时跟踪(simple online and realtime tracking，sort)是一种广泛使用于视频或图像序列中的多目标跟踪的算法。sort算法中使用卡尔曼滤波器来估计每个目标的状态(位置、速度和大小)并预测其在下一帧中的位置；使用匈牙利算法根据预测框与检测框间的iou指标作为距离度量，将检测结果分配给现有轨迹。
[0098]
deepsort是sort多目标跟踪算法的改进版本，极大改善了sort算法依赖边界框之间的距离匹配而忽略了内容特征导致的身份变换现象。deepsort使用级联匹配的策略，通过集成表观信息与边界框iou度量来减少身份切换的次数，最后采取验证机制对生成的轨迹进行预测，提升轨迹的准确度。
[0099]
结合图6所示，deepsort算法使用卡尔曼滤波对fi帧中的每条轨迹进行预测，得到轨迹在f
i+1
帧中的预测结果，通过级联匹配策略将f
i+1
帧中的预测结果与f
i+1
帧中的目标检测结果进行匹配，如果成功匹配则将f
i+1
帧中的目标检测结果加入至对应轨迹；通过匈牙利算法求解级联匹配未成功目标检测结果和轨迹的最佳匹配方案，通常使用iou作为匹配代价；将匈牙利算法成功匹配的目标检测结果加入至对应轨迹；对于仍未匹配上的检测结果，将其状态标记为“暂定”，如果后续3帧都成功匹配上，则确认成为一条新轨迹，否则将其删除；对于仍未匹配成功的轨迹，设置一个生命周期阈值，当该轨迹未匹配时间超过该阈值时，认为目标已离开场景，并将这条轨迹删除。
[0100]
由于本实施例所要获取到的是行人的像素轨迹，通常情况下，无人机图像拍摄高度较高，视角覆盖较广，因此导致无人机图像中背景复杂，小目标行人在无人机的拍摄场景下易受遮挡，从而导致行人跟踪效果较差，无法有效地获取行人稳定连续的轨迹。
[0101]
针对上述问题，本步骤在deepsort算法中的级联匹配阶段中引入了轨迹置信度的概念，来丰富级联匹配度量的计算，以改善轨迹与目标检测结果的匹配效果，提高行人跟踪稳定性。
[0102]
具体的，轨迹置信度是一种轨迹的相似性度量，以轨迹长度、轨迹遮挡程度及轨迹中行人间相似度作为度量指标，计算由目标跟踪算法得到的轨迹与真实轨迹的相似程度。轨迹置信度的值通常初始化为1，其计算公式为：
[0103][0104]
其中，l表示轨迹的长度，通常轨迹长度与跟踪可靠性成正比，即轨迹越长，跟踪可靠性越高，反之亦然；w表示漏检帧数，通常漏检帧数与跟踪可靠性成反比，即漏检帧数越少，跟踪可靠性越高；β代表的是一个取值范围在[0，1]的常量，其值随目标检测模型的性能动态变化。λ(ti，xi)表示行人间相似度，由于目标检测模型得到的行人特征可能存在相似，从而导致一条轨迹可能存在多个行人的轨迹片段，因此不同行人间的相似性越高，则轨迹越不可靠。
[0105]
具体的，在deepsort算法中的级联匹配阶段，分别计算外观相似度、运动相似度、形状相似度和轨迹置信度，并根据预设的各个权重系数，计算外观相似度、运动相似度、形状相似度和轨迹置信度的加权值，并将计算得到加权值与预设相似度阈值进行比较，删除加权值超出预设相似度阈值的行人像素轨迹。
[0106]
步骤h3、基于语义分割的无人机图像地理配准算法对无人机图像进行地理配准，获取到无人机图像的地理坐标信息。
[0107]
无人机图像地理配准算法由改进的unet网络及基于道路语义约束的特征匹配算法组成。
[0108]
改进的unet语义分割网络通过加入aspp模块和ca模块使得提取特征更加有效，提高了模型分割精度。通过加入道路语义约束将特征提取的关注区域集中于道路区域，该策略可以有效地减少冗余特征，提高特征匹配效率。在特征匹配阶段通过ransac算法对匹配的特征点对进行筛选，可以有效地消除误匹配，有利于提高图像配准精度。
[0109]
简单的在线实时跟踪(simple online and realtime tracking，sort)是一种广泛使用于视频或图像序列中的多目标跟踪的算法。sort算法中使用卡尔曼滤波器来估计每个目标的状态(位置、速度和大小)并预测其在下一帧中的位置；使用匈牙利算法根据预测框与检测框间的iou指标作为距离度量，将检测结果分配给现有轨迹。deepsort是sort多目标跟踪算法的改进版本，极大改善了sort算法依赖边界框之间的距离匹配而忽略了内容特征导致的身份变换现象。deepsort使用级联匹配的策略，通过集成表观信息与边界框iou度量来减少身份切换的次数，最后采取验证机制对生成的轨迹进行预测，提升轨迹的准确度。
[0110]
结合图8所示，首先获取到基准图，基于语义约束对基准图进行道路语义约束，并对道路语义约束的基准图进行道路特征点预提取，并将提取得到的道路特征点保存至特征点数据库。同时，对无人机图像进行姿态解算处理，得到无人机图像的正射图像，并基于语义分割模型对该正射图像进行分割，得到分割后的道路分割结果。基于分割得到的道路图像进行特征点提取，得到无人机图像中的道路特征点，将无人机图像中的道路特征点与特征点数据库中的特征点进行匹配，得到特征点之间映射关系的配准图像，从而得到无人机图像中各个像素的地理坐标。本步骤中利用特征匹配得到无人机图像中的像素坐标与基准图的像素坐标对应关系，结合基准图像素坐标与地理坐标的映射关系，最终可以求解出无人机图像中各个像素的地理坐标，实现无人机图像的地理配准。
[0111]
步骤h4、基于行人像素轨迹和无人机图像的像素坐标与地理坐标之间的对应关系进行行人地理轨迹的提取。
[0112]
通过步骤h1和步骤h2可以获得无人机视频中稳定连续的行人像素轨迹，经过步骤h3可以得到无人机图像的地理配准结果，进而得到无人机图像像素坐标与地理坐标的对应关系，通过行人像素轨迹-无人机图像地理坐标，可以解算出行人的地理轨迹，实现行人地理轨迹提取。
[0113]
本发明的优势在于提出了一种基于地理配准图像的行人地理轨迹提取方法，解决了行人地理轨迹获取困难且轨迹精度低的问题。本发明利用深度学习中的行人检测与跟踪算法实现行人像素轨迹的提取，通过与无人机图像地理配准技术相结合，获取无人机图像像素坐标与地理坐标的对应关系，进一步获得行人的地理轨迹。本发明可以在不依赖gps等设备的情况下，通过地理配准技术对图像进行准确定位，从而提取出行人的准确位置信息，轨迹提取精度较高。相比于传统的基于gps等设备的轨迹提取方法，本发明不受信号遮挡等因素的影响，可以实现实时的行人轨迹提取。此外，本实施例不需要行人配合或特殊设备，因此具有更好的非侵入性。
[0114]
本实施例在公开上述方法的基础上，还公开了一种信息处理终端，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述方法的步骤。
[0115]
所述处理器通常控制装置的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理器可以完成上述方法的全部或部分步骤。此外，处理器可以包括一个或多个模块，便于处理器和其他组件之间的交互。例如，处理器可以包括多媒体模块，以方便多媒体组件和处理器之间的交互。所述处理器在一些实施例中可以是一中央处理器(central processing unit,cpu)，微处理器或其他数据处理芯片，用于运行所述存储器中存储的程序代码或处理数据，例如执行所述行人地理轨迹提取的步骤等。
[0116]
存储器被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在装置上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0117]
所述存储器在一些实施例中可以是播放装置的内部存储单元，例如智能电视的硬盘或内存。所述存储器在另一些实施例中也可以是所述播放装置的外部存储设备，例如所述智能电视上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器还可以既包括所述播放装置的内部存储单元也包括外部存储设备。所述存储器用于存储安装于所述播放装置的应用软件及各类数据，例如所述安装智能电视的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。在一种实施例中，存储器上存储有行人地理轨迹提取方法的控制程序，该行人地理轨迹提取方法的控制程序可被处理器所执行，从而实现本实施例中行人地理轨迹提取方法。
[0118]
在示例性实施例中，装置可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0119]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0120]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种行人地理轨迹提取方法，其特征在于，所述方法包括：获取无人机视频对应的各个无人机图像，并利用目标检测算法对各个无人机图像中的目标行人进行识别；利用多目标跟踪算法对各个无人机图像中识别出的目标行人进行像素轨迹提取，得到行人像素轨迹；利用图像配准算法对所述无人机图像中的地理坐标进行识别，得到无人机图像的像素坐标与地理坐标之间的映射关系；基于所述无人机的像素坐标与地理坐标之间的映射关系和所述行人像素轨迹得到行人地理轨迹。2.根据权利要求1所述的行人地理轨迹提取方法，其特征在于，所述目标检测算法为添加了cbam注意力机制单元的改进yolov5网络；所述yolov5网络包括：backbone网络模块；所述cbam注意力机制单元添加设置在所述backbone网络模块的csp单元和cbl单元之间；所述cbam注意力机制单元包括：通道注意力子单元和空间注意力子单元。3.根据权利要求2所述的行人地理轨迹提取方法，其特征在于，所述利用目标检测算法对各个无人机图像中的目标行人进行识别的步骤包括：利用kmeans++算法对训练数据集中训练图像的行人目标先验框进行聚类，选出k个初始的聚类中心；利用所述k个初始的聚类中心对无人机图像执行kmeans算法进行聚类；其中，k为正整数；将聚类完成的无人机图像输入改进的yolov5网络进行目标行人识别。4.根据权利要求1或3所述的行人地理轨迹提取方法，其特征在于，所述多目标跟踪算法为改进的deepsort算法；在deepsort算法的级联匹配过程中增加轨迹置信度得到所述改进的deepsort算法；所述轨迹置信度为目标跟踪算法提取得到的预测行人像素轨迹与真实行人轨迹之间的相似度；所述利用多目标跟踪算法对各个无人机图像中识别出的目标行人进行像素轨迹提取的步骤包括：利用改进的deepsort算法进行级联匹配处理时，分别计算外观相似度、运动相似度、形状相似度和轨迹置信度；按照预设权重系数计算外观相似度、运动相似度、形状相似度和轨迹置信度的加权值，并将计算得到的加权值与预设相似度阈值相比较，删除加权值超过所述预设相似度阈值的行人像素轨迹。5.根据权利要求4所述的行人地理轨迹提取方法，其特征在于，所述轨迹置信度的计算公式为：其中，l表示行人运动轨迹的长度，w表示漏检帧数，其中，l表示行人运动轨迹的长度，w表示漏检帧数，为行人没有被遮挡轨迹的起始时刻，为行人没有被遮挡轨迹的终止时刻；k表无人机图像在无人机视频
中的第k帧，k为正整数；β代表取值范围在[0,1]的常量，λ(t
i
,x
i
)表示行人间相似度。6.根据权利要求1所述的行人地理轨迹提取方法，其特征在于，所述图像配准算法由改进的unet网络和特征匹配算法组成；其中，所述改进的unet网络为加入aspp模块和ca模块的unet网络。7.根据权利要求6所述的行人地理轨迹提取方法，其特征在于，所述利用图像配准算法对所述无人机图像中的地理坐标进行识别，得到无人机图像的像素坐标与地理坐标之间的映射关系的步骤包括:将无人机图像输入至改进的unet网络，利用改进的unet网络得到无人机图像的道路分割信息；利用所述特征匹配算法对无人机图像的道路分割信息进行特征点提取，得到道路特征点；将所述道路特征点与特征点数据库中存储的特征点进行匹配，得到含有无人机图像的像素坐标与地理坐标之间映射关系的配准图像，其中，所述特征点数据库中保存的特征点为基于基准图进行道路特征点提取得到的。8.根据权利要求7所述的行人地理轨迹提取方法，其特征在于，所述基于所述无人机的像素坐标与地理坐标之间的映射关系和所述行人像素轨迹得到行人轨迹的步骤包括：根据所述无人机的像素坐标与地理坐标之间的映射关系得到无人机图像的地理坐标；通过行人像素轨迹和无人机图像的地理坐标确定出行人地理轨迹。9.一种信息处理终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本发明公开了一种行人地理轨迹提取方法及设备，通过获取无人机视频对应的各个无人机图像，利用目标检测算法对各个无人机图像中的目标行人进行识别，利用多目标跟踪算法对识别出的目标行人进行像素轨迹提取，得到行人像素轨迹；利用图像配准算法对无人机图像中的地理坐标进行识别，得到无人机图像的像素坐标与地理坐标之间的映射关系，基于无人机的像素坐标与地理坐标之间的映射关系和行人像素轨迹得到行人地理轨迹。本实施例公开的行人地理轨迹提取方法，通过地理配准技术对图像进行准确定位，轨迹提取精度较高，且相比于基于GPS等设备的轨迹提取方法，不受信号遮挡等因素的影响，可实现实时的行人地理轨迹提取。可实现实时的行人地理轨迹提取。可实现实时的行人地理轨迹提取。


技术研发人员：胡金星 尚佩晗
受保护的技术使用者：深圳先进技术研究院
技术研发日：2023.04.28
技术公布日：2023/8/21