主动视觉跟踪移动目标方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种主动视觉跟踪移动目标方法及装置。


背景技术：

2.目标跟踪旨在通过自动控制智能体的相机运动，实现对特定目标移动的跟踪。要求智能体能够感知移动目标和场景布局的同时，持续调整相机姿态，使得目标以合适的大小出现在相机画面的中央。这可用于支持无人机自动航拍、移动服务机器人、自动驾驶和智能监控等应用场景的实现。
3.相关技术中，现有的跟踪方法适用于背景简单的跟踪环境，往往只专注于对目标物体的识别和定位，在对目标物体跟踪的过程中，忽略了实际场景的不规则结构对目标物体观测和目标物体运动的影响。
4.然而，在实际比较复杂的跟踪环境中，障碍物的形状无规则且被随机摆放，目标物体很容易被障碍物遮挡，在对目标物体跟踪的过程中，由于智能体不能很好的躲避障碍物，导致智能体容易与障碍物发生碰撞，阻碍了智能体对目标物体的持续跟踪，从而导致跟踪效果差。


技术实现要素：

5.本发明提供一种主动视觉跟踪移动目标方法及装置，用以解决现有技术中跟踪效果差的问题。
6.本发明提供一种主动视觉跟踪移动目标方法，包括：
7.调用相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像；
8.基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息；
9.基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率；
10.基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。
11.根据本发明提供的一种主动视觉跟踪移动目标方法，所述基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪，包括：
12.基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定所述待跟踪目标的未来轨迹分布信息；所述未来轨迹分布信息表示所述待跟踪目标在未来连续k个时刻的位置的均值和方差，所述k为正整数；
13.基于所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的
概率，确定所述运动控制信号，对所述待跟踪目标进行跟踪。
14.根据本发明提供的一种主动视觉跟踪移动目标方法，基于所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率，确定所述运动控制信号，对所述待跟踪目标进行跟踪，包括：
15.将所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率进行拼接，得到所述待跟踪目标的状态表示信息；
16.对所述状态表示信息进行编码，得到所述运动控制信号。
17.根据本发明提供的一种主动视觉跟踪移动目标方法，所述基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息，包括：
18.基于所述彩色图像或者灰度图像，及所述待跟踪目标对应预设的样例图像，分别确定所述彩色图像或者灰度图像对应的第一图像特征和所述样例图像对应的第二图像特征；
19.将所述第一图像特征和所述第二图像特征进行匹配，确定所述待跟踪目标对应的目标区域；
20.基于所述目标区域和所述深度图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息。
21.根据本发明提供的一种主动视觉跟踪移动目标方法，所述基于所述目标区域和所述深度图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息，包括：
22.基于所述深度图像中每个像素点对应的距离，将所述目标区域中每个像素点的坐标位置转化为与所述相机相同坐标系的坐标位置；
23.基于转化后的坐标位置，分别计算所述待跟踪目标与所述相机之间的距离信息和角度信息。
24.根据本发明提供的一种主动视觉跟踪移动目标方法，所述基于所述深度图像和预设的障碍概率，构建障碍物栅格地图，包括：
25.对所述深度图像进行转化，得到点云图像；
26.将所述点云图像中每个点的位置投影至二维平面坐标，得到每个点在所述二维平面坐标对应的位置信息；
27.基于所述位置信息和所述相机的位姿，将所述点云图像中每个点转换为全局栅格地图中对应位置的栅格区域；
28.对所述栅格区域增加预设的障碍概率，得到所述障碍物栅格地图。
29.根据本发明提供的一种主动视觉跟踪移动目标方法，所述基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定所述待跟踪目标的未来轨迹分布信息，包括：
30.采用编码器分别对所述距离信息、所述角度信息和所述障碍物存在的概率进行编码，得到所述距离信息对应的距离向量、所述角度信息对应的角度向量和所述所述障碍物存在的概率对应的障碍向量；
31.基于所述距离向量、所述角度向量和所述障碍向量，确定所述待跟踪目标的未来轨迹分布信息。
32.根据本发明提供的一种主动视觉跟踪移动目标方法，所述基于所述距离向量、所述角度向量和所述障碍向量，确定所述待跟踪目标的未来轨迹分布信息，包括：
33.采用解码器分别对所述距离向量、所述角度向量和所述障碍向量进行解码，输出所述待跟踪目标的未来轨迹分布信息。
34.本发明还提供一种主动视觉跟踪移动目标装置，包括：
35.调用模块，用于调用相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像；
36.第一确定模块，用于基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息；
37.构建模块，用于基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率；
38.第二确定模块，用于基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。
39.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述主动视觉跟踪移动目标方法。
40.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述主动视觉跟踪移动目标方法。
41.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述主动视觉跟踪移动目标方法。
42.本发明提供的主动视觉跟踪移动目标方法及装置，通过调用相机对待跟踪目标进行拍摄，获取当前时刻的待跟踪目标对应的目标图像；其中，目标图像包括彩色图像或者灰度图像，及深度图像；根据目标图像，确定待跟踪目标与相机之间的距离信息和角度信息；再根据深度图像和预设的障碍概率，构建障碍物栅格地图；障碍物栅格地图表示以相机为中心预设范围内障碍物存在的概率；再根据距离信息、角度信息和障碍物存在的概率，确定运动控制信号，对待跟踪目标进行跟踪。通过待跟踪目标与相机之间的距离信息和角度信息、实时构建的障碍物栅格地图中障碍物存在的概率，能够准确确定出运动控制信号，并基于运动控制信号对待跟踪目标进行主动跟踪，进而在存在障碍物的复杂场景下规避与障碍物之间的碰撞，跟踪效果较好。
附图说明
43.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明提供的主动视觉跟踪移动目标方法的流程示意图之一；
45.图2是本发明提供的主动视觉跟踪移动目标方法的流程示意图之二；
46.图3是本发明提供的主动视觉跟踪移动目标方法的流程示意图之三；
47.图4是本发明提供的主动视觉跟踪移动目标装置的结构示意图；
48.图5是本发明提供的电子设备的结构示意图。
具体实施方式
49.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.由于现有的跟踪方法的应用场景只局限在比较简单的场景(如开阔室外场景)，无法在具有障碍物的复杂移动场景(如室内家居场景、城市街道场景等)中部署应用，因此，如何实现移动设备(如移动机器人)在复杂移动场景下根据视觉感知自动跟踪目标物体，是需要解决的一个重要问题。该问题的解决可以拓宽自动跟踪目标物体功能的应用落地，例如，看护机器人在家中实时监控看护对象、无人机在丛林中进行跟拍、无人驾驶汽车在拥挤街道中自主跟随目标车辆以及智能旅行箱自主跟随主人等。
51.下面结合图1-图3描述本发明的主动视觉跟踪移动目标方法。
52.图1是本发明提供的主动视觉跟踪移动目标方法的流程示意图之一，如图1所示，该方法包括步骤101-步骤104；其中，
53.步骤101，调用相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像。
54.需要说明的是，本发明提供的主动视觉跟踪移动目标方法可适用于复杂场景下对移动目标主动跟踪的应用场景中，该方法的执行主体可以为主动视觉跟踪移动目标装置，例如电子设备、或者主动视觉跟踪移动目标装置中的用于执行主动视觉跟踪移动目标方法的控制模块，其中，电子设备为任意安装有相机的终端，即终端为可运动相机设备，例如移动机器人、无人机等。
55.具体地，通过调用相机对待跟踪目标进行拍摄，可以实时获取处于当前画面中待跟踪目标在当前时刻对应的目标图像；其中，目标图像包括彩色图像或者灰度图像，及深度图像；深度图像表示相机到当前画面中各点的距离(深度)作为像素值的图像。
56.可选地，深度图像还可以通过深度网络对彩色图像或者灰度图像进行估计，得到深度图像。
57.步骤102，基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息。
58.具体地，根据获取的彩色图像或者灰度图像，可以通过从彩色图像或者灰度图像中识别出待跟踪目标，再结合深度图像确定出待跟踪目标与相机之间的距离信息和角度信息，即待跟踪目标相对相机正前方的距离和夹角。
59.实际中，对当前时刻之前的每一时刻确定的待跟踪目标与相机之间的距离信息和角度信息进行记录，再根据当前时刻的待跟踪目标与相机之间的距离信息和角度信息，可以确定待跟踪目标的历史轨迹信息。
60.步骤103，基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率。
61.具体地，预设的障碍概率表示障碍物栅格地图中每个栅格区域障碍物存在的概率，其中，预设的障碍概率可以为上一时刻的障碍物栅格地图中每个栅格区域分别对应的障碍概率，也可以是为当前时刻的障碍物栅格地图中每个栅格区域对应位置预先设置的障
碍概率。障碍物栅格地图表示以相机为中心，在相机周围的预设范围内每个栅格区域障碍物存在的概率。障碍物栅格地图初始时为灰色，表示场景中每个点的位置。
62.根据深度图像和预设的障碍概率，以及相机内参矩阵(视角信息、机变信息)和相机位姿，可以进一步构建障碍物栅格地图。
63.需要说明的是，上述步骤102和步骤103的具体实现顺序没有明确限制，可以先执行步骤102，再执行步骤103，也可以先执行步骤103，再执行步骤102。
64.步骤104，基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。
65.具体地，根据待跟踪目标与相机之间的距离信息、角度信息和障碍物栅格地图中每个栅格区域障碍物存在的概率，可以进一步确定运动控制信号，对待跟踪目标进行跟踪。
66.其中，运动控制信号用于调整相机的位姿，并基于调整后的位姿对待跟踪目标进行跟踪。
67.本发明提供的主动视觉跟踪移动目标方法，通过调用相机对待跟踪目标进行拍摄，获取当前时刻的待跟踪目标对应的目标图像；其中，目标图像包括彩色图像或者灰度图像，及深度图像；根据目标图像，确定待跟踪目标与相机之间的距离信息和角度信息；再根据深度图像和预设的障碍概率，构建障碍物栅格地图；障碍物栅格地图表示以相机为中心预设范围内障碍物存在的概率；再根据距离信息、角度信息和障碍物存在的概率，确定运动控制信号，对待跟踪目标进行跟踪。通过待跟踪目标与相机之间的距离信息和角度信息、实时构建的障碍物栅格地图中障碍物存在的概率，能够准确确定出运动控制信号，并基于运动控制信号对待跟踪目标进行主动跟踪，进而在存在障碍物的复杂场景下规避与障碍物之间的碰撞，跟踪效果较好。
68.可选地，上述步骤102的具体实现方式包括：
69.1)基于所述彩色图像或者灰度图像，及所述待跟踪目标对应预设的样例图像，分别确定所述彩色图像或者灰度图像对应的第一图像特征和所述样例图像对应的第二图像特征。
70.具体地，样例图像为预先设置的待跟踪目标的图像。采用基于深度神经网络的视频目标跟踪算法，通过孪生网络分别提取彩色图像或者灰度图像对应的第一图像特征和样例图像对应的第二图像特征。
71.2)将所述第一图像特征和所述第二图像特征进行匹配，确定所述待跟踪目标对应的目标区域。
72.具体地，将第一图像特征和第二图像特征进行匹配，检测当前时刻彩色图像与样例图像，或者灰度图像与样例图像中相似度较高的目标区域，以二维包围框形式输出待跟踪目标在画面中的位置。
73.3)基于所述目标区域和所述深度图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息。
74.具体地，根据目标区域和深度图像，可以进一步确定待跟踪目标与相机之间的距离信息和角度信息。
75.可选地，所述基于所述目标区域和所述深度图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息，包括：
76.基于所述深度图像中每个像素点对应的距离，将所述目标区域中每个像素点的坐标位置转化为与所述相机相同坐标系的坐标位置；基于转化后的坐标位置，分别计算所述待跟踪目标与所述相机之间的距离信息和角度信息。
77.具体地，根据深度图像中每个像素点对应的距离，以及相机内参矩阵(视角信息、机变信息)，将目标区域中每个像素点的二维坐标位置转化为与相机相同坐标系的三维空间中的坐标位置，即将目标区域中每个像素点的坐标位置与三维空间中相机的坐标位置进行统一。再根据转化后的每个像素点的坐标位置，分别计算每个像素点的坐标位置与相机之间的距离信息和角度信息，以此表示待跟踪目标相对相机前向的距离和夹角。
78.本发明提供的主动视觉跟踪移动目标方法，通过采用基于深度神经网络的视频目标跟踪算法准确提取待跟踪目标的第一图像特征和第二图像特征，并根据第一图像特征和第二图像特征确定待跟踪目标在画面的位置，进而根据深度图像确定待跟踪目标在画面中与相机之间的距离信息和角度信息，实现对待跟踪目标的精确定位，能够提升对不同外形目标定位的鲁棒性。
79.可选地，上述步骤103的具体实现方式包括：
80.a)对所述深度图像进行转化，得到点云图像。
81.具体地，根据相机内参矩阵(视角信息、机变信息)，将深度图像转化为三维空间中的点，得到点云图像。
82.b)将所述点云图像中每个点的位置投影至二维平面坐标，得到每个点在所述二维平面坐标对应的位置信息。
83.具体地，针对点云图像中的每个点，将所有的点进行拼接，再将拼接之后的每个点在三维空间中的位置投影至二维平面坐标，可以得到每个点在二维平面坐标对应的位置信息。
84.c)基于所述位置信息和所述相机的位姿，将所述点云图像中每个点转换为全局栅格地图中对应位置的栅格区域。
85.具体地，相机的位姿表示相机在二维空间中的位置，根据点云图像中每个点在二维平面坐标对应的位置信息和相机的位姿，可以将点云图像中每个点转换为全局栅格地图中对应位置的栅格区域，得到全局栅格地图，即点云图像中每个点与全局栅格地图中对应位置的栅格区域一一对应，从而得到与点云图像中每个点对应的栅格区域。
86.d)对所述栅格区域增加预设的障碍概率，得到所述障碍物栅格地图。
87.具体地，对全局栅格地图中的每个栅格区域增加预设的障碍概率，即更新栅格区域的障碍概率，再对全局栅格地图进行裁剪和转换，从而得到障碍物栅格地图；其中，障碍物栅格地图为二维栅格地图，障碍物栅格地图中栅格区域的障碍概率越高，表示栅格区域存在障碍物的概率越高。
88.本发明提供的主动视觉跟踪移动目标方法，通过对深度图像进行转化，得到点云图像；将点云图像中每个点的位置投影至二维平面坐标，得到每个点在二维平面坐标对应的位置信息；基于位置信息和相机的位姿，将点云图像中每个点转换为全局栅格地图中对应位置的栅格区域；对栅格区域增加预设的障碍概率，实现对栅格区域中的障碍概率的更新，从而可以实时得到障碍物栅格地图。实时构建二维障碍物栅格地图可以实时准确预测待跟踪目标的未来轨迹分布信息，同时，可以避免实时建立障碍物栅格地图以及后续计算
预测未来轨迹分布和运动控制信号的过程中大量的计算需求，保证计算实时性和高效性。
89.可选地，上述步骤104的具体实现方式包括：
90.1)基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定所述待跟踪目标的未来轨迹分布信息；所述未来轨迹分布信息表示所述待跟踪目标在未来连续k个时刻的位置的均值和方差，所述k为正整数。
91.具体地，将待跟踪目标与相机之间的距离信息和角度信息、以及障碍区栅格地图中每个栅格区域障碍物存在的概率进行叠加，进而可以对待跟踪目标在未来连续k个时刻的位置的均值和方差进行预测，从而得到待跟踪目标的未来轨迹分布信息。
92.2)基于所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率，确定所述运动控制信号，对所述待跟踪目标进行跟踪。
93.具体地，根据待跟踪目标与相机之间的距离信息和角度信息、未来轨迹分布信息和障碍区栅格地图中每个栅格区域障碍物存在的概率，可以进一步确定运动控制信号，对待跟踪目标进行跟踪和拍摄；其中，该运动控制信号用于调整相机的位姿，使得对待跟踪目标进行跟踪和拍摄。
94.可选地，所述基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定所述待跟踪目标的未来轨迹分布信息，包括：
95.a)采用编码器分别对所述距离信息、所述角度信息和所述障碍物存在的概率进行编码，得到所述距离信息对应的距离向量、所述角度信息对应的角度向量和所述所述障碍物存在的概率对应的障碍向量。
96.具体地，遵从序列至序列(sequence2sequence)的网络结构，采用编码器分别对距离信息、角度信息和障碍物存在的概率进行编码，得到距离信息对应的距离向量、角度信息对应的角度向量和所述障碍物存在的概率对应的障碍向量。
97.可选地，也可以将距离信息、角度信息和障碍物存在的概率进行拼接之后，对得到的拼接结果采样编码器进行编码。
98.b)采用解码器分别对所述距离向量、所述角度向量和所述障碍向量进行解码，输出所述待跟踪目标的未来轨迹分布信息。
99.具体地，采用混合高斯模型表示待跟踪目标的未来轨迹分布信息，解码器分别对距离向量、角度向量和障碍向量进行解码，循环输出待跟踪目标在未来连续k个时刻的轨迹分布，即输出k个时刻每个时刻每个高斯分布对应的均值、方差和权重系数以表示轨迹分布。
100.本发明提供的主动视觉跟踪移动目标方法，通过采用编码器分别对距离信息、所述角度信息和障碍物存在的概率进行编码，得到距离信息对应的距离向量、角度信息对应的角度向量和所述障碍物存在的概率对应的障碍向量；再采用解码器分别对距离向量、角度向量和障碍向量进行解码，得到待跟踪目标的未来轨迹分布信息。使用构建的障碍物栅格地图表示的障碍概率、距离信息和角度信息的结合，对待跟踪目标未来轨迹分布信心进行预测，使得预测的未来轨迹分布更加准确，提高了预测结果的准确性和合理性，进而提升跟踪效果。
101.可选地，所述基于所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率，确定所述运动控制信号，对待跟踪目标进行跟踪和拍摄，包括：
102.1)将所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率进行拼接，得到所述待跟踪目标的状态表示信息。
103.具体地，将当前轨迹信息、未来轨迹分布信息和障碍物存在的概率进行拼接作为待跟踪目标的状态表示信息。
104.2)对所述状态表示信息进行编码，得到所述运动控制信号，对待跟踪目标进行跟踪和拍摄。
105.具体地，采用神经网络对状态表示信息进行编码，即将状态表示信息输入至神经网络，可以得到神经网络输出的运动控制信号，对待跟踪目标进行跟踪和拍摄；其中，运动控制信号用于调整相机的位姿，使得相机可以对待跟踪目标进行实时跟踪。
106.需要说明的是，神经网络是基于强化学习算法进行训练得到的，可以直接用于运动控制信号的确定。
107.进一步地，当待跟踪目标从观测画面中短暂消失时，将预测的未来轨迹分布信息与障碍物栅格地图表示的障碍物存在的概率结合形成的状态表示信息，可以快速恢复跟踪。采用强化学习算法训练的神经网络得到的运动控制信号，可以实现对高维状态表示信息的理解和复杂的运动策略。基于障碍物栅格地图的状态表示信息也可以缩小虚拟与现实环境之间的领域鸿沟(不受纹理、光照等影响)，提高待跟踪目标跨场景跟踪的泛化性。
108.图2是本发明提供的主动视觉跟踪移动目标方法的流程示意图之二，如图2所示，该方法包括：
109.步骤1，调用可运动相机设备中的相机对待跟踪目标进行拍摄，获取当前时刻处于当前画面中的待跟踪目标对应的目标图像；其中，目标图像包括彩色图像或者灰度图像，及深度图像。
110.步骤2，待跟踪目标的检测与定位。采用基于深度神经网络的视频目标跟踪算法，通过孪生网络分别提取彩色图像或者灰度图像对应的第一图像特征和样例图像对应的第二图像特征，将第一图像特征和第二图像特征进行匹配，检测当前时刻彩色图像与样例图像，或者灰度图像与样例图像中相似度较高的目标区域，以二维包围框形式输出待跟踪目标在画面中的位置。
111.步骤3，根据深度图像中每个像素点对应的距离，将目标区域中每个像素点的坐标位置转化为与相机相同坐标系的坐标位置，再基于转化后的坐标位置，分别计算待跟踪目标与相机之间的距离信息和角度信息。
112.步骤4，对深度图像进行转化，得到点云图像；针对点云图像中的每个点，将所有的点进行拼接，再将拼接之后的每个点在三维空间中的位置投影至二维平面坐标，可以得到每个点在二维平面坐标对应的位置信息。根据点云图像中每个点在二维平面坐标对应的位置信息和相机的位姿，可以将点云图像中每个点转换为全局栅格地图中对应位置的栅格区域，对栅格区域增加预设的障碍概率，即更新栅格区域的障碍概率，再对全局栅格地图进行裁剪和转换，从而得到障碍物栅格地图；其中，障碍物栅格地图为二维栅格地图，障碍物栅格地图中栅格区域的障碍概率越高，表示栅格区域存在障碍物的概率越高。
113.步骤5，基于距离信息、角度信息和障碍物栅格地图，预测待跟踪目标的未来轨迹分布信息；未来轨迹分布信息表示待跟踪目标在未来连续k个时刻的目标位置的均值和方差，k为正整数。具体地，采用编码器分别对距离信息、角度信息和障碍物存在的概率进行编
码，得到距离信息对应的距离向量、角度信息对应的角度向量和所述障碍物存在的概率对应的障碍向量。采用混合高斯模型表示待跟踪目标的未来轨迹分布信息，解码器分别对距离向量、角度向量和障碍向量进行解码，输出待跟踪目标的未来轨迹分布信息。
114.步骤6，将当前轨迹信息、未来轨迹分布信息和障碍物存在的概率进行拼接，得到待跟踪目标的状态表示信息。
115.步骤7，采用强化学习算法训练得到的神经网络对状态表示信息进行编码，得到运动控制信号，对待跟踪目标进行跟踪；其中，动控制信号用于调整相机的位姿，并基于调整后的位姿对待跟踪目标进行跟踪。
116.图3是本发明提供的主动视觉跟踪移动目标方法的流程示意图之三，如图3所示，该方法包括：
117.目标检测与定位模块(target localization)：根据相机拍摄的当前时刻待跟踪目标对应的目标图像；其中，目标图像包括彩色图像(color image i
t
)或者灰度图像，及深度图像(depth image d
t
)，采用视频目标跟踪算法(video tracker)进行待跟踪目标的检测与定位，目标区域以二维包围框(2d bounding box b
t
)形式输出待跟踪目标在画面中的位置。利用相机内参和深度图像中每个像素点对应的距离，将目标区域中每个像素点的坐标位置转化为与相机相同坐标系的坐标位置(box2location)，再分别计算待跟踪目标与相机之间的距离信息和角度信息(target’s location p
t0,1
)。
118.实时场景地图重建模块(structure reconstruction)：根据深度图像(depth image d
t
)、相机位姿(tarcker’s pose p
t0
)和预设的障碍概率，对深度图像进行转化，得到点云图像；针对点云图像中的每个点，将所有的点进行拼接，再将拼接之后的每个点在三维空间中的位置投影至二维平面坐标，可以得到每个点在二维平面坐标对应的位置信息。根据点云图像中每个点在二维平面坐标对应的位置信息和相机的位姿，可以将点云图像中每个点转换为全局栅格地图中对应位置的栅格区域，对栅格区域增加预设的障碍概率，即更新栅格区域的障碍概率，从而得到全局栅格地图(global map m
tg
)，再对全局栅格地图进行裁剪和转换(transformation)，得到障碍物栅格地图(tarcker-centric local map m
t0
)；其中，障碍物栅格地图为二维栅格地图，障碍物栅格地图中栅格区域的障碍概率越高，表示栅格区域存在障碍物的概率越高。
119.轨迹预测模块(structure-aware trajectory prediction)：将待跟踪目标与相机之间的距离信息、角度信息和障碍物栅格地图中每个栅格区域障碍物存在的概率进行叠加，再采用编码器分别对距离信息、角度信息和障碍物存在的概率进行编码，得到距离信息对应的距离向量、角度信息对应的角度向量和所述障碍物存在的概率对应的障碍向量；采用混合高斯模型表示待跟踪目标的未来轨迹分布信息，解码器分别对距离向量、角度向量和障碍向量进行解码，循环输出待跟踪目标在未来连续k个时刻的轨迹分布，即输出k个时刻每个时刻每个高斯分布对应的均值、方差和权重系数以表示轨迹分布，得到待跟踪目标的未来轨迹分布信息(structure-aware motion representationφ
t
)。
120.基于强化学习的运动控制模块(motion controller)：将距离信息、角度信息、未来轨迹分布信息和障碍物存在的概率进行拼接作为待跟踪目标的状态表示信息，采用神经网络对状态表示信息进行编码(state encoder)，即将状态表示信息输入至神经网络，可以得到神经网络输出的运动控制信号(actor)，对待跟踪目标进行实时跟踪；其中，运动控制
信号用于调整相机的位姿，并基于调整后的位姿对待跟踪目标进行实时跟踪。
121.目前基于视觉感知低成本实现复杂场景跟踪的算法较少，多采用激光雷达与相机结合的方式依赖高成本硬件设备实现该功能。本发明提供的主动视觉跟踪移动目标方法具有普遍适应性，可用于多种用途的场景，只需要可移动相机设备(例如机器人)具备rgbd摄像头、机载处理器、运动控制器等基本模块即可部署实现。本发明提供的方法，建立了包含实时构建障碍物栅格地图和未来轨迹分布信息预测的状态表示，在满足实时计算的前提下，既保证了在不同场景之间的可泛化性，也支持在复杂场景下对移动目标的跟踪和避障。
122.下面对本发明提供的主动视觉跟踪移动目标装置进行描述，下文描述的主动视觉跟踪移动目标装置与上文描述的主动视觉跟踪移动目标方法可相互对应参照。
123.图4是本发明提供的主动视觉跟踪移动目标装置的结构示意图，如图4所示，主动视觉跟踪移动目标装置400包括调用模块401、第一确定模块402、构建模块403和第二确定模块404；其中，
124.调用模块401，用于调用相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像；
125.第一确定模块402，用于基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息；
126.构建模块403，用于基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率；
127.第二确定模块404，用于基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。
128.本发明提供的主动视觉跟踪移动目标装置，通过调用相机对待跟踪目标进行拍摄，获取当前时刻待跟踪目标对应的目标图像；其中，目标图像包括彩色图像或者灰度图像，及深度图像；根据目标图像，确定待跟踪目标与相机之间的距离信息和角度信息；再根据深度图像和预设的障碍概率，构建障碍物栅格地图；障碍物栅格地图表示以相机为中心预设范围内障碍物存在的概率；再根据距离信息、角度信息和障碍物存在的概率，确定运动控制信号，对待跟踪目标进行跟踪。通过待跟踪目标在当前时刻与相机之间的距离信息和角度信息、实时构建的障碍物栅格地图中障碍物存在的概率，能够准确确定出运动控制信号，并基于运动控制信号对待跟踪目标的主动跟踪，进而在存在障碍物的复杂场景下规避与障碍物之间的碰撞，跟踪效果较好。
129.可选地，所述第二确定模块404，具体用于：
130.基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定所述待跟踪目标的未来轨迹分布信息；所述未来轨迹分布信息表示所述待跟踪目标在未来连续k个时刻的位置的均值和方差，所述k为正整数；
131.基于所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率，确定所述运动控制信号，对所述待跟踪目标进行跟踪。
132.可选地，所述第二确定模块404，具体用于：
133.采用编码器分别对所述距离信息、所述角度信息和所述障碍物存在的概率进行编码，得到所述距离信息对应的距离向量、所述角度信息对应的角度向量和所述所述障碍物存在的概率对应的障碍向量；
134.采用解码器分别对所述距离向量、所述角度向量和所述障碍向量进行解码，输出所述待跟踪目标的未来轨迹分布信息。
135.可选地，所述第二确定模块404，具体用于：
136.将所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率进行拼接，得到所述待跟踪目标的状态表示信息；
137.对所述状态表示信息进行编码，得到所述运动控制信号，对所述待跟踪目标进行跟踪。
138.可选地，所述第一确定模块402，具体用于：
139.基于所述彩色图像或者灰度图像，及所述待跟踪目标对应预设的样例图像，分别确定所述彩色图像彩色图像或者灰度图像对应的第一图像特征和所述样例图像对应的第二图像特征；
140.将所述第一图像特征和所述第二图像特征进行匹配，确定所述待跟踪目标对应的目标区域；
141.基于所述目标区域和所述深度图像，确定所述待跟踪目标的当前轨迹信息。
142.可选地，所述第一确定模块402，具体用于：
143.基于所述深度图像中每个像素点对应的距离，将所述目标区域中每个像素点的坐标位置转化为与所述相机相同坐标系的坐标位置；
144.基于转化后的坐标位置，分别计算所述待跟踪目标与所述相机之间的距离信息和角度信息。
145.可选地，所述构建模块403，具体用于：
146.对所述深度图像进行转化，得到点云图像；
147.将所述点云图像中每个点的位置投影至二维平面坐标，得到每个点在所述二维平面坐标对应的位置信息；
148.基于所述位置信息和所述相机的位姿，将所述点云图像中每个点转换为全局栅格地图中对应位置的栅格区域；
149.对所述栅格区域增加预设的障碍概率，得到所述障碍物栅格地图。
150.图5是本发明提供的一种电子设备的实体结构示意图，如图5所示，该电子设备500可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行主动视觉跟踪移动目标方法，该方法包括：调用相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像；基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息；基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率；基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。
151.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以
软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
152.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的主动视觉跟踪移动目标方法，该方法包括：调用相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像；基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息；基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率；基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。
153.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的主动视觉跟踪移动目标方法，该方法包括：调用相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像；基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息；基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率；基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。
154.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
155.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
156.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种主动视觉跟踪移动目标方法，其特征在于，包括：调用相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像；基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息；基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率；基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。2.根据权利要求1所述的主动视觉跟踪移动目标方法，其特征在于，所述基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪，包括：基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定所述待跟踪目标的未来轨迹分布信息；所述未来轨迹分布信息表示所述待跟踪目标在未来连续k个时刻的位置的均值和方差，所述k为正整数；基于所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率，确定所述运动控制信号，对所述待跟踪目标进行跟踪。3.根据权利要求2所述的主动视觉跟踪移动目标方法，其特征在于，所述基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定所述待跟踪目标的未来轨迹分布信息，包括：采用编码器分别对所述距离信息、所述角度信息和所述障碍物存在的概率进行编码，得到所述距离信息对应的距离向量、所述角度信息对应的角度向量和所述所述障碍物存在的概率对应的障碍向量；采用解码器分别对所述距离向量、所述角度向量和所述障碍向量进行解码，输出所述待跟踪目标的未来轨迹分布信息。4.根据权利要求2所述的主动视觉跟踪移动目标方法，其特征在于，所述基于所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率，确定所述运动控制信号，对所述待跟踪目标进行跟踪，包括：将所述距离信息、所述角度信息、所述未来轨迹分布信息和所述障碍物存在的概率进行拼接，得到所述待跟踪目标的状态表示信息；对所述状态表示信息进行编码，得到所述运动控制信号，对所述待跟踪目标进行跟踪。5.根据权利要求1至4任一项所述的主动视觉跟踪移动目标方法，其特征在于，所述基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息，包括：基于所述彩色图像或者灰度图像，及所述待跟踪目标对应预设的样例图像，分别确定所述彩色图像或者灰度图像对应的第一图像特征和所述样例图像对应的第二图像特征；将所述第一图像特征和所述第二图像特征进行匹配，确定所述待跟踪目标对应的目标区域；基于所述目标区域和所述深度图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息。6.根据权利要求5所述的主动视觉跟踪移动目标方法，其特征在于，所述基于所述目标
区域和所述深度图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息，包括：基于所述深度图像中每个像素点对应的距离，将所述目标区域中每个像素点的坐标位置转化为与所述相机相同坐标系的坐标位置；基于转化后的坐标位置，分别计算所述待跟踪目标与所述相机之间的距离信息和角度信息。7.根据权利要求1至4任一项所述的主动视觉跟踪移动目标方法，其特征在于，所述基于所述深度图像和预设的障碍概率，构建障碍物栅格地图，包括：对所述深度图像进行转化，得到点云图像；将所述点云图像中每个点的位置投影至二维平面坐标，得到每个点在所述二维平面坐标对应的位置信息；基于所述位置信息和所述相机的位姿，将所述点云图像中每个点转换为全局栅格地图中对应位置的栅格区域；对所述栅格区域增加预设的障碍概率，得到所述障碍物栅格地图。8.一种主动视觉跟踪移动目标装置，其特征在于，包括：调用模块，用于调用终端中的相机对待跟踪目标进行拍摄，获取当前时刻的所述待跟踪目标对应的目标图像；其中，所述目标图像包括彩色图像或者灰度图像，及深度图像；第一确定模块，用于基于所述目标图像，确定所述待跟踪目标与所述相机之间的距离信息和角度信息；构建模块，用于基于所述深度图像和预设的障碍概率，构建障碍物栅格地图；所述障碍物栅格地图表示以所述相机为中心预设范围内障碍物存在的概率；第二确定模块，用于基于所述距离信息、所述角度信息和所述障碍物存在的概率，确定运动控制信号，对所述待跟踪目标进行跟踪。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述主动视觉跟踪移动目标方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述主动视觉跟踪移动目标方法。11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述主动视觉跟踪移动目标方法。

技术总结
本发明提供一种主动视觉跟踪移动目标方法及装置，涉及图像处理技术领域，方法包括：调用相机对待跟踪目标进行拍摄，获取当前时刻的待跟踪目标对应的目标图像；目标图像包括彩色图像或者灰度图像，及深度图像；基于目标图像，确定待跟踪目标的当前轨迹信息；基于深度图像和预设的障碍概率，构建障碍物栅格地图；基于距离信息、角度信息和障碍物存在的概率，确定运动控制信号，对待跟踪目标进行跟踪。通过待跟踪目标与相机之间的距离信息和角度信息、实时构建的障碍物栅格地图中障碍物存在的概率，能够确定出运动控制信号，对待跟踪目标进行主动跟踪，实现在复杂场景下对待跟踪目标进行准确跟踪，避免与障碍物之间的碰撞，跟踪效果较好。好。好。


技术研发人员：钟方威 王亦洲
受保护的技术使用者：北京通用人工智能研究院
技术研发日：2023.03.07
技术公布日：2023/7/11