一种感通导控一体化智能无人机集群自主定位方法与流程

1.本发明属于导航定位技术领域，特别是指一种感通导控一体化智能无人机集群自主定位方法。


背景技术：

2.智能无人机是新一代人工智能的重要研究领域，5g通信、北斗导航、边缘计算等新技术的迅猛发展加速推动无人系统从概念设想和单机应用向群体智能产品形态转化。然而在复杂的环境中，如森林防控、电力巡检等场景下，无人机仅仅利用卫星导航系统和机载传感器无法获得连续稳定的定位信息。
3.为了实现危特场景下的无人机自主定位，需要解决如何获取全向感知信息、航空管制区域下的自主飞行以及外界气象干扰条件下的无人机自稳定等问题。
4.在单无人机导航定位方面，虽然过去已经通过在无人机上搭载多模态传感器的形式实现了视觉-惯导-激光雷达的感知信息融合，但在边远林区、骤变气象、山地环境等复杂场景中仍无法获得连续可靠的远程定位；在无人机集群导航定位方面，利用移动通信网和卫星导航系统结合实现通信定位一体化的研究已经较为普遍。然而，无人机集群间的交互通信定位仍然是一个有待解决的问题。


技术实现要素：

5.本发明的目的在于提供一种感通导控一体化智能无人机集群自主定位方法，本该方法基于无人系统提供智能化、通用化、标准化的系统服务，实现感知、通信、导航、控制一体化协同定位。
6.为了实现上述目的，本发明采用的技术方案为：
7.一种感通导控一体化智能无人机集群自主定位方法，基于无人系统提供智能化、通用化、标准化的系统服务，实现感知、通信、导航、控制一体化协同定位，包括以下步骤：
8.(1)将无人机集群自组织网络分为上下两层感通导控一体化网络，其中，下层为多个无人机节点构成的子网，上层为不同子网间的中继链路；各子网内至少有一个以上的网关或备用网关节点，各节点分别与子网及中继网通信；每个子网自动选择其中一个双频节点作为网关节点，其他双频节点作为备用网关节点；一旦网点节点受损，其他备用网关节点将替代之前的网关节点负责与上层中继网通信；
9.(2)获得上层中继链路中无人机节点的位置信息，完成数据配对；
10.(3)封装配对信息和预处理信息，并调用高精度解算服务进行解算，将获取的结果再调用rtk lib转码为可用的定位信息，将解算后的定位信息与集群自组网的锚点位置信息进行自适应加权融合得到最终的上层中继链路中无人机节点的位置信息；
11.(4)下层子网无人机采用大范围稀疏定位联合小范围凝视定位的方式筛选被跟踪目标，获得自身的相对位置信息。
12.进一步地，步骤(2)的具体方式为：
13.(201)当上传数据包为可用的报文时，调用rtk数据预处理接口，进行数据预处理，得出基准站与无人机载体的有效数据集；
14.(202)进行地图网格切分，并存储在数据库中，按照配置将基准站和基准站所在的地图网格进行关系绑定，并存放在数据库中，根据预处理过后的无人机位置信息寻找距离最近的基准站信息，根据基准站信息获取集群边缘自组网信息，完成数据配对。
15.进一步地，步骤(4)的具体方式为：
16.(401)机载视觉传感器实时采集多尺度场景图像，将图像输入到训练好的目标分类网络中，判断场景图像中是否存在结构化特征信息，目标分类网络中每个候选框都会计算自己的置信度，每个候选框的置信度与网格预测的类别信息相乘，得到每个候选框对应的综合得分：
[0017][0018]
式中，ci为图像中的候选网格，o
object
为预测的类别，pr(ci|o
object
)为每个网格预测的类别概率得分，pr(o
object
)为网格中是否存在目标，为预测候选框与真实目标框之间的重叠率，为每个候选框对应的综合得分；
[0019]
得到每个候选框的综合得分后，设置阈值，滤掉得分低的候选框，将过滤后的候选框区域作为小范围凝视定位过程的输入区域；
[0020]
(402)将筛选后的区域图像输入到小范围稀疏定位算法中，首先利用点、线特征的视觉词典将图像转换为基于点特征的词汇向量和基于线特征的词汇向量，然后在图像数据库中查询最佳匹配图像用于无人机位置计算；
[0021]
查询过程分为两个步骤：(1)依据特征匹配原则确定最佳匹配图像的搜索范围；(2)在搜索范围内计算当前图像与图像数据库中图像间的相似性分数，分别计算基于点特征和线特征的相似性分数，之后根据图像中点、线特征分布的特点为求得的相似性分数分配权重，将点线特征融合求得最终的相似性分数；融合后的相似性分数表示为s：
[0022]
s＝w
psp
+w
lsl
[0023]
式中，s
p
表示的是基于点特征的相似性分数，s
l
表示的是基于线特征的相似性分数，w
p
和w
l
则是各个相似性分数分配的权重；
[0024]
依据相似性分数，将不符合要求的图像剔除；
[0025]
将时间上相近的图像归为一组，在相似性分数之和最高的一组中相似性分数最高的为最佳匹配图像；
[0026]
最后，根据投影和坐标转换关系，计算无人机的绝对位置信息；
[0027]
无人机的位置姿态估计过程如下：机载相机的投影模型在仿射空间下，利用特征点在像素坐标系中的位置与特征点在世界坐标系中的位置的匹配结果得到摄像机投影矩阵pa；
[0028]
摄像机投影矩阵除了包含已知的内参数矩阵k外，还包含摄像机相对于世界坐标系运动的外参数矩阵[r t]，摄像机投影矩阵pa如下式：
[0029]
pa＝k[r|t]
[0030]
式中，向量t表示无人机在世界坐标系中的位置；
[0031][0032]
t1＝kx，t2＝ky，t3＝kz
[0033]
利用无人机机载高度计获得真实高度z，从而估计真实的位置参数x,y：
[0034][0035]
本发明与现有技术相比所取得的有益效果为：
[0036]
1、本发明具有集群规模可伸缩可重构、对外部环境适应能力强、能够兼容不同业务类型等特点。
[0037]
2、本发明采用原创的感通导控一体化技术，形成独有的北斗/5g/自组网协同导航通信特色能力，支持在异构无人机平台上、面向通信保障、电力巡检、森林防控等不同危特领域的群体智能应用。
附图说明
[0038]
图1是本发明实例中感通导控一体化智能无人机集群自主定位方法的流程图。
具体实施方式
[0039]
以下结合附图和具体实施方式对本发明做进一步的说明。
[0040]
一种感通导控一体化智能无人机集群自主定位方法，首先针对单机智能跟随过程中无人机对复杂环境中360
°
全方位障碍物的感知问题，采用光机电融合定位全向智能感知避障技术获得单无人机与障碍物的相对位置信息保障无人机安全；然后针对智能无人机集群在边远林区、骤变气象、山地环境等复杂场景应用中面临的连续可靠远程定位与通信问题，将北斗+5g与自组网协同定位技术相结合，确保无人机集群在执行任务时获得连续可靠的定位信息；再通过异构无人机平台动态组网技术，提升无人机对外部环境的适应性鲁棒性；在执行电力巡检、森林防控等具体跟踪任务时，采用大范围稀疏定位+小范围凝视定位的方式筛选被跟踪目标，采用基于云边端计算架构的多维信息融合技术，为后续救援任务提供全面、多维的气象、环境、目标信息；为保证单机在风力干扰下仍能在危急场景下自稳、安全地完成森林防控、电力巡检等任务，采用自适应抗风盘旋跟踪技术，实现无人机跟随风力方向进行空中动态盘旋，保证自身稳定性。
[0041]
具体来说，包括以下步骤：
[0042]
(1)针对电力巡检、森林防控等复杂室外场景下的障碍感知及可靠通信定位问题，采用如下所述的光机电融合定位全向智能感知避障技术、原创的北斗/5g/自组网通信定位技术以及异构无人机平台动态组网技术。
[0043]
(101)针对单机智能跟随过程中无人机对复杂环境中360
°
全方位障碍物的感知问题，采用光机电融合定位的全向智能感知避障技术。利用360
°
激光雷达+双目视觉+imu融合定位的方式，对障碍物位置进行定位，引导无人机在高速飞行过程中完成避障任务。
[0044]
(102)针对智能无人机集群在边远林区、骤变气象、山地环境等复杂场景应用中面
临的连续可靠远程定位与通信问题，将北斗+5g与自组网协同定位技术相结合，确保无人机集群在执行任务时获得连续可靠的定位信息。动态自组织网络具有无中心、高抗毁、自由组网的应用优势，将自组网定位技术与北斗+5g结合，需要针对动态节点的应用特点设计精确相对测量和时间同步算法，从而提高集群节点在自由动态下的信号接收能力、各路信号捕获概率、测量精度和时间同步精度等。
[0045]
(103)面向不同危特应用场景下无人机集群规模可伸缩可重构的需求，通过异构无人机平台动态组网技术，提升无人机对外部环境的适应性鲁棒性。通过在无人机上搭载感通导控一体化嵌入式智能处理平台的方式，利用标准化自组网应用协议动态加入，基于通用标准接口设计为可拼插硬件结构，细分出地基/星基rtk、通导一体化网与核心计算、视觉模块等多个物理小板卡，满足用户在各类应用环境及无人平台条件下，根据对成本、能力等方面的实际需要，通过现场拼插方式，快速、灵活地实现适配安装和应用，从而解决不同应用条件下设备通用化程度低、安装多类商用模块体积和功耗大、定制化成本高、设备维护难度大等实际难题。
[0046]
(104)为了解决无人机实际飞行中面临的航空管制问题，采用融合航空管制区域和民航航迹信息的无人机路径规划技术，利用5g网络获取周围环境的实时管制信息，调整无人机飞行高度，在实现自主避让的同时自适应选择最优路径，到达指定目标执行任务。
[0047]
(2)针对电力巡检、森林防控等复杂室外场景下的目标跟踪及目标反馈问题，采用如下所述的基于稀疏+凝视定位的合作目标跟踪技术和基于云边端计算架构的多维信息融合技术。
[0048]
(201)针对电力巡检、森林防控等复杂室外场景下单无人机对目标的智能跟随中合作目标及非合作目标定位信息冗余，导致无人机机载智能处理系统功耗高，无人机续航时间短的问题，采用原创的基于稀疏筛选+凝视定位的合作目标跟踪技术，采用大范围稀疏定位+小范围凝视定位的方式筛选被跟踪目标。
[0049]
(202)针对林区远程灾情、设备故障情况识别难度大、复杂气象条件下灾情发展态势预测难度大的突出难题，采用基于云边端计算架构的多维信息融合技术，为后续救援任务提供全面、多维的气象、环境、目标信息。机载智能处理系统提供现场气象、场景、目标的实时信息，后台云服务在机载智能处理系统获取实时信息基础上提供先验信息+集群协同管理信息。
[0050]
(3)为了解决单机在风力干扰下仍能在危急场景下自稳、安全地完成森林防控、电力巡检等任务，采用自适应抗风盘旋跟踪技术，通过传感器对风向的识别，实现无人机跟随风力方向进行空中动态盘旋，在保证自身稳定性的同时自主完成指定任务。
[0051]
图1为一种感通导控一体化智能无人机集群自主定位方法的流程图。本方法可在电力巡检、森林防控等复杂室外环境中实现自主定位，这里以电力巡检、森林防控等复杂室外场景下无人机集群的定位问题为例，该无人机集群平台装备有感通导控一体化协同定位模块、360
°
激光雷达、双目相机和imu，详细描述实现步骤：
[0052]
(1)首先采用如下所述的光机电融合定位全向智能感知避障技术、原创的北斗/5g/自组网通信定位技术以及异构无人机平台动态组网技术实现无人机集群的连续稳定定位。
[0053]
(101)针对单机智能跟随过程中无人机对复杂环境中360
°
全方位障碍物的感知问
题，采用光机电融合定位的全向智能感知避障技术。利用360
°
激光雷达+双目视觉+imu融合定位的方式，对障碍物位置进行定位，引导无人机在高速飞行过程中完成避障任务。
[0054]
(102)针对智能无人机集群在边远林区、骤变气象、山地环境等复杂场景应用中面临的连续可靠远程定位与通信问题，利用集成了北斗接收天线和5g模块的感通导控一体化协同定位模块，采用北斗/5g/自组网通信定位技术，确保无人机集群在执行任务时获得连续可靠的定位信息，针对动态节点的应用特点设计精确相对测量和时间同步算法，从而提高集群节点在自由动态下的信号接收能力、各路信号捕获概率、测量精度和时间同步精度等。
[0055]
(103)在异构无人机集群上搭载感通导控一体化嵌入式智能处理平台的方式，利用标准化自组网应用协议动态加入，基于通用标准接口设计为可拼插硬件结构，细分出地基/星基rtk、通导一体化网与核心计算、视觉模块等多个物理小板卡，满足用户在各类应用环境及无人平台条件下，通过现场拼插方式，快速、灵活地实现适配安装和应用。
[0056]
(104)为了解决无人机实际飞行中面临的航空管制问题，采用融合航空管制区域和民航航迹信息的无人机路径规划技术，利用5g网络获取周围环境的实时管制信息，调整无人机飞行高度，在实现自主避让的同时自适应选择最优路径，到达指定目标执行任务。
[0057]
(2)获得无人机集群的绝对和相对位置信息后，为了解决复杂室外场景下的目标跟踪及目标反馈问题，采用如下所述的基于稀疏+凝视定位的合作目标跟踪技术和基于云边端计算架构的多维信息融合技术。
[0058]
(201)针对电力巡检、森林防控等复杂室外场景下单无人机对目标的智能跟随中合作目标及非合作目标定位信息冗余，导致无人机机载智能处理系统功耗高，无人机续航时间短的问题，采用原创的基于稀疏筛选+凝视定位的合作目标跟踪技术，采用大范围稀疏定位+小范围凝视定位的方式筛选被跟踪目标。
[0059]
(202)针对林区远程灾情、设备故障情况识别难度大、复杂气象条件下灾情发展态势预测难度大的突出难题，采用基于云边端计算架构的多维信息融合技术，为后续救援任务提供全面、多维的气象、环境、目标信息。机载智能处理系统提供现场气象、场景、目标的实时信息，后台云服务在机载智能处理系统获取实时信息基础上提供先验信息+集群协同管理信息。
[0060]
(3)为了解决单机在风力干扰下仍能在危急场景下自稳、安全地完成森林防控、电力巡检等任务，采用自适应抗风盘旋跟踪技术，通过传感器对风向的识别，实现无人机跟随风力方向进行空中动态盘旋，在保证自身稳定性的同时自主完成指定任务。
[0061]
总之，本发明具有集群规模可伸缩可重构、对外部环境适应能力强、能够兼容不同业务类型等特点。依托北斗卫星导航系统和5g移动通信系统，本发明还提出了原创的感通导控一体化技术，形成独有的北斗/5g/自组网协同导航通信特色能力；采用无人机集群+通用化模块化的嵌入式智能处理平台+标准化模组协议的应用推广方式，支持在异构无人机平台上、面向通信保障、电力巡检、森林防控等不同危特领域的群体智能应用。

技术特征：
1.一种感通导控一体化智能无人机集群自主定位方法，其特征在于，基于无人系统提供智能化、通用化、标准化的系统服务，实现感知、通信、导航、控制一体化协同定位，包括以下步骤：(1)将无人机集群自组织网络分为上下两层感通导控一体化网络，其中，下层为多个无人机节点构成的子网，上层为不同子网间的中继链路；各子网内至少有一个以上的网关或备用网关节点，各节点分别与子网及中继网通信；每个子网自动选择其中一个双频节点作为网关节点，其他双频节点作为备用网关节点；一旦网点节点受损，其他备用网关节点将替代之前的网关节点负责与上层中继网通信；(2)获得上层中继链路中无人机节点的位置信息，完成数据配对；(3)封装配对信息和预处理信息，并调用高精度解算服务进行解算，将获取的结果再调用rtk lib转码为可用的定位信息，将解算后的定位信息与集群自组网的锚点位置信息进行自适应加权融合得到最终的上层中继链路中无人机节点的位置信息；(4)下层子网无人机采用大范围稀疏定位联合小范围凝视定位的方式筛选被跟踪目标，获得自身的相对位置信息。2.根据权利要求1所述的一种感通导控一体化智能无人机集群自主定位方法，其特征在于，步骤(2)的具体方式为：(201)当上传数据包为可用的报文时，调用rtk数据预处理接口，进行数据预处理，得出基准站与无人机载体的有效数据集；(202)进行地图网格切分，并存储在数据库中，按照配置将基准站和基准站所在的地图网格进行关系绑定，并存放在数据库中，根据预处理过后的无人机位置信息寻找距离最近的基准站信息，根据基准站信息获取集群边缘自组网信息，完成数据配对。3.根据权利要求1所述的一种感通导控一体化智能无人机集群自主定位方法，其特征在于，步骤(4)的具体方式为：(401)机载视觉传感器实时采集多尺度场景图像，将图像输入到训练好的目标分类网络中，判断场景图像中是否存在结构化特征信息，目标分类网络中每个候选框都会计算自己的置信度，每个候选框的置信度与网格预测的类别信息相乘，得到每个候选框对应的综合得分：式中，c
i
为图像中的候选网格，o
object
为预测的类别，p
r
(c
i
|o
object
)为每个网格预测的类别概率得分，p
r
(o
object
)为网格中是否存在目标，为预测候选框与真实目标框之间的重叠率，为每个候选框对应的综合得分；得到每个候选框的综合得分后，设置阈值，滤掉得分低的候选框，将过滤后的候选框区域作为小范围凝视定位过程的输入区域；(402)将筛选后的区域图像输入到小范围稀疏定位算法中，首先利用点、线特征的视觉词典将图像转换为基于点特征的词汇向量和基于线特征的词汇向量，然后在图像数据库中查询最佳匹配图像用于无人机位置计算；查询过程分为两个步骤：(1)依据特征匹配原则确定最佳匹配图像的搜索范围；(2)在
搜索范围内计算当前图像与图像数据库中图像间的相似性分数，分别计算基于点特征和线特征的相似性分数，之后根据图像中点、线特征分布的特点为求得的相似性分数分配权重，将点线特征融合求得最终的相似性分数；融合后的相似性分数表示为s：s＝w
p
s
p
+w
l
s
l
式中，s
p
表示的是基于点特征的相似性分数，s
l
表示的是基于线特征的相似性分数，w
p
和w
l
则是各个相似性分数分配的权重；依据相似性分数，将不符合要求的图像剔除；将时间上相近的图像归为一组，在相似性分数之和最高的一组中相似性分数最高的为最佳匹配图像；最后，根据投影和坐标转换关系，计算无人机的绝对位置信息；无人机的位置姿态估计过程如下：机载相机的投影模型在仿射空间下，利用特征点在像素坐标系中的位置与特征点在世界坐标系中的位置的匹配结果得到摄像机投影矩阵p
a
；摄像机投影矩阵除了包含已知的内参数矩阵k外，还包含摄像机相对于世界坐标系运动的外参数矩阵[r t]，摄像机投影矩阵p
a
如下式：p
a
＝k[r|t]式中，向量t表示无人机在世界坐标系中的位置；t1＝kx，t2＝ky，t3＝kz利用无人机机载高度计获得真实高度z，从而估计真实的位置参数x,y：

技术总结
本发明公开了一种感通导控一体化智能无人机集群自主定位方法，属于导航定位技术领域。本方法首先将无人机集群自组织网络分为上下两层感通导控一体化网络；然后获得上层中继链路中无人机节点的位置信息，完成数据配对；接着封装配对信息和预处理信息，并进行解算，将解算后的定位信息与集群自组网的锚点位置信息进行自适应加权融合得到最终的上层中继链路中无人机节点的位置信息；最后下层子网无人机采用大范围稀疏定位联合小范围凝视定位的方式筛选被跟踪目标，获得自身的相对位置信息。本发明具有集群规模可伸缩可重构、对外部环境适应能力强、能够兼容不同业务类型等特点。点。点。


技术研发人员：王婧 蔚保国 易卿武 何成龙 杨赛柯
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：2023.04.17
技术公布日：2023/7/21