一种不完全信息条件下的中继无人机分布式选择方法

1.本发明涉及无线通信技术领域，具体涉及一种不完全信息条件下的中继无人机分布式选择方法。


背景技术：

2.随着无人机技术的发展，无人机之间具备了协同执行任务的能力。在某些任务中，若干侦察无人机（源无人机）需要前出侦察大片地区，以获得更大范围的侦察位置信息。但由于载荷限制和无人机传输功率的普遍受限，当无人机分布范围较广时，无法直接将采集的数据反馈给数据控制中心，因此需要通过中继无人机进行转发以扩大覆盖范围。考虑到无人机位置分布随任务需要展开，源无人机需要选择合适的中继无人机建立传输关系，以达到期望的效果。
3.在地面网络中，中继传输问题已有相关研究，通常可以通过集中控制器设计集中式算法来优化全网资源分配方案（h. xu, l. huang, c. qiao, x. wang, s. lin, and y. e. sun,
ꢀ“
shared relay assignment (sra) for many-to-one traffic in cooperative networks,
”ꢀ
ieee transactions on mobile computing, vol. 15, pp. 1499-1513, 2016）。对于缺乏集中控制器、大范围部署的空中自组织网络而言，分布式的优化方法应是更加合适。在这种情况下，如果每个节点在进行策略更新时都通过在共同的控制信道上进行信息交换来获得完整的网络信息，将会造成能量消耗和大量的通信开销。在某些系统中，这种方法可能会被禁止使用。此外，不完全信息下的学习算法普遍收敛速度较长（z. chen, t. lin, and c. wu,
ꢀ“
decentralized learning-based relay assignment for cooperative communications,
”ꢀ
ieee transactions on vehicular technology, vol.65, pp. 813-826, 2016），难以适应无人机系统动态部署的特性。
4.因此，可以看出目前亟需提出一种不完全信息的分布式中继选择学习方法，以实现仅根据源无人机自身观测进行决策优化，更好的适应无人机网络的自组织特性。


技术实现要素：

5.有鉴于此，本发明提供了一种不完全信息条件下的中继无人机分布式选择方法，使侦察无人机可通过自身策略学习进行决策优化，更好地适应无人机网络的自组织特性实现全网传输策略优化。
6.为达到上述目的，本发明的技术方案包括以下步骤：步骤1，针对无人机传输网络，包括源无人机集合和中继无人机集合，源无人机负责执行侦察任务并将采集到的信息通过中继无人机收集转发至数据控制中心；无人机传输网络中，各源无人机探测自身可选择的中继无人机，确定自身策略集。
7.步骤2，各源无人机进入初始化阶段，通过随机轮回的方式遍历所有策略以初步估计不同选择策略的传输效果；初始化阶段结束时，源无人机估计其与一中继无人机的传输效果为：
其中为记忆权重；为整数，表示决策周期，表示初始化阶段；为初始化阶段第个源无人机选择第个中继无人机的传输速率估计值；为源无人机在时刻选中中继无人机所感知到的传输速率。
8.步骤3，在每个决策周期，对所选的中继无人机，结合经验估计和吞吐量测量，源无人机m在此时对选择中继无人机后的传输速率估计更新为：其中为衰减因子。
9.步骤4，时刻，对于未选的中继无人机，源无人机根据其经验估计选中该中继无人机的策略的传输速率为：步骤5，若存在至少一个中继无人机，源无人机选中该中继无人机的概率数值与1的差距在设定阈值范围之内，则该继无人机输出为最终分布式选择结果，否则，循环步骤3-5，直至输出一个最终分布式选择结果。
10.进一步地，步骤2中，为源无人机在时刻选中中继无人机所感知到的传输速率：其中为源无人机通过中继无人机建立通信链路传输单位时间内达到的传输速率；为接入中继无人机的源无人机数量，接入同一个中继无人机将平分其时间资源。
11.优选地，衰减因子取值范围为。
12.有益效果：（1）本发明提出的不完全信息条件下的中继无人机分布式选择方法优化了无人机自组织网络中的中继链路决策效率，在自身策略更新的同时提升了全网传输性能，并且可以根据任务需要调整学习参数以适应动态变化的无人机网络。本发明能够适应无人机网络的自组织特性，实现仅根据源无人机自身观测结果进行决策优化。
13.（2）本发明定义了学习衰减因子，有助于学习方案达到收敛状态，解决了不完全信息下的学习算法需要长时间收敛的问题，以适应无人机网络动态变化特性。
附图说明
14.图1是本发明不完全信息条件下的中继无人机分布式选择方法流程示意图。
具体实施方式
15.下面结合附图并举实施例，对本发明进行详细描述。
16.本发明提出的不完全信息条件下的中继无人机分布式选择方法，对分布式中继无人机选择学习策略进行优化优化。
17.在由源无人机、中继无人机和数据控制中心组成的无人机自组织网络中，侦察无人机（源无人机）反馈数据，中继无人机转发汇总至数据控制中心。
18.本发明旨在通过分布式学习优化实现全局收敛。具体而言，本发明通过采用分布式算法使得局部学习策略能够优化全局的传输性能。此外，本发明还可以根据需要灵活地调整学习收敛时间。本发明提出的一种不完全信息条件下的中继无人机分布式选择方法，其流程如图1所示，包括以下步骤：步骤1，无人机传输网络中，包括源无人机集合和中继无人机集合，源无人机负责执行侦察任务并将采集到的信息通过中继无人机收集转发至数据控制中心；无人机传输网络中，各源无人机探测自身可选择的中继无人机，确定自身策略集。
19.步骤2，各源无人机在方法初始化阶段，通过随机轮回的方式遍历所有策略以初步估计不同选择策略的传输效果。初始化结束时，源无人机估计其与某一中继无人机的传输效果为：其中为记忆权重；为整数，表示决策周期，表示初始化阶段；为初始化阶段第个源无人机选择第个中继无人机的传输速率估计值；为源无人机在时刻选中中继无人机所感知到的传输速率。
20.在每个决策周期，源无人机根据依概率选择中继无人机连接；为源无人机选择中继无人机的概率，具体为：其中为源无人机可选中继无人机的集合；为源无人机在时刻选择策略为第个中继无人机时的传输速率估计值；每个源无人机根据其对所有传输效果的加权平均估计来调整其混合策略；步骤3，在每个决策周期，对所选的中继无人机，结合经验估计和吞吐量测量，源无人机在此时对选择中继无人机后的传输速率估计更新为：其中为衰减因子，取值范围为。
21.步骤4，时刻，对于未选的中继无人机，源无人机根据其经验估计选中该中继无人机的策略的传输速率为:
步骤5，若存在至少一个中继无人机，源无人机选中该中继无人机的概率数值与1的差距在设定阈值范围之内，此时全网策略收敛，则该继无人机输出为最终分布式选择结果，否则，循环步骤3-5，直至输出一个最终分布式选择结果。
22.本发明的具体实施如下：一、步骤1所述无人机传输网络，由源无人机和中继无人机组成，源无人机负责执行侦察任务并将采集到的信息通过中继无人机收集转发至数据控制中心；源无人机可选择的中继无人机策略集受节点分布位置以及发射功率等因素影响，需根据网络模型具体分析。
23.二、步骤2所述源无人机估计其与某一中继无人机的传输效果为定义记忆权重，作用是减少历史瞬时传输速率估计对当前性能估计的影响；为整数，表示决策周期，表示初始化阶段；定义源无人机在时刻选择中继无人机可获得的传输速率为，具体的定义如下式所示：其中为源无人机通过中继无人机建立通信链路传输单位时间内达到的传输速率；为接入中继无人机的源无人机数量，接入同一个中继无人机将平分其时间资源。
24.策略质量估计更新公式中，定义衰减因子，来降低其他中继无人机的选择概率，这有助于学习方案达到收敛状态。通过改进措施，学习方案对实际网络的适应性更强。
25.本发明的一个具体实施例是针对本发明提供的一种不完全信息条件下的中继无人机分布式选择方法进行系统仿真，具体描述如下：系统仿真采用matlab软件，参数设定不影响一般性。在一个2000
×
2000米的拓扑结构中，中心位置有一个目的节点（1000，1000）。设置系统信道带宽为10 mhz，系统的噪声功率是-174dbm/hz。实例的实验参数遵循3gpp规范（参照文献：g. t. 36.814,
ꢀ“
further advancements for e-utra: physical layer aspects,
”ꢀ
technical specification group radio access network, june 2009.）。
26.仿真执行过程中，随着β和γ值的增加，算法的总吞吐量也在增加，将花费更多的时间来收敛。可以在不同的网络要求下调整β和γ的值，使其达到传输效率和决策收敛时间的折中。
27.本发明提出的不完全信息条件下的中继无人机分布式选择方法优化了无人机自组织网络中的中继链路决策效率，在自身策略更新的同时提升了全网传输性能，并且可以根据任务需要调整学习参数以适应动态变化的无人机网络。
28.综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的
保护范围之内。

技术特征：
1.一种不完全信息条件下的中继无人机分布式选择方法，其特征在于，包括以下步骤：步骤1，针对无人机传输网络，包括源无人机集合和中继无人机集合，源无人机负责执行侦察任务并将采集到的信息通过中继无人机收集转发至数据控制中心；无人机传输网络中，各源无人机探测自身可选择的中继无人机，确定自身策略集；步骤2，各源无人机进入初始化阶段，通过随机轮回的方式遍历所有策略以初步估计不同选择策略的传输效果；初始化阶段结束时，源无人机估计其与一中继无人机的传输效果为：其中为记忆权重；为整数，表示决策周期，表示初始化阶段；为初始化阶段第个源无人机选择第个中继无人机的传输速率估计值；为源无人机在时刻选中中继无人机所感知到的传输速率；步骤3，在每个决策周期，对所选的中继无人机，结合经验估计和吞吐量测量，源无人机在此时对选择中继无人机后的传输速率估计更新为：其中为衰减因子；步骤4，时刻，对于未选的中继无人机，源无人机根据其经验估计选中该中继无人机的策略的传输速率为:步骤5，若存在至少一个中继无人机，源无人机选中该中继无人机的概率数值与1的差距在设定阈值范围之内，则该继无人机输出为最终分布式选择结果，否则，循环步骤3-5，直至输出一个最终分布式选择结果。2.根据权利要求1所述的一种不完全信息条件下的中继无人机分布式选择方法，其特征在于，步骤2中，所述为源无人机在时刻选中中继无人机所感知到的传输速率：其中为源无人机通过中继无人机建立通信链路传输单位时间内达到的传输速率；为接入中继无人机的源无人机数量，接入同一个中继无人机将平分其时间资源。3.根据权利要求1所述的一种不完全信息条件下的中继无人机分布式选择方法，其特征在于，所述衰减因子，取值范围为。

技术总结
本发明公开了一种不完全信息条件下的中继无人机分布式选择方法，涉及无线通信技术领域。该方法为：无人机传输网络中，各源无人机探测自身可选择的中继无人机，确定自身策略集；各源无人机通过随机轮回的方式遍历所有策略以初步估计不同选择策略的传输效果；在每个决策周期，源节点根据概率选择中继无人机连接；对于所选择的中继节点，源无人机结合经验和当前吞吐量估计更新该策略选择概率；对于未选择的中继节点，源无人机根据经验估计更新该策略选择概率；循环直到全网策略收敛。本发明旨在适应无人机网络的自组织特性，实现仅利用源无人机的自身观测进行决策优化；定义了学习衰减因子，学习算法无需长时间收敛，适应无人机网络的动态变化特性。络的动态变化特性。络的动态变化特性。


技术研发人员：刘典雄 汪李峰 孙兆兵 李智敏 王统祥
受保护的技术使用者：中国人民解放军军事科学院系统工程研究院
技术研发日：2023.08.04
技术公布日：2023/9/9