用于巡检中飞行装置的飞行方向实时调整方法及装置

用于巡检中飞行装置的飞行方向实时调整方法及装置
【技术领域】
1.本技术涉及电力巡检技术领域，尤其涉及一种用于巡检中飞行装置的飞行方向实时调整方法及装置。


背景技术：

2.随着电力网络在全国深入布局，无人机在电力巡检领域迎来广阔发展空间。在现有的电力巡检过程中，可以为无人机生成巡检路径，无人机经巡检路径到达巡检目标，采集巡检目标的图像用于检测。一般地，可采用遗传算法或概略图规划方法为无人机规划巡检路径。
3.其中，遗传算法能够有效定位巡检目标，但生成的巡检路线固定，缺乏可调整性，不利于无人机基于实际需求变换路线，影响巡检效率和巡检成果。
4.概略图规划方法则必须表示出巡检空间中所有可能到达巡检目标的巡检路径，否则即可能丢失最优解。然而，若要计算出所有可能的巡检路径，需要大量进行大量计算，消耗资源过多。
5.同时，电力网络分布广泛，结构复杂，巡检环境中的障碍颇多，常规的巡检路径规划方式无法有效适应复杂多变的巡检需求。
6.因此，如何在电力巡检领域中提供一种便捷高效的无人机巡检路径规划方式，成为目前亟待解决的技术问题。


技术实现要素：

7.本技术实施例提供了一种用于巡检中飞行装置的飞行方向实时调整方法及装置，旨在解决相关技术中常规的巡检路径规划方式无法有效适应复杂多变的巡检需求的技术问题。
8.第一方面，本技术实施例提供了一种用于巡检中飞行装置的飞行方向实时调整方法，包括：在进入当前巡检流程的每个飞行阶段时，实时获取t接塔的位置信息，其中，所述当前巡检流程包括连续的多个飞行阶段，在所述多个飞行阶段中的最末飞行阶段结束时，飞行装置到达针对所述t接塔的巡检位置；基于所述t接塔的位置信息，确定所述飞行装置的第一飞行方向；根据所述第一飞行方向，生成第二飞行方向，其中，所述第二飞行方向为增强现实显示场景中为所述飞行装置标示的行进方向；若检测到针对所述第二飞行方向的调整指令，基于所述调整指令，确定所述飞行装置的第三飞行方向，并在所述飞行装置向所述第三飞行方向行进时进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。
9.在本技术的实施例中，可选地，所述实时获取t接塔的位置信息，包括：基于第一环境特征信息和预定目标识别算法，确定所述t接塔的位置信息，其中，所述预定目标识别算法包括pointnet算法和/或pointnet++算法。
10.在本技术的实施例中，可选地，所述基于所述t接塔的位置信息，确定所述飞行装置的第一飞行方向，包括：确定以所述飞行装置当前所在的第一位置为原点、经过所述t接
塔的位置信息所指示的第二位置的射线，并将所述射线的指示方向确定为所述第一飞行方向；或者基于第二环境特征信息和遗传算法，确定由所述飞行装置当前所在的第一位置至所述t接塔的位置信息所指示的第二位置的可选路径；将所述第一位置处所述路径的前进方向确定为所述第一飞行方向。
11.在本技术的实施例中，可选地，所述将所述第一位置处所述路径的前进方向确定为所述第一飞行方向，包括：若所述可选路径为多条，对于每条所述可选路径，将所述可选路径在所述第一位置处的前进方向确定为待选飞行方向；获取所述可选路径的障碍特征信息，其中，所述障碍特征信息包括：障碍物数量、障碍难度系数、路径长度、路径转弯数量和路径中高难度弯道数量；基于所述障碍特征信息和每种所述障碍特征信息的权重，确定所述可选路径的置信度；在多个所述待选飞行方向中，选择所属可选路径的置信度最高的待选飞行方向，作为所述第一飞行方向。
12.在本技术的实施例中，可选地，在所述当前巡检流程的每个飞行阶段中，还包括：若检测到障碍物，以所述飞行装置当前所在的第三位置为中心，在所述飞行装置的预设飞行路径上截取障碍物关联路径；基于预设避障算法和所述障碍物关联路径，确定所述障碍物关联路径的替代路径，其中，所述预设避障算法是基于a-star算法、dijkstra算法和启发式函数所确定的，所述障碍物关联路径与所述替代路径的起点和终点分别相同；将所述替换路径作为所述飞行装置的行进路径，并以所述替换路径的终点作为起始点，重新设置所述预设飞行路径。
13.在本技术的实施例中，可选地，还包括：在所述当前巡检流程的每个飞行阶段中，在所述飞行装置通过所述行进路径后，进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。
14.在本技术的实施例中，可选地，在所述实时获取t接塔的位置信息之前，还包括：基于接收到的模式选择指令，在简略巡检模式、标准巡检模式和精确巡检模式中选择目标巡检模式，作为所述当前巡检流程的目标巡检模式，其中，所述简略巡检模式、所述标准巡检模式和所述精确巡检模式各自的巡检点位数量依次增多。
15.第二方面，本技术实施例提供了一种用于巡检中飞行装置的飞行方向实时调整装置，包括：t接塔位置获取单元，用于在进入当前巡检流程的每个飞行阶段时，实时获取t接塔的位置信息，其中，所述当前巡检流程包括连续的多个飞行阶段，在所述多个飞行阶段中的最末飞行阶段结束时，飞行装置到达针对所述t接塔的巡检位置；第一飞行方向确定单元，用于基于所述t接塔的位置信息，确定所述飞行装置的第一飞行方向；第二飞行方向确定单元，用于根据所述第一飞行方向，生成第二飞行方向，其中，所述第二飞行方向为增强现实显示场景中为所述飞行装置标示的行进方向；第三飞行方向确定单元，若检测到针对所述第二飞行方向的调整指令，基于所述调整指令，确定所述飞行装置的第三飞行方向；飞行阶段跳转单元，用于在所述飞行装置向所述第三飞行方向行进时进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。
16.在本技术的实施例中，可选地，所述t接塔位置获取单元用于：基于第一环境特征信息和预定目标识别算法，确定所述t接塔的位置信息，其中，所述预定目标识别算法包括pointnet算法和/或pointnet++算法。
17.在本技术的实施例中，可选地，所述第一飞行方向确定单元用于：确定以所述飞行
装置当前所在的第一位置为原点、经过所述t接塔的位置信息所指示的第二位置的射线，并将所述射线的指示方向确定为所述第一飞行方向；或者基于第二环境特征信息和遗传算法，确定由所述飞行装置当前所在的第一位置至所述t接塔的位置信息所指示的第二位置的可选路径；将所述第一位置处所述路径的前进方向确定为所述第一飞行方向。
18.在本技术的实施例中，可选地，所述第一飞行方向确定单元用于：若所述可选路径为多条，对于每条所述可选路径，将所述可选路径在所述第一位置处的前进方向确定为待选飞行方向；获取所述可选路径的障碍特征信息，其中，所述障碍特征信息包括：障碍物数量、障碍难度系数、路径长度、路径转弯数量和路径中高难度弯道数量；基于所述障碍特征信息和每种所述障碍特征信息的权重，确定所述可选路径的置信度；在多个所述待选飞行方向中，选择所属可选路径的置信度最高的待选飞行方向，作为所述第一飞行方向。
19.在本技术的实施例中，可选地，所述用于巡检中飞行装置的飞行方向实时调整装置还包括：关联路径截取单元，用于在所述当前巡检流程的每个飞行阶段中，若检测到障碍物，以所述飞行装置当前所在的第三位置为中心，在所述飞行装置的预设飞行路径上截取障碍物关联路径；替代路径确定单元，用于基于预设避障算法和所述障碍物关联路径，确定所述障碍物关联路径的替代路径，其中，所述预设避障算法是基于a-star算法、dijkstra算法和启发式函数所确定的，所述障碍物关联路径与所述替代路径的起点和终点分别相同；路径更新单元，用于将所述替换路径作为所述飞行装置的行进路径，并以所述替换路径的终点作为起始点，重新设置所述预设飞行路径。
20.在本技术的实施例中，可选地，所述飞行阶段跳转单元还用于：在所述当前巡检流程的每个飞行阶段中，在所述飞行装置通过所述行进路径后，进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。
21.在本技术的实施例中，可选地，所述用于巡检中飞行装置的飞行方向实时调整装置还包括：巡检模式选择单元，用于在所述t接塔位置获取单元实时获取t接塔的位置信息之前，基于接收到的模式选择指令，在简略巡检模式、标准巡检模式和精确巡检模式中选择目标巡检模式，作为所述当前巡检流程的目标巡检模式，其中，所述简略巡检模式、所述标准巡检模式和所述精确巡检模式各自的巡检点位数量依次增多。
22.第三方面，本技术实施例提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述第一方面所述的方法。
23.第四方面，本技术实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述第一方面所述的方法。
24.以上技术方案，针对相关技术中常规的巡检路径规划方式无法有效适应复杂多变的巡检需求的技术问题，可在巡检过程中不断地基于t接塔的实际位置自动调整飞行方向，无需预先消耗大量计算资源确定飞行装置的行进路径。同时，由于每一次飞行方向的调整均是由t接塔实时的位置确定的，也就避免了相关技术中因t接塔位置变化而导致预先计算的行进路径无法有效指示巡检位置的问题。综上，本技术的技术方案，既能够降低飞行装置巡检所消耗的计算资源，也提升了飞行装置在路线调整方面的合理性，使得飞行装置可以更为准确有效地对t接塔进行定位和巡检，提升了无人机电力巡检的实用性。
【附图说明】
25.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
26.图1示出了根据本技术的一个实施例的用于巡检中飞行装置的飞行方向实时调整方法的流程图；
27.图2示出了根据本技术的另一个实施例的用于巡检中飞行装置的飞行方向实时调整方法的流程图；
28.图3示出了根据本技术的一个实施例的视觉寻塔的流程图；
29.图4示出了根据本技术的一个实施例的标准巡检模式的航线点位分布图；
30.图5示出了根据本技术的一个实施例的简略巡检模式的航线点位分布图；
31.图6示出了根据本技术的一个实施例的精确巡检模式的航线点位分布图；
32.图7示出了根据本技术的一个实施例的用于巡检中飞行装置的飞行方向实时调整装置的框图；
33.图8示出了根据本技术的一个实施例的电子设备的框图。
【具体实施方式】
34.针对相关技术中常规的巡检路径规划方式无法有效适应复杂多变的巡检需求的技术问题，本技术提出将基于增强现实技术与目标识别算法相结合，进行视觉引导寻塔，同时在寻塔过程中配合预设的自主避障方式，来实现对障碍物的绕行，最终成功到达需要巡检的t接塔。
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.实施例一
37.图1示出了根据本技术的一个实施例的用于巡检中飞行装置的飞行方向实时调整方法的流程图。
38.如图1所示，根据本技术的一个实施例的用于巡检中飞行装置的飞行方向实时调整方法的流程包括：
39.步骤102，在进入当前巡检流程的每个飞行阶段时，实时获取t接塔的位置信息。
40.若要飞行装置对t接塔进行巡检，首先需要定位t接塔的位置。其中，t接塔的位置信息包括但不限于t接塔与飞行装置的相对位置、t接塔的经纬度坐标、t接塔在指定坐标系的坐标等。
41.在一种可能的设计中，可直接获取数据库中t接塔的预设位置作为t接塔的位置信息，以减少资源占用，提升处理速度。
42.在另一种可能的设计中，考虑到电力设施发展迅速，t接塔的实际位置很可能与预设位置不一致，故可实时定位t接塔，获取其实时位置，以提升巡检的可靠性。
43.可选地，可基于第一环境特征信息和预定目标识别算法，确定所述t接塔的位置信
息，其中，所述预定目标识别算法包括pointnet算法和/或pointnet++算法。
44.第一环境特征信息为对巡检环境的描述信息，包括但不限于对巡检环境的拍摄图像、拍摄视频等信息，进一步地，可在拍摄图像、拍摄视频等信息中提取点云信息。或者，第一环境特征信息也可为对巡检环境的拍摄图像、拍摄视频等信息处理后所得的点云信息。pointnet算法主要用于通过2d卷积神经网络对3d的点云信息进行特征学习，从而可在点云信息中有效识别t接塔，从而实时定位t接塔，得到t接塔的实时位置。具体地，可将巡检环境的点云信息作为2d卷积神经网络的输入，学习点云信息中每个点的空间编码，然后将单独的点聚合为全局点云特征，并通过对t接塔的三维特征的学习，有效输出点云信息中t接塔的2d位置。进一步地，还可以结合飞行装置的实时位置计算t接塔的高度。
45.pointnet++算法作为对pointnet算法的改进，在通过通过2d卷积神经网络对3d的点云信息进行特征学习的基础上，加入了对点与点之间的局部特征特点的考虑，能够更为准确地学习点云信息的局部特征，从而输出更为精确的t接塔定位结果。
46.步骤104，基于所述t接塔的位置信息，确定所述飞行装置的第一飞行方向。
47.在获得t接塔的位置信息后，可为飞行装置确定初始的飞行方向。
48.在一种可能的设计中，确定以所述飞行装置当前所在的第一位置为原点、经过所述t接塔的位置信息所指示的第二位置的射线，并将所述射线的指示方向确定为所述第一飞行方向。
49.也就是说，将所述飞行装置与所述t接塔的直线连接方向作为飞行装置初始的飞行方向，以保证飞行装置有效靠近t接塔。
50.在另一种可能的设计中，可基于第二环境特征信息和遗传算法，确定由所述飞行装置当前所在的第一位置至所述t接塔的位置信息所指示的第二位置的可选路径；将所述第一位置处所述路径的前进方向确定为所述第一飞行方向。
51.具体来说，可通过遗传算法计算飞行装置在当前的第一位置至t接塔的路线，将这一路线的初始位置处的前进方向作为飞行装置初始的飞行方向。
52.进一步地，遗传算法(genetic algorithm)起源于对生物系统所进行的计算机模拟研究，是一种随机全局搜索优化方法，它模拟了自然选择和遗传中发生的复制、交叉和变异等现象，从任一初始种群出发，通过随机选择、交叉和变异操作，产生一群更适合环境的个体，使群体进化到搜索空间中越来越好的区域，这样一代一代不断繁衍进化，最后收敛到一群最适应环境的个体，从而求得问题的优质解。在本技术中，可以将第二环境特征信息作为初始种群，经遗传算法处理，获得这一巡检环境中巡检路线的优质路线。
53.在一种可能的设计中，遗传算法所得的优质路线为单条，则可直接将该单条优质路线上第一位置处的前进方向确定为所述第一飞行方向。
54.在另一种可能的设计中，遗传算法所得的优质路线为多条，则需要在多条优质路线中选择最佳路线，以及将最佳路线上第一位置处的前进方向确定为所述第一飞行方向。
55.具体来说，对于每条所述可选路径，将所述可选路径在所述第一位置处的前进方向确定为待选飞行方向，以便通过比较多条可选路径的置信度在多个待选飞行方向中选择第一飞行方向。
56.接下来，获取所述可选路径的障碍特征信息。可选路径的障碍特征信息用于反映可选路径的行进难度，可作为路径选择的依据。
57.其中，所述障碍特征信息包括：障碍物数量、障碍难度系数、路径长度、路径转弯数量和路径中高难度弯道数量。障碍物数量即该可选路径所涉及的障碍物的数量，这里的涉及指的是飞行装置需在障碍物的上、下、左、右、前、后等任何方向的相近位置经过。障碍难度系数用于反映所涉及的障碍物对飞行装置行进的负面影响的高低。路径长度即该可选路径的长度，该可选路径越长，对飞行装置行进造成的困难越大。路径转弯作为一种难度较大的飞行动作，其数量越多，对飞行装置行进造成的困难越大。同样，路径中高难度弯道数量越多，对飞行装置行进造成的困难越大。
58.基于历史巡检数据可以知晓，不同类型的障碍特征信息对飞行装置行进所造成的影响有高有低，故可基于历史巡检数据，为每种障碍特征信息设置对应的权重。权重越高，对飞行装置行进所造成的负面影响越高。
59.进一步地，可基于所述障碍特征信息和每种所述障碍特征信息的权重，确定所述可选路径的置信度。
60.在一种可能的设计中，可将可选路径的多种障碍特征信息分别转换为特征值，并进行归一化处理，再将归一化处理后的特征值进行加权求和，得到所述可选路径的置信度。
61.在另一种可能的设计中，可将可选路径的多种障碍特征信息分别转换为特征值，并进行归一化处理，然后基于归一化处理后的特征值建立障碍特征矩阵。若具有1、
……
、x、
……
、y、
……
等多种障碍特征信息，则基于第x种障碍特征信息的归一化特征值与第y种障碍特征信息的归一化特征值，可得到该障碍特征矩阵中第x行第y列的元素，并将障碍特征矩阵的秩作为所述可选路径的置信度。
62.具体来说，可以对第x种障碍特征信息的归一化特征值与第y种障碍特征信息的归一化特征值进行加权求和，并通过预定修正公式对所得的和进行修正，得到第x行第y列的元素。其中，预定修正公式为n’＝n
3-m。n’为第x行第y列的元素值，n为对第x种障碍特征信息的归一化特征值与第y种障碍特征信息的归一化特征值进行加权求和的结果，用于反映第x种障碍特征信息与第y种障碍特征信息的关联性。n3则相当于将第x种障碍特征信息与第y种障碍特征信息的关联性进行了放大，有助于在最终所得的置信度中增大对障碍特征信息间关联性的体现。m为修正系数，由历史巡检数据中第x种障碍特征信息的出现频次与第y种障碍特征信息的出现频次的差值决定，用于反映第x种障碍特征信息与第y种障碍特征信息在实践中对置信度的影响能力的差异。
63.最终，在多个所述待选飞行方向中，选择所属可选路径的置信度最高的待选飞行方向，作为所述第一飞行方向。
64.由此，可为飞行装置确定有效可靠的初始飞行方向，减少了后续对飞行方向进行调整的难度，可有效提升飞行装置巡检的便利性。
65.步骤106，根据所述第一飞行方向，生成第二飞行方向，其中，所述第二飞行方向为增强现实显示场景中为所述飞行装置标示的行进方向。
66.也就是说，可以在增强现实显示场景中将飞行装置的行进方向标示出来，这样，结合增强现实显示场景的立体效果，可有效体现行进方向的实际指向，便于进一步对行进方向进行调整。
67.步骤108，若检测到针对所述第二飞行方向的调整指令，基于所述调整指令，确定所述飞行装置的第三飞行方向，并在所述飞行装置向所述第三飞行方向行进时进入下一飞
行阶段，直至所述飞行装置到达所述巡检位置。
68.在一种可能的设计中，由人工操作生成调整指令，即借助人工视觉对第二飞行方向进行修正，以达到获取准确的行进方向的目的。
69.在另一种可能的设计中，可基于增强现实显示场景中的第二飞行方向评估飞行到达位置与t接塔的实际位置的偏差，再基于该偏差，自动调整第二飞行方向，得到最终的第三飞行方向。
70.其中，所述当前巡检流程包括连续的多个飞行阶段，在所述多个飞行阶段中的最末飞行阶段结束时，飞行装置到达针对所述t接塔的巡检位置。
71.这样一来，在每个飞行阶段之初，都需要实时定位t接塔的实际位置，再基于t接塔的实际位置，结合增强现实显示场景快捷高效地调整飞行方向。接下来，进入下一飞行阶段，再次定位t接塔的实际位置以及再次调整飞行方向。由此循环下去，直至飞行装置到达针对所述t接塔的巡检位置。
72.在该技术方案中，可在巡检过程中不断地基于t接塔的实际位置自动调整飞行方向，无需预先消耗大量计算资源确定飞行装置的行进路径。同时，由于每一次飞行方向的调整均是由t接塔实时的位置确定的，也就避免了相关技术中因t接塔位置变化而导致预先计算的行进路径无法有效指示巡检位置的问题。综上，本技术的技术方案，既能够降低飞行装置巡检所消耗的计算资源，也提升了飞行装置在路线调整方面的合理性，使得飞行装置可以更为准确有效地对t接塔进行定位和巡检，提升了无人机电力巡检的实用性。
73.在一种可能的设计中，本技术可实现增强现实显示场景中飞行方向改变带动行进路径改变的显示效果，对于用户来说，用户可对增强现实显示场景中显示的第二飞行方向进行变更操作，系统后台在接收到该变更操作后，实时生成新的行进路线，而用户即可实时观看到增强现实显示场景中标示的行进方向及行进路线的改变。另外，当飞行装置调整位置及视角时，航线附着在场景中做相应变化，形成航线与杆塔场景的三维叠加效果。这里所述的航线可包括行进方向，还可以包括该行进方向上的行进路径。
74.在一种可能的设计中，以飞行装置作为采集端，在巡检过程中采集实时图像，并将实时图像以增强现实模式显示在平台端。用户可在平台端查看飞行装置实时传输回的巡检环境图像信息。进一步地，用户在平台端对增强现实显示场景中显示的第二飞行方向进行变更操作，系统后台在接收到该变更操作后，实时生成新的行进路线，而用户即可实时观看到增强现实显示场景中标示的行进方向及行进路线的改变。另外，可在应用端对上述巡检过程所涉及的数据进行整理，记录上述巡检过程所涉及的全部航线，这些数据最终能够以报告的方式进行导出。
75.在一种可能的设计中，平台端为多功能的无人机数智化巡检平台，包含飞行管控模块、机巢管控模块、目标与缺陷识别模块、资产管理模块，其中，飞行管控模块主要用于计划任务管理、飞行任务管理、无人机状态监控、航线库管理、和ar(增强现实)航线校验。机巢管控模块主要用于远程机巢操控、机巢状态监控、机巢画面查看和环境状态查看。目标与缺陷识别模块主要用于图像识别、处理任务管理、缺陷查询、缺陷展示等。资产管理模块主要用于无人机信息管理、机巡设备管理、用户管理和台账管理等。另外，该平台还具有采集数据存储、向应用端发送指令、ar航线校验功能等功能。在平台中所显示的航线信息以ar的方式叠加到图传。
76.实施例二
77.在实施例一中任一技术方案的基础上，在所述当前巡检流程的每个飞行阶段中，可采用视觉slam(simultaneous localization and mapping，即时定位与地图构建)自主避障和越障技术，实现对障碍物的绕行。可选地，可采用使用orb(oriented fast and rotated brief，快速特征点提取和描述)特征作为基础的orb-slam技术。
78.在一种可能的设计中，slam功能主要由四个功能模块实现，分别是前端数据预处理、视觉里程计、后端非线性优化和回环检测。同时，可采取imu(惯性运动单元)与视觉融合避免误差累计，其中，imu的测量只关系到载体本身运动，不容易受到外界环境影响。另一方面，视觉信息能够很好地抑制imu运行过程中产生的的累积误差。因此，可以将imu信息引入到slam功能中，将其与视觉信息进行融合，从而降低外部环境影响的因素以及因载体自身剧烈运动而产生的系统误差，在前端数据预处理后根据相邻的两张图像的信息粗略的估计出相机运动，后端采用非线性优化减少视觉里程计带来的累计误差，建图则根据前端与后端得到的运动轨迹来建立三维地图，最终利用回环检测提供空间上约束消除累积误差，从而满足飞行装置实时感知场景的需求，实现精准避障和越障。
79.其中，自主避障具体流程如下：
80.a)利用三维点云信息创建栅格地图。
81.b)采用目标定位算法得到飞行装置在栅格地图中的初始位置。
82.c)通过导航算法、遗传算法等任意路径确定方式，计算出从初始位置到t接塔的全局路径。其中，全局路径只能作为导航的先验信息。
83.d)当遇到障碍物时，以飞行装置的当前位置为中心，截取指定范围内的全局路径，并将其转换到飞行装置的自身坐标系。
84.e)启用避障算法，其中，可在dijkstra(dijkstra's algorithm，迪杰斯特拉)算法的基础上添加了启发式函数，同时考虑了搜索点与出发点以及搜索点与目标点两种代价，可以根据需要权衡路径代价和搜索时间，通过设置二者比例获取折中的结果。总地来说，利用避障算法计算出的局部路径取代指定范围内的部分全局路径。
85.f)绕过障碍物之后，重新切换到避障算法进行全局路径规划。
86.g)飞行装置再次沿全局路径移动，直至目标点或下一个障碍物。
87.综上，视觉slam自主避障和越障技术根据点云信息进行障碍物识别、导航路径规划、避障等操作，对于两杆t接塔中间通道内的树木、建筑、电力线、杆塔等关键类别障碍物进行自动识别，精度可达90％以上，并可根据不同障碍物类型自主确定最优避障方式，提高巡线作业效率。
88.在另一种可能的设计中，在所述当前巡检流程的每个飞行阶段中，若检测到障碍物，以所述飞行装置当前所在的第三位置为中心，在所述飞行装置的预设飞行路径上截取障碍物关联路径；基于预设避障算法和所述障碍物关联路径，确定所述障碍物关联路径的替代路径；将所述替换路径作为所述飞行装置的行进路径，并以所述替换路径的终点作为起始点，重新设置所述预设飞行路径。
89.也就是说，每当检测到障碍物，都会计算出绕行障碍物的一段替换路径，且都会重新计算剩余的预设飞行路径。其中，所述预设避障算法是基于a-star算法、dijkstra算法和启发式函数所确定的，所述障碍物关联路径与所述替代路径的起点和终点分别相同。
90.另外，在所述当前巡检流程的每个飞行阶段中，在所述飞行装置通过所述行进路径后，进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。由此，可实现飞行阶段的有效切换，从而便于在切换后再次触发实施例一所述的飞行方向调整方案。
91.实施例三
92.由于电网环境复杂，飞行装置飞行范围较小，且遭遇障碍物较多，为解决航线不规范、手动操作要求高、自动化程度低等问题，可在电网环境中采用视觉引导的方式实现杆塔自动寻塔、杆塔精确打点、航线自主规划、障碍物自动越障等一体化巡检控制。
93.图2示出了根据本技术的另一个实施例的用于巡检中飞行装置的飞行方向实时调整方法的流程图。
94.如图2所示，首先，进行自动打点，即实时获取t接塔的位置信息。可选地，可一次性实时获取多个t接塔的位置信息。
95.接着，进行视觉引导寻塔。视觉引导寻塔主要基于增强现实技术与pointnet算法，pointnet算法能够快速分析行进方向，并利用增强现实技术在视图中标示出行进方向。
96.然后，操作者可基于视觉观测，实时调整视图中标示出的行进方向，实现ar(增强现实)航线校验的目的。在校验过后，返回自动打点的步骤，针对校验后的行进方向重新打点。
97.由此，可实时不断修正航线和待巡检的目标，可提升巡检效率及准确性。
98.在完成视觉寻塔后，可采用视觉slam自主避障和越障技术实现障碍物绕行。每当检测到障碍物，都会计算出绕行障碍物的一段替换路径，且都会重新计算剩余的预设飞行路径。这样一来，预设飞行路径发生更新，更新后路径上的t接塔相应发生变动，如新增若干t接塔、减少若干t接塔等。因此，需返回自动打点的步骤，重新确定本次巡检中所需检测的t接塔的位置信息。
99.在向t接塔逼近的过程中，利用pointnet算法可实时更新计算t接塔的位置，并调整飞行装置的航向角及云台俯仰角，以便进行杆塔锁定。slam的实现主要需要四个功能模块，分别是前端数据预处理、视觉里程计、后端非线性优化和回环检测。前端数据预处理后根据相邻的两张图像的信息粗略的估计出相机运动，后端采用非线性优化减少视觉里程计带来的累计误差，建图则根据前端与后端得到的运动轨迹来建立三维地图，其中，可采用直接法或特征法。最终利用回环检测，提供空间上的约束，消除累积误差，从而满足飞行装置实时感知场景、精准避障和越障的需求。
100.在巡检过程中，飞行装置调整位置及视角时，航线信息附着在场景中做相应变化，形成航线与杆塔场景的三维叠加效果，实现基于增加现实的航线校验。由此，电力巡检中的航线规划灵活性大大提高。
101.另外，利用视觉slam自主避障和越障技术可实现障碍物识别、导航路径规划、避障和越障等操作。基于视觉自动调整飞行装置悬停位置和拍照角度，并结合预先设置的安全约束条件智能生成拍照航点和航点之间的安全转弯点，连接为自主飞行航线，可有效提升巡检效率。
102.图3示出了根据本技术的一个实施例的视觉寻塔的流程图。
103.如图3所示，在视觉寻塔过程中，首先，识别增强现实显示场景中标示的出线方向(行进方向)，沿着该出线方向寻找杆塔(t接塔)。接下来，计算该杆塔的位置，继续向该目标
杆塔靠近。
104.此时，判断飞行装置是否位于杆塔的正上方，若飞行装置位于杆塔的正上方，则可自主降高，以便启动对杆塔进行检验。这一检验包括实时摄像、拍照、红外扫描等。若飞行装置未位于杆塔的正上方，则继续寻找杆塔，直至寻到为止。
105.可选地，在向目标杆塔靠近过程中，可利用预定目标识别算法重新计算杆塔的位置，并调整飞行装置的航向角及云台俯仰角进行杆塔锁定。
106.可选地，距离塔顶2米时结束寻塔流程。
107.另外，需要补充的是，还可基于接收到的模式选择指令，在简略巡检模式、标准巡检模式和精确巡检模式中选择目标巡检模式，作为所述当前巡检流程的目标巡检模式，其中，所述简略巡检模式、所述标准巡检模式和所述精确巡检模式各自的巡检点位数量依次增多。
108.如图4所示，在标准巡检模式中，航线点位包含前、后、左、右、大号侧、小号侧以及顶部下视7个点位。其中，前后左右四个点位距离塔顶2米距离，云台俯仰角为-45度，大号侧、小号侧的俯仰角为-25度，以观察到当前视野内的所有导线为标准。
109.如图5所示，在简略巡检模式中，航线点位相对于标准巡检模式，去掉了左、右以及大小号侧4个点位。
110.如图6所示，在精确巡检模式中，在标准巡检模式的7个点位的基础上，增加了前塔身、后塔身、左塔身、右塔身4个点位，由此，可有效拍摄塔身部件及塔号牌信息。前塔身、后塔身、左塔身、右塔身4个点位的云台俯仰角为-60度。
111.其中，任一航线点的位置均可基于实际巡检需求进行调整。
112.综上，本技术的技术方案，基于增强现实技术、目标识别算法以及视觉引导寻塔相结合，可实现飞行装置的自主飞巡，降低寻塔难度，不断校正行进路线，提升巡检路线的合理性。同时，还结合视觉slam自主避障和越障技术进行障碍物识别、导航路径规划、避障和越障等操作，提升巡检的安全性。
113.图7示出了根据本技术的一个实施例的用于巡检中飞行装置的飞行方向实时调整装置的框图。
114.如图7所示，根据本技术的一个实施例的用于巡检中飞行装置的飞行方向实时调整装置700包括：
115.t接塔位置获取单元702，用于在进入当前巡检流程的每个飞行阶段时，实时获取t接塔的位置信息，其中，所述当前巡检流程包括连续的多个飞行阶段，在所述多个飞行阶段中的最末飞行阶段结束时，飞行装置到达针对所述t接塔的巡检位置；
116.第一飞行方向确定单元704，用于基于所述t接塔的位置信息，确定所述飞行装置的第一飞行方向；
117.第二飞行方向确定单元706，用于根据所述第一飞行方向，生成第二飞行方向，其中，所述第二飞行方向为增强现实显示场景中为所述飞行装置标示的行进方向；
118.第三飞行方向确定单元708，若检测到针对所述第二飞行方向的调整指令，基于所述调整指令，确定所述飞行装置的第三飞行方向；
119.飞行阶段跳转单元710，用于在所述飞行装置向所述第三飞行方向行进时进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。
120.在本技术的实施例中，可选地，所述t接塔位置获取单元702用于：基于第一环境特征信息和预定目标识别算法，确定所述t接塔的位置信息，其中，所述预定目标识别算法包括pointnet算法和/或pointnet++算法。
121.在本技术的实施例中，可选地，所述第一飞行方向确定单元704用于：确定以所述飞行装置当前所在的第一位置为原点、经过所述t接塔的位置信息所指示的第二位置的射线，并将所述射线的指示方向确定为所述第一飞行方向；或者基于第二环境特征信息和遗传算法，确定由所述飞行装置当前所在的第一位置至所述t接塔的位置信息所指示的第二位置的可选路径；将所述第一位置处所述路径的前进方向确定为所述第一飞行方向。
122.在本技术的实施例中，可选地，所述第一飞行方向确定单元704用于：若所述可选路径为多条，对于每条所述可选路径，将所述可选路径在所述第一位置处的前进方向确定为待选飞行方向；获取所述可选路径的障碍特征信息，其中，所述障碍特征信息包括：障碍物数量、障碍难度系数、路径长度、路径转弯数量和路径中高难度弯道数量；基于所述障碍特征信息和每种所述障碍特征信息的权重，确定所述可选路径的置信度；在多个所述待选飞行方向中，选择所属可选路径的置信度最高的待选飞行方向，作为所述第一飞行方向。
123.在本技术的实施例中，可选地，所述用于巡检中飞行装置的飞行方向实时调整装置700还包括：关联路径截取单元，用于在所述当前巡检流程的每个飞行阶段中，若检测到障碍物，以所述飞行装置当前所在的第三位置为中心，在所述飞行装置的预设飞行路径上截取障碍物关联路径；替代路径确定单元，用于基于预设避障算法和所述障碍物关联路径，确定所述障碍物关联路径的替代路径，其中，所述预设避障算法是基于a-star算法、dijkstra算法和启发式函数所确定的，所述障碍物关联路径与所述替代路径的起点和终点分别相同；路径更新单元，用于将所述替换路径作为所述飞行装置的行进路径，并以所述替换路径的终点作为起始点，重新设置所述预设飞行路径。
124.在本技术的实施例中，可选地，所述飞行阶段跳转单元710还用于：在所述当前巡检流程的每个飞行阶段中，在所述飞行装置通过所述行进路径后，进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。
125.在本技术的实施例中，可选地，所述用于巡检中飞行装置的飞行方向实时调整装置700还包括：巡检模式选择单元，用于在所述t接塔位置获取单元702实时获取t接塔的位置信息之前，基于接收到的模式选择指令，在简略巡检模式、标准巡检模式和精确巡检模式中选择目标巡检模式，作为所述当前巡检流程的目标巡检模式，其中，所述简略巡检模式、所述标准巡检模式和所述精确巡检模式各自的巡检点位数量依次增多。
126.该用于巡检中飞行装置的飞行方向实时调整装置700使用上述实施例中任一项所述的方案，因此，具有上述所有技术效果，在此不再赘述。
127.图8示出了根据本技术的一个实施例的电子设备的框图。
128.如图8所示，本技术的一个实施例的电子设备800，包括至少一个存储器802；以及，与所述至少一个存储器802通信连接的处理器804；其中，所述存储器存储有可被所述至少一个处理器804执行的指令，所述指令被设置为用于执行上述任一实施例中所述的方案。因此，该电子设备800具有和上述任一实施例中相同的技术效果，在此不再赘述。
129.本技术实施例的电子设备以多种形式存在，包括但不限于:
130.(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据
也旨在包括多数形式，除非上下文清楚地表示其他含义。
142.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
143.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
144.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
145.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

技术特征：
1.一种用于巡检中飞行装置的飞行方向实时调整方法，其特征在于，包括：在进入当前巡检流程的每个飞行阶段时，实时获取t接塔的位置信息，其中，所述当前巡检流程包括连续的多个飞行阶段，在所述多个飞行阶段中的最末飞行阶段结束时，飞行装置到达针对所述t接塔的巡检位置；基于所述t接塔的位置信息，确定所述飞行装置的第一飞行方向；根据所述第一飞行方向，生成第二飞行方向，其中，所述第二飞行方向为增强现实显示场景中为所述飞行装置标示的行进方向；若检测到针对所述第二飞行方向的调整指令，基于所述调整指令，确定所述飞行装置的第三飞行方向，并在所述飞行装置向所述第三飞行方向行进时进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。2.根据权利要求1所述的用于巡检中飞行装置的飞行方向实时调整方法，其特征在于，所述实时获取t接塔的位置信息，包括：基于第一环境特征信息和预定目标识别算法，确定所述t接塔的位置信息，其中，所述预定目标识别算法包括pointnet算法和/或pointnet++算法。3.根据权利要求1所述的用于巡检中飞行装置的飞行方向实时调整方法，其特征在于，所述基于所述t接塔的位置信息，确定所述飞行装置的第一飞行方向，包括：确定以所述飞行装置当前所在的第一位置为原点、经过所述t接塔的位置信息所指示的第二位置的射线，并将所述射线的指示方向确定为所述第一飞行方向；或者基于第二环境特征信息和遗传算法，确定由所述飞行装置当前所在的第一位置至所述t接塔的位置信息所指示的第二位置的可选路径；将所述第一位置处所述路径的前进方向确定为所述第一飞行方向。4.根据权利要求3所述的用于巡检中飞行装置的飞行方向实时调整方法，其特征在于，所述将所述第一位置处所述路径的前进方向确定为所述第一飞行方向，包括：若所述可选路径为多条，对于每条所述可选路径，将所述可选路径在所述第一位置处的前进方向确定为待选飞行方向；获取所述可选路径的障碍特征信息，其中，所述障碍特征信息包括：障碍物数量、障碍难度系数、路径长度、路径转弯数量和路径中高难度弯道数量；基于所述障碍特征信息和每种所述障碍特征信息的权重，确定所述可选路径的置信度；在多个所述待选飞行方向中，选择所属可选路径的置信度最高的待选飞行方向，作为所述第一飞行方向。5.根据权利要求1至4中任一项所述的用于巡检中飞行装置的飞行方向实时调整方法，其特征在于，在所述当前巡检流程的每个飞行阶段中，还包括：若检测到障碍物，以所述飞行装置当前所在的第三位置为中心，在所述飞行装置的预设飞行路径上截取障碍物关联路径；基于预设避障算法和所述障碍物关联路径，确定所述障碍物关联路径的替代路径，其中，所述预设避障算法是基于a-star算法、dijkstra算法和启发式函数所确定的，所述障碍物关联路径与所述替代路径的起点和终点分别相同；将所述替换路径作为所述飞行装置的行进路径，并以所述替换路径的终点作为起始
点，重新设置所述预设飞行路径。6.根据权利要求5所述的用于巡检中飞行装置的飞行方向实时调整方法，其特征在于，还包括：在所述当前巡检流程的每个飞行阶段中，在所述飞行装置通过所述行进路径后，进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。7.根据权利要求1所述的用于巡检中飞行装置的飞行方向实时调整方法，其特征在于，在所述实时获取t接塔的位置信息之前，还包括：基于接收到的模式选择指令，在简略巡检模式、标准巡检模式和精确巡检模式中选择目标巡检模式，作为所述当前巡检流程的目标巡检模式，其中，所述简略巡检模式、所述标准巡检模式和所述精确巡检模式各自的巡检点位数量依次增多。8.一种用于巡检中飞行装置的飞行方向实时调整装置，其特征在于，包括：t接塔位置获取单元，用于在进入当前巡检流程的每个飞行阶段时，实时获取t接塔的位置信息，其中，所述当前巡检流程包括连续的多个飞行阶段，在所述多个飞行阶段中的最末飞行阶段结束时，飞行装置到达针对所述t接塔的巡检位置；第一飞行方向确定单元，用于基于所述t接塔的位置信息，确定所述飞行装置的第一飞行方向；第二飞行方向确定单元，用于根据所述第一飞行方向，生成第二飞行方向，其中，所述第二飞行方向为增强现实显示场景中为所述飞行装置标示的行进方向；第三飞行方向确定单元，若检测到针对所述第二飞行方向的调整指令，基于所述调整指令，确定所述飞行装置的第三飞行方向；飞行阶段跳转单元，用于在所述飞行装置向所述第三飞行方向行进时进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。9.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任一项所述的方法。

技术总结
本申请提出了一种用于巡检中飞行装置的飞行方向实时调整方法及装置，该方法包括：在进入当前巡检流程的每个飞行阶段时，实时获取T接塔的位置信息；基于所述T接塔的位置信息，确定所述飞行装置的第一飞行方向；根据所述第一飞行方向，生成第二飞行方向；若检测到针对所述第二飞行方向的调整指令，基于所述调整指令，确定所述飞行装置的第三飞行方向，并在所述飞行装置向所述第三飞行方向行进时进入下一飞行阶段，直至所述飞行装置到达所述巡检位置。本申请的技术方案，可在巡检过程中不断地基于T接塔的实际位置自动调整飞行方向，使得飞行装置可以更为准确有效地对T接塔进行定位和巡检。和巡检。和巡检。


技术研发人员：刘晓天 苏江帅 胡佳怡 李峥坤 曹德尧 董昊 王帅 刘雨 马紫微 刘帝成 王宁 郑怿 潘洪涛 周国亮
受保护的技术使用者：国家电网有限公司 保定电力职业技术学院
技术研发日：2023.06.27
技术公布日：2023/10/15