空地无人协同多终端联合操控方法与流程

1.本发明属于无人系统领域机器人控制技术领域，具体涉及空地无人协同多终端联合操控方法。


背景技术：

2.目前现有的针对无人机/无人车组成的空地协同无人系统，操控方法多为利用地面站作为自动驾驶终端平台，通过电台实现无人机的自主巡航，以及无人车的自主行驶指令的下达；同时还可以切换到遥控模式，利用遥控手柄进行无人机/无人车的远程遥控。此方法具有明显的缺陷：1)需要在自动驾驶模式、远程遥控模式之间进行切换，切换过程需要人工手动干预，降低了整个无人化系统的智能化水平；2)遥控手柄和地面站需要分别由专人进行操作人工开销较大；3)操控终端类型受限于遥控手柄和地面站，多元化程度低。


技术实现要素：

3.本发明的目的是提供空地无人协同多终端联合操控方法，提高空地无人系统协同能力，解决了不同控制模式的切换问题，减少无人系统操控复杂程度，实现了不同类型的操控终端对无人系统的联合控制。
4.本发明的技术方案是，一种空地无人协同多终端联合操控方法具体步骤如下：
5.第一步，规范终端操控指令信息；制定统一帧格式，实现有效信息的最小化带宽占用传输；
6.第二步，建立中央信息接收节点；接收来自所有终端发送出来的信息，提取信息流有效内容，并通过时间归一化处理后形成新的帧信息，将新的帧信息与终端编号一一对应；
7.第三步，制定终端信息仲裁规则；制定多异构终端协作时的终端优先级顺序和功能优先级顺序，优先级高的终端中断优先级低的终端，优先级相同的终端享有对无人系统的同等控制权，优先级相同按照发送或接收时间顺序执行；
8.第四步，自动驾驶和远程遥控智能切换；当执行自动驾驶的过程中，通过按键切换到远程遥控后，系统判断终端是否有操作动作，如果没有操作动作则继续执行先前的自动驾驶任务，直到自动驾驶任务结束；如果检测到终端有操作动作，则将实际远程遥控操作指令进行下发；当执行远程遥控过程中，通过按键切换到自动驾驶功能后，如果发现自动驾驶输出的指令通当前无人系统状态差异过大，则继续执行远程遥控的指令，直至无人车/无人机状态逼近到符合进入自动驾驶状态，再下发自动驾驶指令，控制无人系统进入自动驾驶状态；
9.第五步，遥控手柄和地面站一体化操控；遥控手柄和地面站通过中央信息接收节点实现交互；
10.第六步，快速接管异常终端功能实现；当某一终端出现异常时，将控制权跳转到其他同优先级或更高优先级的终端上去，如果被跳转的终端同意进行接管时，则进行接管，同时该终端所控制的无人系统自动进入保护模式，当所有被跳转的异构终端均不接管，则出
现异常的终端对应控制的无人系统进入保护状态，若该终端没有对应控制的无人系统，则中央信息节点将把该终端列为休眠状态，直至再次被唤起。
11.第一步中所述帧格式包括终端编号、帧长度、发送时间、交互信息和校验和；帧长度取最低字节，发送时间单位为秒，校验和取最低字节。
12.第二步中所述终端优先级从高到低分别为安全控制终端、通信控制终端、远程遥控终端、自主行驶终端和载荷控制终端。
13.本发明的有益效果是：1)本发明实现无人系统自动模式和遥控模式间的平滑切换，具备终端辅助控制模式，更好地帮助操控人员控制无人系统；2)本发明更方便的单人进行遥控手柄和地面站的联合控制，更好的发挥无人系统对人力的解放作用；3)本发明对不同种类的终端兼容性强，容忍度高，具备更好地适应性，易于移植和广泛使用；4)本发明很好地解决单一终端意外失效带来的无人系统控制混乱的局面，增加无人系统的稳定性和可控性；5)本发明可以拓展到有人/无人联合作业领域，具备较强的通用性能可发挥合扩展的潜力大。
附图说明
14.图1为本发明空地无人协同多终端联合操控方法中帧格式的构成示意图；
15.图2为本发明中建立中央信息接收节点的流程示意图；
16.图3为本发明中自动驾驶和远程遥控智能切换流程示意图；
17.图4为本发明中快速接管异常终端功能实现的流程示意图。
具体实施例
18.下面结合说明书附图和实施例对本发明的技术方案作进一步详细描述。
19.本发明空地无人协同多终端联合操控方法的具体步骤如下：
20.第一步，规范终端操控指令信息。制定统一帧格式，实现有效信息的最小化带宽占用传输。如图1所示，帧格式包括：终端编号、帧长度、发送时间、交互信息和校验和。采用精简帧信息的方式进行编码，其中帧长度取最低字节，发送时间单位为“秒”精确到0.001秒，校验和取最低字节。
21.第二步，建立中央信息接收节点。接收来自所有终端发送出来的信息，将信息流有效内容(去除字头、字尾和不能区分变化量等内容)进行提取，并通过时间归一化处理后形成新的帧信息。将新的帧信息通过终端编号类型进行分类，即帧信息与终端编号一一对应。
22.第三步，制定终端信息仲裁规则。根据人体应激反应模型，制定多异构终端协作时的终端优先级顺序、功能优先级顺序。其中终端优先级中从高到低分为1到5级。终端优先级分别为安全控制终端、通信控制终端、远程遥控终端、自主行驶终端和载荷控制终端；优先级高的终端可以中断优先级低的终端，实现对无人系统的直接接管，优先级相同的终端享有对无人系统的同等控制权，无人系统对相同优先级终端发送的控制指令，根据发送/接收时间顺序执行。
23.第四步，自动驾驶和远程遥控智能切换。首先，确保具备自动驾驶和远程遥控切换功能的终端同其控制的无人车/无人机一一对应。然后，在终端上选择一个按键(实体/虚拟)作为自动驾驶和远程遥控功能的切换按键。当执行自动驾驶的过程中，通过按键切换到
远程遥控后，系统判断终端是否有操作动作，如果没有操作动作则继续执行先前的自动驾驶任务，直到自动驾驶任务结束；如果检测到终端有操作动作，则将实际远程遥控操作指令进行下发，用于远程遥控无人机/无人车。当执行远程遥控过程中，通过按键切换到自动驾驶功能后，算法对自动驾驶输出的结果进行比对，如果发现自动驾驶输出的指令通当前无人系统状态差异过大，则继续执行远程遥控的指令，并通过终端提醒和指引操控人员手动调整无人机/无人车的状态，直至无人车/无人机状态逼近到符合进入自动驾驶的状态后，再下发自动驾驶指令，控制无人系统进入自动驾驶状态。
24.第五步，遥控手柄和地面站一体化操控。遥控手柄和地面站通过中央信息接收节点实现交互，地面站终端操作界面触摸、鼠标、键盘的操作信息同遥控手柄操作具备相同的优先级，利用遥控手柄也可以实现对地面站的互操作。同时地面站的触摸、鼠标、键盘操作通过显示和力反馈等方式显式的在异构终端中体现。
25.第六步，快速接管异常终端功能实现。由于整个无人系统是由多异构终端联合操控的，当某一终端出现异常(亏电/故障/误操作)(注：误操作指长时间明显的误操作，例如持续按压某一功能按键等)时，将控制权跳转到其他同优先级或更高优先级的终端上去，并且以显性方式进行提醒，如果被跳转的终端同意进行接管时，则通过按键(实体/虚拟)进行接管，同时该终端所控制的无人系统自动进入保护模式，当所有被跳转的异构终端均不接管，则出现异常的终端对应控制的无人系统进入保护状态，若该终端没有对应控制的无人系统，则中央信息节点将把该终端列为休眠状态，直至再次被唤起。
26.本发明的关键点是，
27.1)融合编码方式：融合串行通信、差分通信、以太网通信等主流通信方式，具备通用性；去掉帧头/帧尾/心跳信号，以减少通信带宽；增加发送时间和校验和，防止信息误传。
28.2)多异构终端操控方式：控制方为异构终端、被控方为无人机/无人车平台，对于控制方和被控方，采用一对一、一对多、多对一、多对多的交互方式；
29.3)节点交互方式：中心化节点调度方式，采用中央信息节点手机所有终端信息，并实现终端间的交互。传统交互方式是各个终端间相互独立不产生交互；
30.4)终端信息仲裁规则：将不同异构终端设定优先级，规定优先级设置规则。相同优先级的终端可以联合控制。
31.5)智能驾驶和远程遥控切换方式：两者并非直接切换，而是自动判断根据当前状态，根据需要继续维持先前状态一段时间，待时机成熟后再进行状态切换。
32.6)遥控手柄和地面站一体化操作：遥控手柄和地面站进行交互，遥控手柄、鼠标、键盘、触摸对地面站进行联合控制。
33.7)异常终端判断方式：信号消失或持续长时间误操作才会被判定为异常终端；
34.8)异常终端处理方式：发现异常终端后，将接管控制权限进行转移；采用广播的方式进行转移，而非单一目标性转移；接管失败后采取保护机制。

技术特征：
1.一种空地无人协同多终端联合操控方法，其特征是：该操控方法具体步骤如下：第一步，规范终端操控指令信息；制定统一帧格式，实现有效信息的最小化带宽占用传输；第二步，建立中央信息接收节点；接收来自所有终端发送出来的信息，提取信息流有效内容，并通过时间归一化处理后形成新的帧信息，将新的帧信息与终端编号一一对应；第三步，制定终端信息仲裁规则；制定多异构终端协作时的终端优先级顺序和功能优先级顺序，优先级高的终端中断优先级低的终端，优先级相同的终端享有对无人系统的同等控制权，优先级相同按照发送或接收时间顺序执行；第四步，自动驾驶和远程遥控智能切换；当执行自动驾驶的过程中，通过按键切换到远程遥控后，系统判断终端是否有操作动作，如果没有操作动作则继续执行先前的自动驾驶任务，直到自动驾驶任务结束；如果检测到终端有操作动作，则将实际远程遥控操作指令进行下发；当执行远程遥控过程中，通过按键切换到自动驾驶功能后，如果发现自动驾驶输出的指令通当前无人系统状态差异过大，则继续执行远程遥控的指令，直至无人车/无人机状态逼近到符合进入自动驾驶状态，再下发自动驾驶指令，控制无人系统进入自动驾驶状态；第五步，遥控手柄和地面站一体化操控；遥控手柄和地面站通过中央信息接收节点实现交互；第六步，快速接管异常终端功能实现；当某一终端出现异常时，将控制权跳转到其他同优先级或更高优先级的终端上去，如果被跳转的终端同意进行接管时，则进行接管，同时该终端所控制的无人系统自动进入保护模式，当所有被跳转的异构终端均不接管，则出现异常的终端对应控制的无人系统进入保护状态，若该终端没有对应控制的无人系统，则中央信息节点将把该终端列为休眠状态，直至再次被唤起。2.按照权利要求1所述空地无人协同多终端联合操控方法，其特征在于：第一步中所述帧格式包括终端编号、帧长度、发送时间、交互信息和校验和；帧长度取最低字节，发送时间单位为秒，校验和取最低字节。3.按照权利要求1所述空地无人协同多终端联合操控方法，其特征在于：第二步中所述终端优先级从高到低分别为安全控制终端、通信控制终端、远程遥控终端、自主行驶终端和载荷控制终端。

技术总结
本发明涉及空地无人协同多终端联合操控方法，该操控方法具体步骤如下：第一步，规范终端操控指令信息；制定统一帧格式，实现有效信息的最小化带宽占用传输；第二步，建立中央信息接收节点；提取接收信息流有效内容，将新的帧信息与终端编号一一对应；第三步，制定终端信息仲裁规则；制定多异构终端协作时的终端优先级顺序和功能优先级顺序；第四步，自动驾驶和远程遥控智能切换；第五步，遥控手柄和地面站一体化操控；遥控手柄和地面站通过中央信息接收节点实现交互；第六步，快速接管异常终端功能实现；本发明提高空地无人系统协同能力，解决不同控制模式的切换问题，减少无人系统操控复杂程度，实现了不同类型的操控终端对无人系统的联合控制。系统的联合控制。系统的联合控制。


技术研发人员：邹丹 向南 夏雪蛟 刘佳 赵梓烨
受保护的技术使用者：中国航天科工飞航技术研究院（中国航天海鹰机电技术研究院）
技术研发日：2021.12.30
技术公布日：2023/7/13