突发情况下脑机融合的无人机群路径规划新技术

1.本发明属于人工智能与脑科学交叉研究领域。


背景技术：

2.近年来，随着无人机任务内容的复杂化，多架无人机组成机群协同完成任务成为无人机应用的未来发展趋势。无人机群应用对无人机控制技术提出了更高要求，目前的无人机群控制主要依靠计算机运行人工智能算法实现。然而，人工智能控制在环境认知方面具有明显的局限性，需要综合先验知识和传感器信息才能对当前情况做出判断，一旦环境中出现突发的、非典型的异常情况，计算机可能无法准确地认知当前情况，导致无人机群发生事故。本发明是突发情况下脑机融合的无人机群路径规划新技术，即通过人脑智能与人工智能的决策层数据融合，发挥人脑在突发情况下的感知和决策优势，补充人工智能控制的不足，建立脑机融合的无人机群控制模型，完成复杂环境下无人机群的路径规划任务。
3.脑机接口技术可以提取并识别特定的脑电信号，为脑机融合的控制方法提供了技术支持。国内外已经有许多研究团队发表了基于脑机接口技术的机器人路径规划研究成果，例如2015年东北大学王宏团队基于想象运动技术控制无人机完成实际室内目标搜索实验；2017年，得克萨斯大学的lenis等学者设计了一个基于稳态视觉诱发电位的多指令无人机控制系统；2021年美国的habibnezhad团队使受试者双手参与无关工作的同时，成功脑控无人车到达指定地点；同一年西安交通大学的张小栋团队基于脑电图监测调整控制参数，提高了轨迹跟踪任务的控制精度。以上成果使用脑机接口技术将主被动脑电控制引入机器人路径规划中，存在以下待解决的问题：
4.(1)现有脑电控制方法一般直接将脑电信号转化为具体指令，人脑指令控制和人工智能控制为分工关系，缺乏信息交流；脑电控制自由度较低，无法从单机控制扩展到机群控制；
5.(2)同时使用多种脑电控制方法时，脑机接口使用者需要根据当前情况主动选择合适的方法，再激发对应的脑电信号，控制负担较重，难以维持长期工作。
6.本发明旨在解决引入脑电控制的无人机群路径规划中存在的脑电控制灵活性差、脑机配合度低、使用者负担重等问题。


技术实现要素：

7.本发明提供了一种突发情况下脑机融合的无人机群路径规划新技术，采用基于事件相关电位(event-related potential,erp)p300分量的被动脑机接口技术和基于稳态视觉诱发电位(steady-state visual evoked potential,ssvep)的主动脑机接口技术，提取突发情况下人脑的感知和决策信息，建立脑机融合的控制模型，实现无人机群路径规划。通常情况下，计算机运行路径规划算法完成路径规划任务，脑机接口使用者观察现场情况；当环境内出现突发情况时，通过p300脑电信号与传感器信息融合，实现当前情况的准确感知；确定当前情况无法由计算机自主处理时，通过ssvep脑电信号与路径规划算法将人脑智能
决策与人工智能决策融合，得出符合当前情况的路径规划指令，使无人机群在突发情况下有效地避开威胁，提高机群的生存能力。
8.本发明的主要创新内容为：通过结合主被动脑机接口技术实现人机智能融合，建立新的决策层脑机信息融合控制模型，使无人机群具有足够的感知和决策能力在突发情况下完成有效的路径规划。
9.其中包含两个关键创新点：
10.一、通过建立决策层信息融合控制模型实现脑机融合的路径规划感知与决策，具体技术方案为：
11.在突发异常情况感知阶段，人脑和人工智能分别进行独立的信息收集和分析过程：人脑的信息来源为视觉、听觉等人体感官，人脑的模糊搜索和联想能力使得人脑对突发情况的定性分析能力更强；人工智能的信息来源为无人机的机载传感器，计算机的高速精确运算能力使得人工智能对突发情况的定量分析能力更强。为实现脑机优势互补，将感知结果进行融合：将人脑感知结果作为人工智能检测的监督，若人工智能正确感知了突发情况，则无需人为干预，人工智能自主完成路径规划决策和执行；若人工智能未认知到或错误认知了突发情况，则使用者主动介入，指导人工智能完成重规划。
12.在重规划决策阶段，已知当前为人工智能无法自主处理的非典型异常情况，因此以人脑认知为导向，使用者主动发出人脑决策结果，包括突发异常情况的类型、应选择的逃脱方向等，人工智能算法在此基础上结合传感器信息进行数据计算，提出无人机群可执行的决策结果，最后由使用者选择接受或再次重规划。在此过程中人脑智能与人工智能实现决策层信息融合。
13.和现有技术对比下的主要优势为：建立了突破单一智能局限的无人机群控制模型，既保持了人工智能控制精确、稳定的优势，又引入了人脑的认知与思维优势，避免突发情况下人工智能对非典型事件出现判断失误，导致处理失当的情况。
14.二、针对主被动脑电控制的特点设计无人机群的突发异常情况检测—处理流程，具体技术方案为：
15.被动脑电和主动脑电由同一使用者发出，且使用同一套脑电设备采集。在应用层面，主被动脑电有清晰的时间范围划分：在通常情况下，路径规划由人工智能自主完成，使用者处于观察状态，此时只检测被动脑电特征(p300)；在出现突发异常情况后，使用者需要主动输出认知和决策结果，此时只检测主动脑电特征(ssvep)且根据当前的决策阶段分析脑电信息。在此过程中，使用者不需要负责模式切换或一步步控制机群，将主要精力放在观察情况和给出决策意见上，负担较轻，保证了脑电特征和决策结果的质量。
16.无人机群控制技术需要同时管理数个无人机，避免外部威胁和内部冲突。为兼顾灵活性和控制效率，设置无人机群以“长机”为中心组成队形，通常情况下“长机”直接接收控制指令，其余无人机跟随“长机”完成路径规划。突发异常情况下，机群的应对方案已被预编为几种重规划模式，使用者通过简单的ssvep指令即可确定重规划模式，在此基础上增加信息，设计针对当前情况的处理方案，以“长机”为核心执行。
17.和现有技术对比下的主要优势为：在突发异常情况的检测-处理流程中，自动完成不同脑电信号的交替采集和分析，模式化管理无人机群，使用者的负担较轻，既充分利用了人脑思维优势，又使长时间稳定脑控成为可能。
附图说明
18.图1是突发情况下脑机融合的无人机群路径规划新技术的主要创新内容。
19.图2是突发情况下脑机融合的无人机群路径规划新技术的具体实施方式框图。
具体实施方式
20.结合附图2对本发明进一步说明：
21.在无人机路径规划任务中，无人机控制中枢(计算机)为机群计算代价最小且无碰撞的任务路径分配给“长机”。无人机群保持预定队形从起点出发向任务目标飞行，机载传感器采集到的现场情况实时发送到控制中枢和脑机接口使用者操作界面，使用者观察当前任务进展。此时，控制中枢和脑电设备分别进行突发异常情况检测，控制中枢的检测指标为机载传感器的指数是否在正常范围内，脑电采集设备的指标为人脑中是否存在下意识反应激发的p300脑电信号特征。根据不同检测结果，采取对应措施：
22.(1)人、机均未报告异常情况时，正常进行自主路径规划；
23.(2)人工智能检测出异常情况时，不论人脑是否检测出异常信号，人工智能根据检测结果自主处理问题，同时将异常情况反馈给使用者，使用者判断无异常可主动停止处理过程、判断异常情况识别错误可主动开启脑机融合的重规划决策；
24.(3)人脑出现p300脑电信号特征、人工智能未检测出异常情况时，判断为无法自主处理的非典型情况，准备进行脑机融合的重规划决策；
25.确认异常情况，开始重规划决策后，脑机接口操作界面向使用者展示ssvep刺激范式，使用者根据观察和决策结果选择重规划模式指令，主动激发对应的ssvep脑电信号，有需要时可进一步补充路径规划指令，如机群中有无人机损坏、当前路径方向需要修改等，均能通过ssvep信号将指令输出到无人机群控制中枢。随后控制中枢在重规划模式的基础上添加当前情况下的约束条件，计算得到突发异常情况处理方案(改变路径、飞行参数调整、重整队形等)和新路径，发送给“长机”和其它无人机执行。
26.突发异常情况解除后，控制中枢、机群和脑电设备都回到通常状态，脑机融合的突发异常情况处理流程结束。若再次检测到突发异常情况，则重复上述流程，直到无人机群到达目标点完成任务。

技术特征：
1.突发情况下脑机融合的无人机群路径规划新技术，其特征在于：通过采集人脑中主动或被动激发的脑电信号获得人脑智能信息，与计算机控制的智能路径规划算法相结合，实现无人机群路径规划中的突发异常情况检测与处理；在决策层建立了新的脑机信息融合控制模型，利用脑机融合的感知和决策优势实现无人机群智能控制。2.根据权利要求1所述的突发情况下脑机融合的无人机群路径规划新技术，其特征在于：通过建立决策层信息融合控制模型，将人脑控制意图融入计算机路径规划结果，使人工智能可以在人脑智能的指导下实现突发异常情况下的无人机群控制。3.根据权利要求1所述的突发情况下脑机融合的无人机群路径规划新技术，其特征在于：通过设计结合主被动脑电信号的突发异常情况检测—处理流程，交替完成不同脑电信号的采集和使用，降低脑机接口设备和使用者的负担。

技术总结
本发明公开了突发情况下脑机融合的无人机群路径规划新技术，涉及人工智能与脑科学研究领域。针对当前人工智能技术无法准确感知突发异常情况的问题，通过采集、分析突发情况下人脑主动或被动激发的脑电信号，得到操控人员对突发异常情况的感知结果和路径规划决策结果；将人脑信息与已知信息进行决策层数据融合，建立脑机融合的无人机群控制模型；实现脑机融合突发异常情况检测，针对具体情况开展脑机融合重规划决策，灵活调整无人机群飞行速度、方向等参数，必要时重组队形或重置路径，规避突发情况带来的风险。本发明的意义在于提出了一种在无人机群控制中发挥人脑智能优势的新方法，补充了人工智能的不足，相比已有脑控无人机技术控制自由度更高、操作者负担更小，可广泛应用于复杂未知环境下的无人机群任务。可广泛应用于复杂未知环境下的无人机群任务。可广泛应用于复杂未知环境下的无人机群任务。


技术研发人员：谢松云 徐己为 刘祥惠 王祥铭 谢辛舟
受保护的技术使用者：西北工业大学
技术研发日：2023.04.19
技术公布日：2023/8/24