一种基于空中平台的智能人机交互系统的制作方法

1.本发明涉及计算机人工智能技术领域，尤其涉及一种基于空中平台的智能人机交互方法。
技术背景
2.手势动作作为人体行为动作的一种，具有方便快捷、含义丰富、通俗易懂的特点，能够让人们在日常生活中以一种更自然、更直接的方式进行交互。因此，如何利用手势动作实现人机交互的问题越来越受到研究学者的重视。手势识别技术是一种融合基于先进感知技术与计算机模式识别技术的新型人机自然交互控制人工智能技术，可以分为基于视觉传感器的手势识别和基于可穿戴传感器的手势识别。由于手势识别交互技术具有成本低廉、用户体验好的特点，在智能无人系统、养老助残、虚拟现实等领域有着广阔的应用前景。
3.基于视觉的手势识别方法可以分为基于单目视觉的手势识别和基于多目觉的手势识别。其中基于多目视觉的方法表达的意义较为丰富、准确，但建模难度高，计算量大；基于单目视觉的方法虽然丰富度有限，但建模难度较低，计算量较小。目前，常见的手势识别方法主要有基于肤色特征、纹理特征、轮廓特征以及多个特征相互融合等方法。但是基于视觉传感器的手势识别技术需要解决传感器视场角有限、光照变化引起的干扰等问题。
4.语言是人类最原始直接的一种交流方式，通俗易懂、便于理解。随着科技的发展，语言交流不再只存在于人与人之间，如何让机器“听懂”人类的语言并做出反应成为人工智能的重要课题，语音智能交互技术应运而生。作为其中重要一环的语音识别技术近年来不断发展，走出了实验室，随着人工智能进入人们的日常生活中。当今市场上语音识别技术相关的软件、商品涉及人类生活的方方面面,语音识别的实用性已经得到充分的印证。如今语音识别技术已经成为人类社会智能化的关键一步，能够极大提高人们生活的便捷度。但在一些复杂语音环境下,如声源远场等情景,低信噪比、房间混响、回声干扰以及多声源信号干扰等因素,使得语音识别任务面临很大挑战。
5.空中平台与俄罗斯eagle dynamics公司开发的dcs world、法国软件开发商和发行商育碧罗马尼亚公司开发的鹰击长空类似是空战模拟平台。对于空战模拟平台传统的交互方式，即通过鼠标、键盘或者手杆完成人机的交互，存在交互效率低、步骤繁琐等问题。对于只采用手势或者语音控制的单一交互方式的空战模拟平台，一次交互的完成往往依赖与使用环境，比如常用语音交互时，在噪音大的环境下，交互体验往往不尽如人意。
6.空中平台利用人工智能技术实现了通过手势、语音、触屏的交互方式完成人机交互，利用手势识别技术弥补语音识别时在嘈杂环境下识别不精确或者无法识别的缺点，利用语音识别技术弥补手势识别时受限与光照条件导致识别不精确或者无法识别的缺点，通过触摸屏幕控制的方式作为手势采集和语音采集设备缺乏、损坏时的一种补充交互方式，因此空中平台的人机交互方式更加多元、对使用环境更加包容、交互效率也得到了提高。
7.手势识别控制技术和语音识别控制技术的发展给我们带来了无限遐想，也为人机交互技术带来新的发展方向。世界已经步入了无处不在的计算即普适计算(ubiquitous/
pervasive computing)时代，用手势识别控制技术、语音识别控制技术、触屏控制技术可以开发界面更加直观、便捷，交互方式更加便捷高效的人机交互界面，正好迎合了这个时代的要求。


技术实现要素：

8.本发明的目的在于针对现有技术的不足，提供一种基于空中平台的智能人机交互系统。
9.本发明的目的是通过以下技术方案来实现的：一种基于空中平台的智能人机交互系统，它包括手势采集和无线传输模块、语音采集和无线传输模块、空中平台模块；其中，手势采集和无线传输模块、语音采集和无线传输模块分别与空中平台模块相连。
10.进一步地，所述手势采集和无线传输模块由手势采集器和无线传输模块依次连接组成。
11.进一步地，所述语音采集和无线传输模块由手势采集器和无线传输模块依次连接组成。
12.进一步地，所述空中平台模块包括输入信号处理模块，生成操作指令模块，人机交互界面模块、业务逻辑模块。其中，所述输入信号处理模块包括手势指令识别模块、语音指令识别模块、手势与语音指令集；所述输入信号处理模块包括手势指令识别模块、语音指令识别模块、手势与语音指令集；所述人机交互界面模块包括人机交互界面、语音播报两个模块。该空中平台安装在计算机内，计算机可以采用便携式或者屏幕可以触控的笔记本。
13.本发明的有益效果是，本发明将手势控制、语音控制、触摸屏幕控制用于空中平台，并通过人工智能算法识别手势和语音进而优化人机交互的性能和效率，克服了传统空战模拟平台交互方式单一、效率低及采用单一手势或者语音控制技术时人机交互受限于环境的问题。为智能人机交互在空中平台中的应用奠定基础。
附图说明
14.图1为本发明的系统框图；
15.图2为输入信号处理模块工作原理框图；
16.图3为手势与语音指令集框图；
17.图4为生成操作指令模块工作原理框图；
18.图5为操作控制指令集框图；
19.图6为人机交互界面模块工作原理框图；
20.图7为人机交互交互界面框图；
21.图8为多功能显示面板界面框图。
具体实施方式
22.本发明将手势控制、语音控制、触摸屏幕控制用于空中平台，并通过人工智能算法识别手势和语音进而优化人机交互的性能和效率。结合无线通讯技术，开发手势、语音采集传输系统；创建一个空中平台，利用采集到的手势、语音数据，基于手势与语音指令集，研究识别手势、语音的人工智能技术；进一步的，利用识别出的手势、语音指令，基于操作控制指
令集，研究控制操作人机交互界面交互元素的人工智能技术，进而实现手势、语音的智能人机交互方式；同时，考虑到手势、语音采集设备可能缺失的情况，本发明还提供了通过触摸屏幕控制操作人机交互界面交互元素的方式，使交互得到优化，提高系统性能和效率。通过上述研究为智能人机交互在空中平台中的应用奠定一部分基础。
23.下面根据附图详细描述本发明，本发明的目的和效果将变得更加明显。
24.如图1所示，本发明的智能人机交互系统包括手势采集和无线传输模块、语音采集和无线传输模块、空中平台模块，其中，手势采集和无线传输模块、语音采集和无线传输模块分别与空中平台模块相连。
25.手势采集和无线传输模块由手势采集器和无线传输模块依次连接组成。其中，手势采集器可以选用常规的体感设备(需要支持手和手指运动作为输入，但不需要手接触)。无线传输模块可采用蓝牙、zigbee模块或者无线ap(可以与手势采集器的uart或者usb接口连接)，这三种无线通信技术功耗相对较低并且传输速率能够满足空中平台数据收集的要求。为进一步降低无线传输功耗，在数据无线传输之前还可以进行数据的部分压缩。
26.语音采集和无线传输模块由语音采集器和无线传输模块依次连接组成。其中，语音采集器主要是一个单片机作为控制核心和一个芯片作为语音存储介质。无线传输模块可采用蓝牙、zigbee模块或者无线ap(可以与手势采集器的uart或者usb接口连接)，这三种无线通信技术功耗相对较低并且传输速率能够满足空中平台数据收集的要求。为进一步降低无线传输功耗，在数据无线传输之前还可以进行数据的部分压缩。
27.如图2所示，空中平台模块中的输入信号处理模块包括手势指令识别模块、语音指令识别模块，手势与语音指令集。其中，手势指令识别模块接收手势采集和无线传输模块的信号数据作为输入，利用手势识别技术，基于手势与语音指令集的指令，可以得到要执行的功能，并将要执行的功能作为输入信号处理模块的输出；语音指令识别模块接收语音采集和无线传输模块的信号数据作为输入，利用语音识别技术，基于手势与语音指令集的指令，可以得到要执行的功能，并要执行的功能作为输入信号处理模块的输出。
28.如图3所示，系统的手势与语音指令集是提前录入的，包含手势指令、语音指令。其中，手势指令由手势和功能构成，比如左手手势为大拇指、食指伸展，中指、无名指、小拇指收缩时，功能是放大地图；语音指令由执行者、动作、目标构成，比如执行者红1，执行的动作是攻击，目标是蓝1，该指令的功能是命令红1攻击蓝1。
29.如图4所示，空中平台模块中的生成操作指令模块包含战斗控制指令生成模块、视野操作指令生成模块、操作控制指令集。其中，战斗控制指令生成模块接收输入信号处理模块要执行的功能作为输入，利用正则表达式匹配技术，基于操作控制指令集，可以得到要操作的对象及操作元素，并要操作的对象及操作元素作为生成操作指令模块的输出；视野操作指令生成模块接收输入信号处理模块要执行的功能作为输入，利用正则表达式技术，基于操作控制指令集，可以得到要操作的对象及操作元素，并将要操作的对象及操作元素作为生成操作指令模块的输出。
30.如图5所示，系统的操作控制指令集是提前录入的。其中，操作控制指令集由构成战斗控制指令和视野操作指令构成，比如点击选中目标、释放导弹按钮；点击地图放大按钮。
31.如图6所示，空中平台模块中的人机交互界面模块包括人机交互界面、语音播报。
其中，人机交互界面接收生成操作指令模块输出的要操作的对象及操作元素作为输入，在人机交互界面中战斗场景里选择对象，并选择执行操作栏中相应操作元素，进而实现语音控制或手势控制人机交互界面的操作，操作执行完毕后，人机交互界面中战斗场景里显示相应变化，同时通过语音播报模块进行播报；人机交互界面也可以通过人为触控屏幕的操作作为输入，在人机交互界面中战斗场景里选择对象，并选择执行操作栏中相应操作元素，进而实现触摸屏幕控制人机交互界面的操作，操作执行完毕后，人机交互界面中战斗场景里显示相应变化，同时通过语音播报模块进行播报。
32.智能交互系统中的交互对象是虚拟操作元素。其中虚拟操作元素是指在人机交互界面中战斗场景里出现的可操作的物体、人机交互界面中操作栏中可执行的操作指令和多功能显示面板控制栏中可执行的操作指令，比如在战斗场景中选中地图，选择后可以在战场视野操作栏执行放大、缩小等相应的操作指令；在战斗场景中选中武器，选择后可以在战斗指挥操作栏中执行武器切换、发射等相应的操作指令。
33.交互的方法是基于选择的。其中选择是指通过手势、语音或者触摸屏幕的方式从人机交互界面中战斗场景里选取可操作的对象并在人机交互界面中操作栏里或者多功能显示面板控制栏里选定要执行的操作元素。所有离散的分布控制都可以通过基于选择的方式进行。
34.如图7所示，人机交互界面包括战斗场景和操作栏，其中操作栏分为战斗指令操作栏部分和视野操作栏两个部分。在人机交互界面中，区域面积最大的区域是战斗场景，战斗场景上方是视野操作栏，战斗场景左边是战斗指挥操作栏。战斗场景中的操作对象选择和操作元素选择均可以通过触控屏幕、语音控制或者手势控制实现。
35.在战斗场景中通过触摸屏幕、语音控制或者手势控制选中飞机后，人机交互界面中的战斗场景将自动切换为飞机的多功能显示面板，如图8所示。飞机多功能显示面板的显示区域可以划分为五个区域，包括一个顶部横排的控制栏和四个横向并列排列的功能门户区。控制栏显示了一系列关键的飞机状态摘要信息，比如引擎、燃油、通信、导航等摘要信息。通过选中控制栏中的摘要，其下方的主功能门户将根据选中的摘要动态的、以图像的方式展现具体的摘要数据，同时在两个子功能门户以列表的方式展示最重要摘要数据，比如选中引擎，引擎下方的主功能门户将展示引擎的图标，并在引擎图标相应位置展示对应的引擎数据信息，子功能门户则以列表的形式展示引擎最重要的几项数据。如果选中左边子功能门户中的隐藏子功能门户按钮，子功能门户将向左移动直至完全消失，同时隐藏子功能门户按钮将隐藏起来。如果选中右边子功能门户中的隐藏子功能门户按钮，子功能门户将向右边移动直至完全消失，同时隐藏子功能门户按钮将隐藏起来。在主功能门户中，当左右的子功能门户都隐藏的情况下，显示子功能门户按钮才会显示。如果在主功能门户中选中显示子功能门户按钮，左右边子功能门户将同时以弹出窗口的方式显示处理。多功能显示面板中的操作对象选择和操作元素选择均可以通过触控屏幕、语音控制或者手势控制实现，比如通过语音控制的方式打开导航面板，或者通过触摸屏幕点击导航按钮，打开导航面板。选中多功能显示面板右上角的x图标，多功能显示器将退出显示并切换为战斗场景。

技术特征：
1.一种基于空中平台的智能人机交互系统，其特征在于，它包括手势采集和无线传输模块、语音采集和无线传输模块、空中平台模块。其中，手势采集和无线传输模块、语音采集和无线传输模块分别与空中平台模块相连。2.根据权利要求1所述基于空中平台的智能人机交互系统，其特征在于，所述手势采集和无线传输模块由手势采集器和无线传输模块依次连接组成。3.根据权利要求1所述基于空中平台的智能人机交互系统，其特征在于，所述语音采集和无线传输模块由语音采集器和无线传输模块依次连接组成。4.根据权利要求1所述基于空中平台的智能人机交互系统，其特征在于，所述空中平台模块包括输入信号处理模块，生成操作指令模块，人机交互界面模块、业务逻辑模块。其中空中平台安装在计算机内，计算机可以采用便携式或者屏幕可以触控的笔记本。5.根据权利要求4所述空中平台模块，其特征在于，输入信号处理模块包括手势指令识别模块、语音指令识别模块、手势与语音指令集。6.根据权利要求4所述空中平台模块，其特征在于，生成操作指令模块包括视野操作指令生成模块、战斗控制指令生成模块、操作控制指令集。7.根据权利要求4所述空中平台模块，其特征在于，人机交互界面模块包括人机交互界面、语音播报两个模块。

技术总结
本发明公开了一种基于空中平台的智能人机交互系统，将手势控制、语音控制、触摸屏幕控制用于空中平台，并通过人工智能算法识别手势和语音进而优化人机交互的性能和效率。结合无线通讯技术，开发手势、语音采集传输系统；创建一个空中平台，利用采集到的手势、语音数据，基于手势与语音指令集，研究识别手势、语音的人工智能技术；进一步的，利用识别出的手势、语音指令，基于操作控制指令集，研究控制操作人机交互界面交互元素的人工智能技术，进而实现手势、语音的智能人机交互方式；同时，考虑到手势、语音采集设备可能缺失的情况，本发明还提供了通过触摸屏幕控制操作人机交互界面交互元素的方式，使交互方式得到补充、优化，提高系统性能和效率。通过上述研究为智能人机交互在空中平台中的应用奠定一部分基础。空中平台中的应用奠定一部分基础。空中平台中的应用奠定一部分基础。


技术研发人员：邓劲礼 匡敏驰 郭京京 张晓涛 石孝俊 赵夏
受保护的技术使用者：重庆信易源智能科技有限公司
技术研发日：2023.03.10
技术公布日：2023/6/7