手势识别方法、装置、设备及计算机可读存储介质与流程

1.本技术涉及通信技术领域，尤其涉及一种手势识别方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着终端技术的发展，支持触控笔输入的电子设备得到发展和应用。触控笔可以在电子设备的触控屏进行书写等，电子设备通过识别触控屏上触控点按压轨迹实现光标移动、文字输入等功能，触控笔通过按压触控屏的方式控制电子设备执行相应功能，然而触控笔远离触控屏时，无法实现触控笔对电子设备的无接触控制。


技术实现要素：

3.本技术的主要目的在于提供一种手势识别方法、装置、设备及计算机可读存储介质，旨在解决如何实现触控笔对电子设备的无接触控制的技术问题。
4.为实现上述目的，本技术提供一种手势识别方法的方法，所述手势识别方法应用于触控笔，所述触控笔与终端设备连接，所述终端设备包括触控屏，所述触控笔与所述触控屏处于未接触状态，所述手势识别方法包括以下步骤：
5.获取所述触控笔的运动状态数据，所述运动状态数据包括加速度数据；
6.基于所述运动状态数据识别所述触控笔的操作手势，确定所述操作手势对应的处理动作，其中，所述操作手势包括垂直挥动、水平挥动、敲击、水平翻面、垂直翻面中的一种或多种；
7.将所述处理动作发送至所述终端设备，以控制所述终端设备执行所述处理动作。
8.可选地，所述获取所述触控笔的运动状态数据的步骤之后，包括：
9.获取所述触控笔的当前使用模式，确定所述触控笔的移动轨迹；
10.若所述当前使用模式包括演讲模式，向所述终端设备发送光标移动信号，以控制所述终端设备的光标基于所述移动轨迹移动；
11.若所述当前使用模式包括书写模式，向所述终端设备发送信息输入信号，以控制所述终端设备的屏幕显示所述移动轨迹；
12.若所述当前使用模式包括激光笔模式，向所述终端设备发送光标移动信号，并执行基于所述运动状态数据识别所述触控笔的操作手势的步骤。
13.可选地，所述获取所述触控笔的当前使用模式的步骤之前，包括：
14.检测所述运动状态数据是否与预设的标准使用状态数据匹配；
15.若所述运动状态数据与预设的标准使用状态数据匹配失败，控制所述触控笔进入休眠状态或者关机状态；
16.若所述运动状态数据与预设的标准使用状态数据匹配成功，则执行获取所述触控笔的当前使用模式的步骤。
17.可选地，所述将所述处理动作发送至所述终端设备的步骤，包括：
18.确定所述终端设备的运行状态；
19.若所述运行状态为待机状态，发送唤醒信号至所述终端设备，以唤醒所述终端设备；
20.当成功唤醒所述终端设备后，生成与所述处理动作对应的处理信号，将所述处理信号发送至所述终端设备。
21.可选地，所述确定所述操作手势对应的处理动作的步骤，包括：
22.获取所述终端设备的当前投屏模式，其中，所述终端设备的投屏模式包括幻灯片投屏模式、文字投屏模式、图片投屏模式、音视频投屏模式、通用投屏模式中的至少一种；
23.确定所述当前投屏模式对应的处理信息，并根据所述处理信息确定所述操作手势对应的处理动作，其中，所述终端设备的不同投屏模式对应的处理信息不同，所述处理信息包括操作手势与处理动作之间的映射关系。
24.可选地，所述基于所述运动状态数据识别所述触控笔的操作手势的步骤，包括：
25.将所述运动状态数据输入到预训练的识别模型中，输出得到所述触控笔的操作手势。
26.此外，为实现上述目的，本技术还提供一种手势识别装置，所述手势识别装置包括触控笔，所述触控笔与终端设备连接，所述终端设备包括触控屏，所述触控笔与所述触控屏处于未接触状态，所述手势识别装置还包括：
27.获取模块，用于获取所述触控笔的运动状态数据，所述运动状态数据包括加速度数据；
28.识别模块，用于基于所述运动状态数据识别所述触控笔的操作手势，确定所述操作手势对应的处理动作，其中，所述操作手势包括垂直挥动、水平挥动、敲击、水平翻面、垂直翻面中的一种或多种；
29.处理模块，用于将所述处理动作发送至所述终端设备，以控制所述终端设备执行所述处理动作。
30.此外，为实现上述目的，本技术还提供一种手势识别设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序被所述处理器执行时实现如上述的手势识别方法的步骤。
31.此外，为实现上述目的，本技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有手势识别程序，手势识别程序被处理器执行时实现如上述的手势识别方法的步骤。
32.本技术中触控笔与终端设备的触控屏未接触时，通过获取所述触控笔的运动状态数据，基于触控笔的运动状态数据识别触控笔的操作手势，确定操作手势对应的处理动作，并将所述处理动作发送至与触控笔连接的终端设备，从而控制终端设备执行相应处理动作，避免了现有技术中触控笔只能通过按压触控屏的方式实现对终端设备的控制的现象发生，本技术中触控笔与终端设备的触控屏未接触时，通过对触控笔自身的运动状态数据的识别，从而控制终端设备执行相应处理动作，实现了触控笔对电子设备的无接触控制。
附图说明
33.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
34.图1是本技术实施例方案涉及的硬件运行环境的终端\装置结构示意图；
35.图2为本技术手势识别方法第一实施例的流程示意图；
36.图3为现有的触控笔与触控屏接触使用的使用场景示意图；
37.图4为本技术手势识别方法中六轴惯性力测量单元说明性示意图；
38.图5为本技术手势识别方法中光标移动方式说明性示意图。
具体实施方式
39.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
40.参照图1，图1为本技术实施例方案涉及的硬件运行环境的手势识别方法设备结构示意图。
41.如图1所示，该手势识别方法设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
42.本领域技术人员可以理解，图1中示出的结构并不构成对手势识别方法设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
43.如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作装置、数据存储模块、网络通信模块、用户接口模块以及手势识别方法程序。
44.在图1所示的手势识别方法设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本技术手势识别方法设备中的处理器1001、存储器1005可以设置在手势识别方法设备中，所述手势识别方法设备通过处理器1001调用存储器1005中存储的手势识别方法程序，并执行本技术实施例提供的手势识别方法。
45.参照图2，本技术提供一种手势识别方法，在手势识别方法的第一实施例中，手势识别方法应用于触控笔，所述触控笔与终端设备连接，所述终端设备包括触控屏，所述触控笔与所述触控屏处于未接触状态，手势识别方法包括以下步骤：
46.步骤s10，获取所述触控笔的运动状态数据，所述运动状态数据包括加速度数据；
47.本实施例中，触控笔可以但不限于为：电磁笔和电容笔。终端设备(或称电子设备，包括但不限于平板、手机、电脑等)具有触控屏，触控笔为电磁笔时，与触控笔交互的电子设备的触控屏上需要集成电磁感应板。电磁感应板上的分布有线圈，电磁笔中也集成有线圈。基于电磁感应原理，在电磁感应板所产生的磁场范围内，随着电磁笔的移动，电磁笔能够积蓄电能。电磁笔可以将积蓄的电能通过自由震荡，经电磁笔中的线圈传输至电磁感应板。电磁感应板可以基于来自电磁笔的电能，对电磁感应板上的线圈进行扫描，计算出电磁笔在触控屏上的位置。
48.电容笔可以包括：无源电容笔和有源电容笔。无源电容笔可以称为被动式电容笔，
有源电容笔可以称为主动式电容笔。主动式电容笔中(例如笔尖内)可以设置一个或多个电极，主动式电容笔可以通过电极发射信号。
49.触控笔为主动式电容笔时，与触控笔交互的电子设备的触控屏上需要集成电极阵列。在一种实施例中，电极阵列可以为电容式电极阵列。电子设备通过电极阵列可以接收来自主动式电容笔的信号，进而在接收到该信号时，基于触控屏上的电容值的变化识别主动式电容笔在触控屏上的位置，以及主动式电容笔的倾角。
50.图3为触控笔与触控笔接触使用时适用的一种场景示意图。参照图3，该场景中包括触控笔100、电子设备200和无线键盘300。图1中以电子设备为平板电脑为例进行说明。触控笔和无线键盘可以向电子设备提供输入，电子设备基于触控笔或无线键盘的输入，执行响应于该输入的操作。无线键盘上可以设置触控区域，触控笔可以操作无线键盘的触控区域即触控屏201，向无线键盘提供输入，无线键盘可以基于触控笔的输入执行响应于该输入的操作。在一种实施例中，触控笔和电子设备之间、触控笔和无线键盘之间，以及电子设备和无线键盘之间，可以通过通信网络进行互联，以实现无线信号的交互。该通信网络可以但不限于为：wi-fi热点网络、wi-fi点对点(peertopeer，p2p)网络、蓝牙网络、zigbee网络或近场通信网络等近距离通信网络。
51.触控笔中可设置一个或多个姿态传感器，用于采集触控笔的运动状态数据，其中，姿态传感器可以为六轴imu(inertial measurement unit，惯性力测量单元)传感器，参照图4，为六轴imu的示意图，六轴imu可以检测x轴方向上的加速度ax、y轴方向上的加速度ay、z轴方向上的加速度az，以及x轴的角速度ωx、y轴的角速度ωy、z轴的角速度ωz，用户可根据实际情况在六轴imu上建立三维坐标系后分别设置三维坐标系的x轴、y轴、z轴，例如，以用户水平持笔的姿态为例，此时，可以六轴imu的中心点为原点，以水平方向为x轴，重力加速度方向为y轴，x轴与y轴所在平面的法向量方向为z轴建立得到三维坐标系。
52.进一步地，还可以在触控笔的笔尖的书写端内设置压力传感器，由压力传感器检测笔尖的压力，实现对触控笔的开关机、状态切换、文字输入等功能，还可以根据压力传感器形变检测出笔尖的书写端的压力，从而根据笔尖书写端的压力控制书写端的线条粗细。其中，触控笔的状态可以预先设置，根据触控笔的开关机情况分为开机状态、关机状态，一方面，触控笔开机时根据触控笔是否在使用还可以进一步分为休眠状态与握持状态，另一方面触控笔开机时，根据触控笔是否在运动，可分为静置状态与运动状态，触控笔处于运动状态时，可能是用户在使用操作触控笔，也可能是触控笔处于其他容器中，随着容器的运动而运动，如触控笔处于背包中，可将触控笔的运动状态分为使用运动状态与非使用运动状态，使用运动状态是用户在操作使用触控笔使得触控笔运动的状态，非使用运动状态是其他因素导致触控笔运动的状态。
53.需要说明的是，触控笔处于休眠状态时，可不对触控笔进行运动状态数据采集，从而减少触控笔的耗电，提高触控笔的续航能力，直至用户触发触控笔预设置的开启指令，控制触控笔由休眠状态切换至握持状态后，可以实时采集也可以周期性采集触控笔的运动状态数据，其中，预设置的开启指令可以是按压笔尖、按压按钮、指纹识别、imu唤醒等方式。进一步地，若触控笔处于休眠状态的时长大于预设时长(如10分钟、15分钟、20分钟等)，可控制触控笔自动关机进入关机状态，可进一步减少耗电。
54.可以通过实验测量触控笔处于非使用运动状态时运动状态数据的变化规律，设置
非使用运动状态数据标准，从而在触控笔处于运动状态时，通过将采集到的运动状态数据与非使用运动状态数据标准匹配，若匹配成功，则确定触控笔处于非使用运动状态，进一步，若触控笔处于非使用运动状态的时长大于预设时长，可控制触控笔自动关机进入关机状态，减少触控笔耗电。
55.触控笔处于静置状态时，若检测到触控笔的运动状态数据在重力加速度的反方向上有一个瞬时加速度，则确定用户拿起触控笔，控制触控笔由静置状态进入到使用运动状态，防止触控笔掉落时误认为触控笔被拿起，智能化切换触控笔的状态。
56.触控笔处于握持状态时，可通过姿态传感器如六轴imu实时或周期性采集触控笔的运动状态数据，其中，运动状态数据包括但不限于加速度数据与角速度数据，基于触控笔自身的运动状态数据控制电子设备执行相应处理动作，实现相应功能。
57.步骤s20，基于所述运动状态数据识别所述触控笔的操作手势，确定所述操作手势对应的处理动作，其中，所述操作手势包括垂直挥动、水平挥动、敲击、水平翻面、垂直翻面中的一种或多种；
58.在一实施例中，所述基于所述运动状态数据识别所述触控笔的操作手势的步骤，包括：
59.步骤s201，将所述运动状态数据输入到预训练的识别模型中，输出得到所述触控笔的操作手势。
60.可以预先设置不同运动状态数据与操作手势之前的对应关系，可以预先通过实验采集不同操作手势的运动状态数据，从而以运动状态数据为输入，与此运动状态数据对应的操作手势为输出基于机器学习的方式训练出用于手势识别的识别模型，由此，获取到触控笔的实际运动状态数据后，可以将此运动状态数据输入到预训练的识别模型中，输出得到识别出的操作手势。其中，可识别的操作手势包括但不限于水平翻面、垂直翻面、拿起(从静置状态拿起)、摇晃、静置、画圈、敲击(手指敲击触控笔，还可以进一步识别出敲击的次数，如单敲击与双敲击)、特定角度静置、挥动(包括垂直挥动、水平挥动)、整体翻转(笔尖/笔尾位置翻转180度，触控笔的笔尖位置与触控笔的笔尾位置互换)等。
61.进一步地，可以预先设置不同操作手势与处理动作之间的映射关系，处理动作包括但不限于调节音量、调节屏幕亮度、翻页、擦除、返回上次操作、返回上级菜单等，例如假设检测到触控笔的操作手势为整体翻转时，对应处理动作可以为擦除，需要说明的是，可以是触控笔从进入使用运动状态开始，假设触控笔进入使用运动状态时笔尖朝向终端设备(或是终端设备投屏的屏幕)，首次检测到整体翻转时，对应处理动作为擦除，第二次检测到整体翻转时，处理动作可以为退出擦除，第三次检测到整体翻转时，处理动作为擦除，第四次检测到整体翻转时，处理动作可以为退出擦除，以此类推确定整体翻转时的处理动作(奇数次整体翻转时擦除，偶数次整体翻转时退出擦除)，由此，可以达到区分触控笔的笔尖不同朝向执行相应处理动作的效果。
62.此外，还可以将操作手势发送至终端设备，由终端设备确定操作手势对应的处理动作，并执行相应处理动作，还可以是将运动状态数据发送至终端设备，由终端设备根据运动状态数据识别操作手势，确定操作手势对应的处理动作，并执行相应处理动作，还可以是获取触控笔的当前剩余电量与终端设备的当前剩余电量，比较两者当前剩余电量的大小，由当前剩余电量较大的一方根据运动状态数据识别操作手势，或是根据反应准确度要求确
定哪方根据运动状态数据识别操作手势，如对反应准确度要求大于第一预设阈值时，由触控笔根据运动状态数据识别操作手势，避免将运动状态数据发送至终端设备的过程中出现丢包的情况而导致识别到的操作手势不正确的现象发生。
63.步骤s30，将所述处理动作发送至所述终端设备，以控制所述终端设备执行所述处理动作。
64.本实施例中，以处理动作为光标移动为例，假设终端设备处于投屏状态，触控笔初始进入握持状态时，触控笔近乎水平方向，笔尖朝向大屏(即终端设备投屏的屏幕)，大屏上显示光标(一般为屏幕中心点)，光标可以设置为常显示，或者使用者在笔身进行操作时才显示(例如通过食指压住笔尖、或手指按住笔身电容膜触控区)，开始显示光标时以笔的imu参数(如三维坐标系参数)为基准线，参照图5，通过运动状态数据进行光标移动，如左右移动则改变x轴(大屏宽度方向)位置参数、上下移动则改变y轴(大屏高度方向)位置参数，可将运动状态数据发送至终端设备，由终端设备基于运动状态数据计算移动轨迹，控制光标进行相应移动，也可由触控笔基于内置六轴imu采集运动状态数据(包括x、y、z方向的加速度、x、y、z轴的角速度)后计算出δx和δy(即大屏端宽度方向、高度方向的触控笔位移差)，将δx和δy发送至终端设备，在终端设备上控制光标进行相应移动。
65.本实施例中触控笔与终端设备的触控屏未接触时，通过获取所述触控笔的运动状态数据，基于触控笔的运动状态数据识别触控笔的操作手势，确定操作手势对应的处理动作，并将所述处理动作发送至与触控笔连接的终端设备，从而控制终端设备执行相应处理动作，避免了现有技术中触控笔只能通过按压触控屏的方式实现对终端设备的控制的现象发生，本实施例中触控笔与终端设备的触控屏未接触时，通过对触控笔自身的运动状态数据的识别，从而控制终端设备执行相应处理动作，实现了触控笔对电子设备的无接触控制。
66.进一步地，基于上述本技术的第一实施例，提出本技术手势识别方法的第二实施例，在本实施例中，上述实施例步骤s10，获取所述触控笔的运动状态数据，所述运动状态数据包括加速度数据的步骤之后，包括：
67.步骤a，获取所述触控笔的当前使用模式，确定所述触控笔的移动轨迹；
68.步骤b，若所述当前使用模式包括演讲模式，向所述终端设备发送光标移动信号，以控制所述终端设备的光标基于所述移动轨迹移动；
69.若当前使用模式包括演讲模式，则可以通过对加速度数据分别在垂直重力加速度的方向与水平方向进行积分运算，从而得到触控笔的移动轨迹，将移动轨迹包装在光标移动信号中，终端设备接收到光标移动信号后，解析出其中的移动轨迹，控制光标以所述移动轨迹进行移动，可选地，也可以将运动状态数据发送至终端设备，终端设备接收到运动状态数据后，对运动状态数据进行积分运算得到移动轨迹，控制光标基于移动轨迹移动。
70.步骤c，若所述当前使用模式包括书写模式，向所述终端设备发送信息输入信号，以控制所述终端设备的屏幕显示所述移动轨迹；
71.若当前使用模式包括书写模式，将移动轨迹包装在信息输入信号，并且可以在终端设备的屏幕上显示此移动轨迹，可以以涂鸦的方式或是文字输入的方式显示，由用户自行选择显示方式，可选地，也可以将运动状态数据发送至终端设备，终端设备接收到运动状态数据后，对运动状态数据进行积分运算得到移动轨迹，控制屏幕显示移动轨迹。
72.步骤d，若所述当前使用模式包括激光笔模式，向所述终端设备发送光标移动信
号，并执行基于所述运动状态数据识别所述触控笔的操作手势的步骤。
73.可选地，可以设置触控笔的不同使用模式，包括但不限于激光笔模式、演讲模式与书写模式，其中，激光笔模式下，基于运动状态数据控制终端设备执行相应处理动作，演讲模式下基于运动状态数据控制终端设备的光标移动，书写模式下基于运动状态数据控制终端设备显示输入内容，还可以实现文字输入与绘画的功能，需要说明的是，激光笔模式可以控制终端设备的光标基于触控笔的移动轨迹移动，并且同时识别触控笔的操作手势，演讲模式时，可不进行触控笔操作手势的识别，用户在演讲模式时，可通过开启操作手势识别功能进而进入到激光笔模式，且激光笔模式时，默认进行光标移动与操作手势识别，若用户仅需控制终端设备光标移动，可通过关闭操作手势识别的功能进入到演讲模式。
74.可以理解地，书写模式、激光笔模式、演讲模式之间可任意切换，可同时选择一种或多种使用模式，不同模式下触发的功能可同时实现，操作手势识别、光标移动与信息输入可以以选择列表的形式供用户选择，用户可根据实际情况选择操作手势识别、光标移动与信息输入中一种或多种功能，如既进行操作手势识别，又进行光标移动，既进行操作手势识别、又进行信息输入，三者也可同时进行，用户根据实际需要自行选择。
75.本实施例中，基于触控笔不同的当前使用模式，以不同的方式控制终端设备对触控笔移动轨迹的响应方式，从而可以实现触控笔的空鼠功能(即触控笔可以无接触控制终端设备的功能)，以及实现对终端设备更准确的控制。
76.在一实施例中，所述获取所述触控笔的当前使用模式的步骤之前，包括：
77.步骤e，检测所述运动状态数据是否与预设的标准使用状态数据匹配；
78.触控笔处于运动状态数据有变化而处于运动状态时，可能是处于使用运动状态，也可能处于非使用运动状态，可预先通过实验采集触控笔处于使用状态时运动状态数据的，得到标准使用状态数据，由此，采集到实际的运动状态数据后，将运动状态数据与预设的标准使用状态数据匹配，若匹配失败，说明触控笔处于非使用运动状态，可不进行任何处理，若匹配成功，说明触控笔处于使用运动状态，则可进一步基于运动状态数据识别操作手势。
79.步骤f，若所述运动状态数据与预设的标准使用状态数据匹配失败，控制所述触控笔进入休眠状态或者关机状态；
80.若运动状态数据与预设的标准使用状态数据匹配失败，可以周期性采集触控笔的运动状态数据，若连续预设数量周期的运动状态数据均识别到触控笔的状态为非使用运动状态，可进一步控制触控笔进入休眠状态或者关机状态，可减少触控笔的耗电量，增长触控笔的续航时长。
81.步骤g，若所述运动状态数据与预设的标准使用状态数据匹配成功，则执行获取所述触控笔的当前使用模式的步骤。
82.在本实施例中，将触控笔的运动状态数据与预设的标准使用状态数据进行匹配，匹配成功后获取所述触控笔的当前使用模式，若所述当前使用模式为激光笔模式，则基于所述运动状态数据识别操作手势，从而可以避免触控笔在非使用运动状态下误触触控笔的操作手势识别流程，并且触控笔的不同使用模式，对运动状态数据的响应方式不同，丰富了触控笔的隔空控制功能。
83.在一实施例中，所述将所述处理动作发送至所述终端设备的步骤，包括：
84.步骤h，确定所述终端设备的运行状态；
85.步骤i，若所述运行状态为待机状态，发送唤醒信号至所述终端设备，以唤醒所述终端设备；
86.步骤j，当成功唤醒所述终端设备后，生成与所述处理动作对应的处理信号，将所述处理信号发送至所述终端设备。
87.触控笔长时间未操作终端设备时，终端设备可能会进入到待机状态，此时需要用户唤醒终端设备进入到运行状态，会降低用户的使用体验。本实施例中，若检测到终端设备处于待机状态，则触控笔可发送唤醒信号对终端设备进行唤醒，无需用户手动唤醒终端设备，提高了用户的使用体验。
88.进一步，还可以在手势识别过程中，周期性检测触控笔与终端设备的当前剩余电量，若检测到触控笔的当前剩余电量小于预设最低电量值时，输出第一提示信息，提醒用户触控笔电量不足，若检测到终端设备的当前剩余电量小于预设最低电量值时，输出第二提示信息，提醒用户终端设备电量不足。
89.在一实施例中，所述确定所述操作手势对应的处理动作的步骤，包括：
90.步骤k，获取所述终端设备的当前投屏模式，其中，所述终端设备的投屏模式包括幻灯片投屏模式、文字投屏模式、图片投屏模式、音视频投屏模式、通用投屏模式中的至少一种；
91.步骤l，确定所述当前投屏模式对应的处理信息，并根据所述处理信息确定所述操作手势对应的处理动作，其中，所述终端设备的不同投屏模式对应的处理信息不同，所述处理信息包括操作手势与处理动作之间的映射关系。
92.设置有操作手势与处理动作之间的默认处理信息，用户可以自行选择终端设备的投屏模式，其中，终端设备的投屏模式包括但不限于幻灯片投屏模式、文字投屏模式、图片投屏模式、音视屏投屏模式、通用投屏模式，幻灯片投屏模式可以是终端设备对ppt(powerpoint，幻灯片)进行投屏时的投屏模式，文字投屏模式可以是对word进行投屏时的投屏模式，图片投屏模式可以是对图片或pdf文件投屏时的投屏模式，音视屏投屏模式可以是对音频文件或视频文件投屏时的投屏模式，除幻灯片投屏模式、文字投屏模式、图片投屏模式、音视频投屏模式、之外的其他投屏模式为通用投屏模式。终端设备的不同投屏模式对应的处理信息可以不同，例如，假设触控笔的操作手势为敲击，则幻灯片投屏模式对应的处理动作可以为切换下一张幻灯片，文字投屏模式对应的处理动作可以为向下滑动当前word页面预设距离，图片投屏模式对应的处理动作可以为切换下一张图片或pdf，音视屏投屏模式的处理动作可以是切换下一音/视频文件或快进当前音/视频文件，通用投屏模式对应的处理动作可以为调节音量。终端设备的不同投屏模式对应的处理信息不同，可以对触控笔的操作手势针对性控制终端设备执行相应对应处理动作，实现对终端设备的针对性控制。
93.此外，终端设备还可以支持对处理信息的编辑、修改、增加、删除等功能，从而不同的用户可根据自身使用习惯对处理信息进行修改，提高用户的使用体验。
94.进一步地，基于上述本技术的第二实施例，提出本技术手势识别方法的第三实施例，在本实施例中，基于所述运动状态数据识别所述触控笔的操作手势的步骤，包括：
95.步骤m，确定所述加速度数据在重力加速度方向上的第一加速度分量与在水平方向上的第二加速度分量；
96.步骤n，确定所述第一加速度分量值大于第一预设限值的第一持续时长，若所述第一持续时长大于预设时长，将垂直挥动作为所述触控笔的操作手势；
97.在本实施例中，基于加速度数据在重力加速度方向上的第一加速度分量，确定所述第一加速度分量值大于第一预设限值的第一持续时长，若第一持续时长大于第一预设时长，进一步地，且第一持续时长小于第二预设时长(第二预设时长大于第一预设时长)，则将垂直挥动作为所述触控笔的操作手势，需要说明的是，此时，第二加速度分量值应小于预设阈值，并且进一步，还可以根据第一加速度分量的方向，垂直挥动可分为向上垂直挥动与向下垂直挥动，第一加速度分量的方向与重力加速度方向相同时，将向下垂直挥动作为所述触控笔的操作手势，第一加速度分量的方向与重力加速度方向相反时，将向上垂直挥动作为所述触控笔的操作手势。
98.步骤o，确定所述第二加速度分量值大于第二预设限值的第二持续时长，若所述第二持续时长大于预设时长，将水平挥动作为所述触控笔的操作手势；
99.在本实施例中，基于加速度数据在水平方向上的第二加速度分量，确定所述第二加速度分量值大于第一预设限值的第二持续时长，若第二持续时长大于第三预设时长(与第一预设时长可相同也可不同，用户自行设置)时，且此第二持续时长小于第四预设时长(与第二预设时长可相同也可不同，用户自行设置，第四预设时长大于第三预设时长)，将水平挥动作为所述触控笔的操作手势，需要说明的是，此时，第一加速度分量值应小于预设阈值，并且进一步，还可以根据第二加速度分量的方向，水平挥动可分为向左水平挥动与向右水平挥动，假设触控的三维坐标x轴正方向为当前使用触控笔用户的右侧方向，第二加速度分量的方向与x轴正方向相同时，将向右水平挥动作为所述触控笔的操作手势，第二加速度分量的x轴正方向相反时，将向左水平挥动作为所述触控笔的操作手势。
100.步骤p，若所述第一持续时长小于预设时长，且所述第二持续时长小于预设时长，将敲击作为所述触控笔的操作手势。
101.此外，也可以是若检测到触控笔的瞬时加速度，进一步，且在此瞬时加速的时间内触控笔的位移(可包括水平位移与垂直位移)小于预设位移(如1厘米、2厘米等)，则可将敲击作为所述触控笔的操作手势。需要说明的是，本实例中的预设时长与预设阈值均为用户可提前任意设置，彼此之间可相同或不同。
102.本实施例中，基于加速度数据识别触控笔的操作手势，提高了操作手势的识别准确度。
103.在一实施例中，所述运动状态数据还包括角速度数据，所述基于所述运动状态数据识别所述触控笔的操作手势的步骤，还包括：
104.步骤q，基于所述角速度数据确定预设时间内所述触控笔在水平方向上转过的水平角度，基于所述角速度数据确定预设时间内所述触控笔在重力加速度方向上转过的垂直角度；
105.步骤r，若所述水平角度大于预设角度，将水平翻面作为所述触控笔的操作手势；
106.步骤s，若所述垂直角度大于预设角度，将垂直翻面作为所述触控笔的操作手势。
107.本实施例中，对触控笔的预设时间内的角速度进行积分运算(角速度对时间进行积分)得到触控笔转过的角度，若触控笔转过的角度大于预设角度(如30度、35度、40度等)，将翻面作为所述触控笔的操作手势，其中，预设时间可以是角速度初始不为零的初始时刻
到角速度再次为零的终止时刻之间的时间，或者，初始时刻到之间的时间大于第五预设时长时(如5秒、6秒、7秒等)，预设时间也可以是从初始时刻开始一段时长(如初始时刻开始1秒内，初始时刻开始1.5秒内，初始时刻开始2秒内等)，进一步地，还可以分别对水平方向上的水平角速度进行积分运算得到触控笔转过的水平角度，对重力加速度方向上的垂直角速度进行积分运算得到触控笔转过的垂直角度，若水平角度大于预设角度，将水平翻面作为所述触控笔的操作手势，若垂直角度大于预设角度，将垂直翻面作为所述触控笔的操作手势。
108.在本实施例中，还可以基于触控笔的角速度数据识别触控笔的操作手势，丰富了可识别的操作手势的种类。
109.此外，本技术还提供一种手势识别装置，所述手势识别装置包括触控笔，所述触控笔与终端设备连接，所述终端设备包括触控屏，所述触控笔与所述触控屏处于未接触状态，所述手势识别装置，还包括：
110.获取模块a10，用于获取所述触控笔的运动状态数据，所述运动状态数据包括加速度数据；
111.识别模块a20，用于基于所述运动状态数据识别所述触控笔的操作手势，确定所述操作手势对应的处理动作，其中，所述操作手势包括垂直挥动、水平挥动、敲击、水平翻面、垂直翻面中的一种或多种；
112.处理模块a30，用于将所述处理动作发送至所述终端设备，以控制所述终端设备执行所述处理动作。
113.此外，本技术实施例还提出一种手势识别设备，手势识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上执行的手势识别程序，所述手势识别程序被所述处理器执行时实现如上述的手势识别方法的步骤。
114.本技术手势识别设备具体实施方式与上述手势识别方法各实施例基本相同，在此不再赘述。
115.此外，为实现上述目的，本技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有手势识别程序，手势识别程序被处理器执行时实现如上述的手势识别方法的步骤。
116.本技术计算机可读存储介质具体实施方式与上述手势识别方法各实施例基本相同，在此不再赘述。
117.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
118.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
119.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个
计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，云端服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
120.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种手势识别方法，其特征在于，所述手势识别方法应用于触控笔，所述触控笔与终端设备连接，所述终端设备包括触控屏，所述触控笔与所述触控屏处于未接触状态，所述手势识别方法包括以下步骤：获取所述触控笔的运动状态数据，所述运动状态数据包括加速度数据；基于所述运动状态数据识别所述触控笔的操作手势，确定所述操作手势对应的处理动作，其中，所述操作手势包括垂直挥动、水平挥动、敲击、水平翻面、垂直翻面中的一种或多种；将所述处理动作发送至所述终端设备，以控制所述终端设备执行所述处理动作。2.如权利要求1所述的手势识别方法，其特征在于，所述获取所述触控笔的运动状态数据的步骤之后，包括：获取所述触控笔的当前使用模式，确定所述触控笔的移动轨迹；若所述当前使用模式包括演讲模式，向所述终端设备发送光标移动信号，以控制所述终端设备的光标基于所述移动轨迹移动；若所述当前使用模式包括书写模式，向所述终端设备发送信息输入信号，以控制所述终端设备的屏幕显示所述移动轨迹；若所述当前使用模式包括激光笔模式，向所述终端设备发送光标移动信号，并执行基于所述运动状态数据识别所述触控笔的操作手势的步骤。3.如权利要求2所述的手势识别方法，其特征在于，所述获取所述触控笔的当前使用模式的步骤之前，包括：检测所述运动状态数据是否与预设的标准使用状态数据匹配；若所述运动状态数据与预设的标准使用状态数据匹配失败，控制所述触控笔进入休眠状态或者关机状态；若所述运动状态数据与预设的标准使用状态数据匹配成功，则执行获取所述触控笔的当前使用模式的步骤。4.如权利要求1所述的手势识别方法，其特征在于，所述将所述处理动作发送至所述终端设备的步骤，包括：确定所述终端设备的运行状态；若所述运行状态为待机状态，发送唤醒信号至所述终端设备，以唤醒所述终端设备；当成功唤醒所述终端设备后，生成与所述处理动作对应的处理信号，将所述处理信号发送至所述终端设备。5.如权利要求1所述的手势识别方法，其特征在于，所述确定所述操作手势对应的处理动作的步骤，包括：获取所述终端设备的当前投屏模式，其中，所述终端设备的投屏模式包括幻灯片投屏模式、文字投屏模式、图片投屏模式、音视频投屏模式、通用投屏模式中的至少一种；确定所述当前投屏模式对应的处理信息，并根据所述处理信息确定所述操作手势对应的处理动作，其中，所述终端设备的不同投屏模式对应的处理信息不同，所述处理信息包括操作手势与处理动作之间的映射关系。6.如权利要求1-5任一项所述的手势识别方法，其特征在于，所述基于所述运动状态数据识别所述触控笔的操作手势的步骤，包括：
将所述运动状态数据输入到预训练的识别模型中，输出得到所述触控笔的操作手势。7.一种手势识别装置，其特征在于，所述手势识别装置包括触控笔，所述触控笔与终端设备连接，所述终端设备包括触控屏，所述触控笔与所述触控屏处于未接触状态，所述手势识别装置还包括：获取模块，用于获取所述触控笔的运动状态数据，所述运动状态数据包括加速度数据；识别模块，用于基于所述运动状态数据识别所述触控笔的操作手势，确定所述操作手势对应的处理动作，其中，所述操作手势包括垂直挥动、水平挥动、敲击、水平翻面、垂直翻面中的一种或多种；处理模块，用于将所述处理动作发送至所述终端设备，以控制所述终端设备执行所述处理动作。8.一种手势识别设备，其特征在于，所述手势识别方法设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别方法程序被所述处理器执行时实现如权利要求1至6中任一项所述的手势识别方法的步骤。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如权利要求1至6中任一项所述的手势识别方法的步骤。

技术总结
本申请公开了一种手势识别方法、装置、设备及计算机可读存储介质，涉及通信技术领域，所述手势识别方法应用于触控笔，所述触控笔与终端设备连接，所述终端设备包括触控屏，所述触控笔与所述触控屏处于未接触状态，所述手势识别方法包括以下步骤：获取所述触控笔的运动状态数据，所述运动状态数据包括加速度数据；基于所述运动状态数据识别所述触控笔的操作手势，确定所述操作手势对应的处理动作，其中，所述操作手势包括垂直挥动、水平挥动、敲击、水平翻面、垂直翻面中的一种或多种；将所述处理动作发送至所述终端设备，以控制所述终端设备执行所述处理动作。本申请实现了触控笔对电子设备的无接触控制。设备的无接触控制。设备的无接触控制。


技术研发人员：何蒙 詹梓煜 邓建
受保护的技术使用者：深圳市千分一智能技术有限公司
技术研发日：2023.06.01
技术公布日：2023/8/6