一种自动调整虚拟键盘的方法、装置和存储介质与流程

1.本发明一般地涉及电子设备技术领域。更具体地，本发明涉及一种自动调整虚拟键盘的方法、装置和存储介质。


背景技术：

2.随着科技水平的不断进步，人们生活水平的不断提高，电子设备(例如智能手机、平板电脑等)已经成为人们生活中常用的电子产品之一。许多电子设备为了追求灵活、便携等特点，逐渐向小型化进行设计，这也就逐渐摒弃了物理键盘等输入设备，并改用虚拟键盘来替代物理键盘实现输入功能。
3.虚拟键盘通常用作没有物理键盘的设备中的屏幕输入方法，在这些设备中没有空间放置，例如袖珍电脑、个人数字助理(pda)、平板电脑或配备触摸屏的手机。通常通过敲击虚拟键盘或手指追踪来输入文本。然而，不同人由于手部尺寸不同、敲击键盘动作习惯不同，所以每个人对应的最优键盘布局也不同，传统的虚拟键盘无法根据个人情况自动优化键盘布局，缺乏针对性，无法有效提高用户按键输入的效率。
4.为了提升用户体验，使得用户能够更加准确、高效地触控到虚拟按键，现有技术中也提出了改变虚拟键盘中的按键布局的方式，以满足不同用户的输入需求。例如申请号为202210475370.5、发明名称为虚拟键盘的显示方法、装置、电子设备及存储介质的中国发明专利申请中，就公开了在显示界面中显示虚拟键盘，根据对虚拟键盘的模式切换指令，调整虚拟键盘的第一按键区域和第二按键区域。调整前的第一按键区域中的虚拟按键在指定方向上的宽度小于调整后的第一按键区域中的虚拟按键在指定方向上的宽度，调整前的第二按键区域中的虚拟按键在指定方向上的宽度大于调整后的第二按键区域中的虚拟按键在指定方向上的宽度。然而，这种调整方式是根据预设的模式进行虚拟键盘中按键显示形态的调整，需要提前对不同的情况进行设置，并且切换模式后的虚拟键盘仍然存在部分按键不符合用户使用习惯的缺点，导致用户输入信息的准确率提升不明显。
5.基于此，如何解决现有虚拟键盘存在的无法针对用户自动调整键盘布局导致用户体验较差的问题，是目前虚拟应用技术中亟需解决的问题之一。


技术实现要素：

6.为解决上述一个或多个技术问题，本发明提出通过用户手指的移动距离、按键触发时间和当前的误触率计算按键的得分，并对得分最高的按键及其周围的按键的尺寸和布局进行调整，从而实现了在虚拟键盘应用过程中的自动调整，能够有效满足用户使用需求的差异性，提升了用户体验。为此，本发明在如下的多个方面中提供方案。
7.在第一方面中，本发明提供了一种自动调整虚拟键盘的方法，应用于电子设备，包括：响应于虚拟键盘的按键被触发，获取该按键触发时刻之前手指在设定时间内的移动距离、该按键的本次触发是否为误触；根据所述移动距离以及虚拟按键在设定次数的触发中计算得到的误触率计算被触发的按键对应的得分；判断虚拟键盘中所有被触发按键对应的
得分，并确定其中得分最高的按键；自动调整所述得分最高的按键及其周围按键的尺寸和布局。
8.在一个实施例中，根据本次触发后是否发生删除操作来判断所述按键的本次触发是否为误触。
9.在一个实施例中，所述根据所述移动距离以及虚拟按键在设定次数的触发中计算得到的误触率计算被触发的按键对应的得分包括：对所述移动距离进行归一化处理，以得到归一化移动距离；根据预设的权重对所述归一化移动距离和误触率进行加权求和，以得到所述被触发的按键对应的得分。
10.在一个实施例中，其中对所述移动距离进行归一化处理，以得到归一化移动距离包括：确定所述移动距离的实测数据与预设最大距离的比值作为归一化移动距离。
11.在一个实施例中，在对按键的得分在进行排序以确定其中得分最高的按键之前，对各个按键的得分分别乘以按键权重系数，以得到单个按键的最终得分，其中使用频率高的按键权重系数大于使用频率低的按键。
12.在一个实施例中，所述自动调整所述得分最高的按键及其周围按键的尺寸和布局包括：随机改变所述得分最高的按键的尺寸和\或位置，以及对应改变所述得分最高的按键周围按键的尺寸和\或位置。
13.在一个实施例中，所述方法还包括：根据所述被触发的按键对应的得分计算虚拟键盘中所有按键的总得分；响应于所述总得分满足预设条件，停止对虚拟键盘尺寸及布局进行调整；确定总得分最低时虚拟键盘尺寸及布局，将其作为虚拟键盘最终的尺寸及布局。
14.在一个实施例中，所述预设条件包括：在预设的虚拟键盘尺寸及布局的调整次数中，总得分最大值和最小值的差值小于设定阈值。
15.在第二方面中，本发明还提供了一种自动调整虚拟键盘的装置，包括：处理器；以及存储器，其存储有用于自动调整虚拟键盘的计算机指令，当所述计算机指令由所述处理器运行时，使得设备执行根据前文一个或多个实施例所述的自动调整虚拟键盘的方法。
16.在第三方面中，本发明还提供了一种计算机可读存储介质，其上存储有用于自动调整虚拟键盘的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如前文一个或多个实施例所述的自动调整虚拟键盘的方法。
17.根据本发明的方案，可以根据触发时刻之前手指的移动距离、按键的触发时间以及被触发按键当前的误触率计算相应的得分，并对得分最高的按键及其周围按键的尺寸和布局进行调整，实现了在虚拟键盘的使用过程中自动调整按键的形态，使得该虚拟键盘能够根据用户的使用习惯进行调整，提高按键效率、减小使用过程中的按键误触情况，有效提升用户使用体验。
18.进一步，通过对移动距离、误触率进行加权计算，可以根据不同参数的重要程度确定是否对按键进行调整，从而有效提升虚拟键盘中按键调整的有效性。
19.进一步，在计算得分时，还通过将使用频率高的按键权重系数大于使用频率低的按键，并对各个按键的得分分别乘以按键权重系数，可以有效提升按键调整的的准确性，提高键盘优化的整体效果。
20.进一步，通过设置按键的调整方式，可以在保证按键调整的有效性的同时，减小对整体键盘的布局的调整，有效简化了按键显示形态的调整的方式，降低布局调整复杂度。
21.更进一步，通过计算总得分设置虚拟键盘整体自动调整的终止条件，从而实现虚拟键盘能够达到较好效果的同时，快速将布局稳定下来，有利于用户针对该布局固定操作习惯，提升用户体验度。
附图说明
22.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
23.图1是示意性示出根据本发明的实施例的自动调整虚拟键盘的方法的流程图；
24.图2是示意性示出根据本发明的实施例的计算按键对应的得分的方法的流程图；
25.图3是示意性示出根据本发明的实施例的整体虚拟键盘的调整的方法的流程图；
26.图4是示意性示出其中应用本发明的方法进行自动调整时某一时刻虚拟键盘中的按键状态的示意图；
27.图5是示意性示出其中应用本发明的方法进行自动调整后的虚拟键盘示意图；
28.图6是示意性示出根据本发明的实施例的自动调整虚拟键盘的装置的结构示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.下面结合附图来详细描述本发明的具体实施方式。
31.图1是示意性示出根据本发明的实施例的自动调整虚拟键盘的方法100的流程图。
32.如图1所示，该自动调整虚拟键盘的方法主要应用于电子设备，该电子设备包括触摸屏的手机、pad、ar眼镜、vr眼镜等中。
33.在步骤s101处，响应于虚拟键盘的按键被触发，获取该按键触发时刻之前手指在设定时间内的移动距离、该按键的本次触发是否为误触。以用户的其中一个手指触发虚拟键盘中的某一个按键为例，从触发按键的时刻开始，可以往前推定设定时间，以得到手指移动的距离。例如可以通过拍摄手部的动作视频并通过图像处理技术获得手指移动的距离，该技术为现有技术，此处将不再赘述。按键的本次触发是否为误触可以是该按键截止到上一次触发时，按键的误触情况。
34.在步骤s102处，根据移动距离以及虚拟按键在设定次数的触发中计算得到的误触率计算被触发的按键对应的得分。在一些实施例中，可以通过对移动距离和误触率进行加权计算，从而得到对应的得分。可以分别设置相应的权重，从而侧重的计算得分，例如可以将误触率对应的权重设置的大一点，以尽可能对误触率更高的按键进行调整。
35.在一些实施例中，可以根据本次触发后是否发生删除操作来判断该按键的本次触发是否为误触。误触率可以根据设定次数中的按键触发中的误触情况进行计算。例如截止到上一次触发，该按键触发的100次中有2次判定为失误，则该按键此时的误触率即为2％。
通过定位用户要修改的触发操作来计算误触率，具体可以分为以下几种情况：
36.1、如果触发某个按键(例如按键a)之后，后续有单次删除操作，然后触发另一个按键(例如按键b)，那么即认为用户想要想要触发b，结果触发了a；
37.2、如果有连续多次的删除动作(比如3次，删除了axx三个按键)，然后输入了bxx三个按键，即认为用户想要想要触发b，结果触发了a；
38.3、如果是中文输入法，在中文输出之后删除的，对比删除后重新输入的按键，判定用户想要修改的是哪个按键，例如通过依次触发“xaxx”四个按键打出了一个字，然后有一个删除操作，然后依次触发“xbxx”四个按键打出了另一个字，即认为用户想要想要触发b，结果触发了a。
39.然后判断用户修改的原因：
40.(1)如果修改前的按键a和修改后的按键b在键盘布局上相邻，那么判定用户是想要触发b，结果错误地触发了按键a，判定为b按键的一次误触；
41.(2)如果修改前的按键a和修改后的按键b在键盘布局上不相邻，那么判定是用户自身意图的改变，不判定为b按键的一次误触。
42.此时，如果按键b被触发的100次中，有2次被判定为误触，此时按键b的误触率即为2％。
43.在步骤s103处，判断虚拟键盘中所有被触发按键对应的得分，并确定其中得分最高的按键。在一些实施例中，通过选择得分最高的按键进行调整，可以有效提升虚拟键盘的调整效率和准确性。
44.在步骤s104处，自动调整所述得分最高的按键及其周围按键的尺寸和布局。在一些实施例中，调整得分最高的按键及其周围按键的尺寸和布局的方式可以包括将得分最高的按键进行扩大，以及对应将得分最高的按键的周围按键缩小。具体按键扩大的方向和大小，可以随机设置。
45.以上结合图1对本发明的方案进行了详细说明，接下来将对上述步骤的具体实现方式进行详细说明。
46.图2是示意性示出根据本发明的实施例的计算按键对应的得分的方法200的流程图。需要说明的是，图2中所示出的方法200可以理解为是图1中步骤s102至步骤s104的一种可能的示例性实现。因此，前文结合图1中的相关描述同样也适用于下文。
47.如图2所示，在步骤s201处，对移动距离进行归一化处理，以得到归一化移动距离。在一些实施例中，可以确定移动距离的实测数据与预设最大距离的比值作为归一化移动距离。
48.在步骤s202处，根据预设的权重对归一化移动距离和误触率进行加权求和，以得到被触发的按键对应的得分。该加权求和过程中所涉及的权重是移动距离和误触率分别对应的权重。例如归一化移动距离对应的权重是0.4，误触率对应的权重为0.6。
49.在一些实施例中，上述加权求和过程中所采用的权重包括距离权重和误触率权重。
50.以按键1为例，可以计算该按键1的得分，例如以下表格1中列出了按键1对应的移动距离和误触率的情况，通过归一化和加权计算可以得到对应的得分。
51.表1
[0052][0053]
接着，在步骤s203处，对各个按键的得分分别乘以按键权重系数，以得到单个按键的最终得分。在一些实施例中，虚拟按键中的每个按键的使用频率不同，因此每个按键也可以分别设置对应的按键权重系数，以根据使用频率对按键进行调整。例如可以设置使用频率高的按键权重系数大于使用频率低的按键。
[0054]
在步骤s204处，对按键的得分在进行排序以确定其中得分最高的按键。在计算得到按键对应的得分后，可以进行排序，从而确定其中得分最高的按键，以进行调整。
[0055]
接着，在步骤s205处，随机改变得分最高的按键的尺寸和\或位置。在一些实施例中，可以将得分最高的按键进行扩大或缩小，以及将其向上、向下、向左或向右进行位置调整。
[0056]
在步骤s206处，对应改变得分最高的按键周围按键的尺寸和\或位置。与上述得分最高的按键相对应，其周围的按键的尺寸和\或位置也可以随之进行调整。
[0057]
图3是示意性示出根据本发明的实施例的整体虚拟键盘的调整的方法300的流程图。
[0058]
如图3所示，在步骤s301处，根据被触发的按键对应的得分计算虚拟键盘中所有按键的总得分。
[0059]
在步骤s302处，响应于总得分满足预设条件，停止对虚拟键盘尺寸及布局进行调整。在一些实施例中，该预设条件可以是设定值，当总得分小于该设定值时，停止进行调整。
[0060]
进一步，该预设条件可以包括当前总得分与前一次调整时的总得分的差值小余设定阈值。例如，总得分会随着时间会逐渐产生稳定的变化趋势，当总得分的波动小于某一个阈值的时候，可以停止优化。更进一步，该稳定变化的趋势也可以进行设定。例如当该虚拟键盘的总得分处于一个稳定的变化或波动范围内，并且在这种状态下持续一段时间(例如2小时)，此时就可以认为该虚拟键盘达到较为理想的状态，此时可以停止进行按键调整。
[0061]
在步骤s303处，确定总得分最低时虚拟键盘尺寸及布局，将其作为虚拟键盘最终的尺寸及布局。作为其他实施方式，还可以以最后一次调整时的布局作为最终的显示形态，本领域技术人员可以根据实际需要进行选择。
[0062]
图4是示意性示出其中应用本发明的方法进行自动调整时某一时刻虚拟键盘400
中的按键状态的示意图。图5是示意性示出其中应用本发明的方法进行自动调整后的虚拟键盘500示意图。
[0063]
在对虚拟键盘进行自动调整的过程中，经过一段时间段的调整，当前的按键的状态如图4中所示，图中仅示出了数字部分。可以看出当前的按键中，5、6和0的按键的键帽形状和尺寸发生的变化，键帽的高度变低且尺寸变小。按键之间有固定的距离(比如相距2mm)。
[0064]
此时用户触发了按键，且根据上述本发明中的方法计算了按键4和其他按键的得分，并且分析得出此时按键4的得分最高，即需要调整按键4。调整方式可以设置为将按键向上和向右扩大，那么此时按键4就会相应的向上并向右扩大，如图5中所示出的形状，同时旁边的按键1、按键2和按键5将自动压缩。作为其他实施方式，对于处于上部边缘的按键，可以向下进行扩大，对于处于下部边缘的按键可以向上进行扩大。对于处于右侧边缘的按键，则可以向上和向左进行扩大。处于中间区域的按键，则可以直接等比放大。
[0065]
需要说明的是，上述按键的调整方式仅仅是示例性的而非限制性的，具体的按键的调整方式，本领域技术人员可以根据实际需要进行设定。同样地，按键的形状可以是二维的，比如矩形、菱形或者其他不规则平面形状。也可以是三维的，比如棱柱、圆柱体、棱锥体、棱台体或者不规则三维形状。当判定某个按键需要调整形状时，相邻按键即按照某个一规则相应地自动调整(例如相邻按键之间的距离固定)。
[0066]
图6是示意性示出根据本发明的实施例的自动调整虚拟键盘的装置600的结构示意图。
[0067]
在本发明的另一方面中，还提供了一种自动调整虚拟键盘的装置，包括：处理器；以及存储器，其存储有用于自动调整虚拟键盘的计算机指令，当所述计算机指令由所述处理器运行时，使得设备执行根据上述一个或多个实施例中所述的自动调整虚拟键盘的方法。
[0068]
如图6中所示，设备601可以包括cpu6011，其可以是通用cpu、专用cpu或者其他信息处理以及程序运行的执行单元。进一步，设备601还可以包括大容量存储器6012和只读存储器rom 6013，其中大容量存储器6012可以配置用于存储各类数据以及多媒体网络所需的各种程序，rom 6013可以配置成存储对于设备601的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
[0069]
进一步，设备601还包括其他的硬件平台或组件，例如示出的tpu(tensor processing unit，张量处理单元)6014、gpu(graphic processing unit，图形处理器)6015、fpga(field programmable gate array，现场可编程逻辑门阵列)6016和mlu(memory logic unit)，存储器逻辑单元)6017。可以理解的是，尽管在设备601中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备601可以仅包括cpu作为公知硬件平台和另一硬件平台作为本发明的测试硬件平台。
[0070]
本发明的设备601还包括通信接口6018，从而可以通过该通信接口6018连接到局域网/无线局域网(lan/wlan)605，进而可以通过lan/wlan连接到本地服务器606或连接到因特网(“internet”)607。替代地或附加地，本发明的设备601还可以通过通信接口6018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代(“3g”)、第四代(“4g”)或
第5代(“5g”)的无线通信技术。在一些应用场景中，本发明的设备601还可以根据需要访问外部网络的服务器608以及可能的数据库609。
[0071]
设备601的外围设备可以包括显示装置602、输入装置603以及数据传输接口604。在一个实施例中，显示装置602可以例如包括一个或多个扬声器和/或一个或多个视觉显示器。输入装置603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，或其他输入按钮或控件，其配置用于接收数据的输入或用户指令。数据传输接口604可以包括例如串行接口、并行接口或通用串行总线接口(“usb”)、小型计算机系统接口(“scsi”)、串行ata、火线(“firewire”)、pci express和高清多媒体接口(“hdmi”)等，其配置用于与其他设备或系统的数据传输和交互。
[0072]
本发明的设备601的上述cpu 6011、大容量存储器6012、只读存储器rom 6013、tpu 6014、gpu 6015、fpga 6016、mlu 6017和通信接口6018可以通过总线6019相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线6019，cpu 6011可以控制设备601中的其他硬件组件及其外围设备。
[0073]
在工作中，本发明的设备601的处理器cpu 6011可以通过输入装置603或数据传输接口604获取媒体数据包，并调取存储于存储器6012中的计算机程序指令或代码对按键的得分进行计算。
[0074]
从上面关于本发明模块化设计的描述可以看出，本发明的系统可以根据应用场景或需求进行灵活地布置而不限于附图所示出的架构。进一步，还应当理解，本发明示例的执行操作的任何模块、单元、组件、服务器、计算机或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。基于此，本发明也公开了一种计算机可读存储介质，其上存储有用于自动调整虚拟键盘的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如前文中一个或多个实施例所述的方法。
[0075]
虽然本说明书已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用对本文所描述的本发明实施例的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

技术特征：
1.一种自动调整虚拟键盘的方法，其特征在于，应用于电子设备，包括：响应于虚拟键盘的按键被触发，获取该按键触发时刻之前手指在设定时间内的移动距离、该按键的本次触发是否为误触；根据所述移动距离以及虚拟按键在设定次数的触发中计算得到的误触率计算被触发的按键对应的得分；判断虚拟键盘中所有被触发按键对应的得分，并确定其中得分最高的按键；自动调整所述得分最高的按键及其周围按键的尺寸和布局。2.根据权利要求1所述的自动调整虚拟键盘的方法，其特征在于，根据本次触发后是否发生删除操作来判断所述按键的本次触发是否为误触。3.根据权利要求1所述的自动调整虚拟键盘的方法，其特征在于，所述根据所述移动距离以及虚拟按键在设定次数的触发中计算得到的误触率计算被触发的按键对应的得分包括：对所述移动距离进行归一化处理，以得到归一化移动距离；根据预设的权重对所述归一化移动距离和误触率进行加权求和，以得到所述被触发的按键对应的得分。4.根据权利要求3所述的自动调整虚拟键盘的方法，其特征在于，其中对所述移动距离进行归一化处理，以得到归一化移动距离包括：确定所述移动距离的实测数据与预设最大距离的比值作为归一化移动距离。5.根据权利要求1所述的自动调整虚拟键盘的方法，其特征在于，在对按键的得分在进行排序以确定其中得分最高的按键之前，对各个按键的得分分别乘以按键权重系数，以得到单个按键的最终得分，其中使用频率高的按键权重系数大于使用频率低的按键。6.根据权利要求1所述的自动调整虚拟键盘的方法，其特征在于，所述自动调整所述得分最高的按键及其周围按键的尺寸和布局包括：随机改变所述得分最高的按键的尺寸和\或位置，以及对应改变所述得分最高的按键周围按键的尺寸和\或位置。7.根据权利要求1所述的自动调整虚拟键盘的方法，其特征在于，所述方法还包括：根据所述被触发的按键对应的得分计算虚拟键盘中所有按键的总得分；响应于所述总得分满足预设条件，停止对虚拟键盘尺寸及布局进行调整；确定总得分最低时虚拟键盘尺寸及布局，将其作为虚拟键盘最终的尺寸及布局。8.根据权利要求7所述的自动调整虚拟键盘的方法，其特征在于，所述预设条件包括：在预设的虚拟键盘尺寸及布局的调整次数中，总得分最大值和最小值的差值小于设定阈值。9.一种自动调整虚拟键盘的装置，其特征在于，包括：处理器；以及存储器，其存储有用于自动调整虚拟键盘的计算机指令，当所述计算机指令由所述处理器运行时，使得设备执行根据权利要求1-8的任意一项所述的自动调整虚拟键盘的方法。10.一种计算机可读存储介质，其特征在于，其上存储有用于自动调整虚拟键盘的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求1-8的任意一项所述的自动调整虚拟键盘的方法。

技术总结
本发明涉及一种自动调整虚拟键盘的方法、装置和存储介质，属于电子设备技术领域，该方法包括响应于虚拟键盘的按键被触发，获取该按键触发时刻之前手指在设定时间内的移动距离、该按键的本次触发是否为误触；根据所述移动距离以及虚拟按键在设定次数的触发中计算得到的误触率计算被触发的按键对应的得分；判断虚拟键盘中所有被触发按键对应的得分，并确定其中得分最高的按键；自动调整所述得分最高的按键及其周围按键的尺寸和布局；反复进行上述操作，从而使键盘布局更加适合当前用户的使用习惯，提高使用键盘的效率。根据本发明的方案，解决了现有虚拟键盘无法在使用过程中自动针对用户使用习惯进行优化的问题。用户使用习惯进行优化的问题。用户使用习惯进行优化的问题。


技术研发人员：胡团伟
受保护的技术使用者：深圳市原宇智能设备技术有限公司
技术研发日：2023.05.10
技术公布日：2023/8/4