一种智能耳机软件化实现方法与流程

1.本发明涉及耳机技术与移动应用开发领域，具体而言，涉及一种智能耳机软件化实现方法。


背景技术：

2.当前，耳机已经成为人们生活中常用的电子设备。通常的耳机可以用来向用户播放音频，并接收用户的音频输入，从而实现听音乐、听有声书、语音通话这些功能。而“智能耳机”指的是可以接收用户的语音输入或者按键指令，并根据用户的语音输入内容做出语音回应或者执行相应指令的定制化耳机设备。“智能耳机”由于具有优秀的便携性、交互的私密性、便捷的语音交互方式，而在很多场景下具有独特的价值，“智能耳机”要解决的问题主要包括两个：“唤起语音助手”和“开启语音输入”。应用流程如图3所示，但弊端在于生产成本高、使用成本高、兼容性差；生产成本：由于智能耳机需要定制硬件处理逻辑，往往还需要增加额外的硬件设计，因此具有高昂的生产成本。使用成本：由于目前市场上绝大多数耳机都是非智能耳机，如果用户希望使用智能耳机则需要额外购买，因此使用成本较高。兼容性差：由于智能耳机包含了不同于标准耳机的额外信号，使得只有专门为此适配的app才能与其配合使用，而不同的智能耳机与不同的智能耳机app之间并不能适配。


技术实现要素：

3.本发明的目的在于提供一种智能耳机软件化实现方法，其能够降低智能耳机生产成本、使用成本和提高不同耳机的兼容性。
4.本发明是这样实现的：
5.第一方面，本技术提供一种智能耳机软件化实现方法，包括以下步骤：
6.s1、设置第一开启指令、第二开启指令和第三开启指令；
7.s2、当监听到第一开启指令时，进入步骤s3；当监听到第二开启指令时，进入步骤s4；当监听到第三开启指令时，进入步骤s5；
8.s3、使用操作系统启动语音助手app，得到开启后的语音助手app，并使用开启后的语音助手app监听用户的指令；
9.s4、使用操作系统启动语音助手app，将第二开启指令发送给开启后的语音助手app，并使用语音助手app判断第二开启指令中是否存在交互指令，若是，直接处理第二开启指令，否则，打开麦克风获取用户语音；
10.s5、当监听到第三开启指令时，语音助手app判断麦克风是否常态开启，若是，进入步骤s6；否则，进入步骤s7；
11.s6、使用语音助手app判断用户是否需要语音交互；若是，使用麦克风获取用户语音；否则，保持语音助手app当前状态；
12.s7、开启麦克风并使用语音助手app判断用户是否需要语音交互；若是，使用麦克风获取用户语音；否则，关闭麦克风；
13.进一步的，步骤s1中的第一开启指令、第二开启指令和第三开启指令均包括物理按键指令、语音指令和复合指令；
14.所述物理按键指令包括对智能终端或耳机上的单个物理按键、物理按键连按或组合键；其中，单个物理按键基于直接覆盖单个物理按键原有功能，按下单个物理按键时直接开启语音输入；物理按键连按包括用户在设定的时间阈值内，连续按压两次设定的按键；组合键包括用户在设定时间的阈值内依次或同时按下两个设定的按键；
15.所述语音指令包括语音开启词；
16.所述传感器指令包括智能终端的特定动作；
17.所述复合指令包括对智能终端或耳机上的物理按键和语音指令。
18.进一步的，语音指令基于用户语音输入设定的唤醒词，当识别到唤醒词为第一开启指令时，进入步骤s3；当识别到唤醒词为第二开启指令时，进入步骤s4；当识别到唤醒词为第三开启指令，进入步骤s5。
19.进一步的，复合指令包括以下步骤：
20.用户输入物理按键指令或传感器指令，操作系统或语音助手app开启麦克风，识别用户语音并判断用户是否需要进行语音输入；若是，获取用户语音，否则，关闭麦克风，执行耳机或智能终端上的按键的原始功能。
21.进一步的，单个按键覆盖原有按键的功能，并将原有按键的功能使用语音输入提供指令完成。
22.进一步的，步骤s2中第一开启指令、第二开启指令使用操作系统进行监听，第三开启指令使用运行中的语音助手app进行监听。
23.进一步的，步骤s8包括以下子步骤：
24.s8-1、使用开启后的语音助手app接收用户语音输入，并判断是否输入完毕；若是，进入步骤s8-2；否则，继续接收用户语音输入；
25.s8-2、将用户语音输入转换成文本，提取文本中中用户的需求，并将用户的需求分为指令、对话、复合需求；
26.s8-3、当用户的需求为指令时，使用语音助手app实现指令；
27.s8-4、当用户的需求为对话时，构建对话模型，将对文本的反馈转换成音频内容，实现语音助手app和用户语音对话；
28.s8-5、当用户的需求为复合需求，即同时对话和实现指令时，先执行用户的指令，再通过对话模型将指令执行结果和对话内容转换成音频内容进行回复。
29.第二方面，本技术提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器；当上述一个或多个程序被上述处理器执行时，实现如上述第一方面中任一项所述的方法。
30.相对于现有技术，本发明至少具有如下优点或有益效果：
31.本发明提出了一种智能耳机软件化实现方法，使用软件式解决方案，解决app端现在并没有在智能手机上运行，用户想要使用语音助手时的唤起问题；app端正在运行时，用户想要通过语音输入向智能耳机下达指令时的语音输入问题；避免了智能化耳机硬件进行定制，使用于目前所有普通耳机，降低耳机智能化生产成本和使用成本，提高了智能耳机app的兼容性，具有更好的实用性。
附图说明
32.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
33.图1为本发明流程图；
34.图2为本发明对获取的用户语音的内容进行反馈流程图；
35.图3为现有智能耳机应用系统结构图；
36.图4为本发明实施例提供的一种电子设备的结构框图。
37.图标：101、存储器；102、处理器；103、通信接口。
具体实施方式
38.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
39.实施例
40.请参阅图1，该一种智能耳机软件化实现方法包括以下步骤：
41.s1、设置第一开启指令、第二开启指令和第三开启指令；
42.步骤s1中的第一开启指令、第二开启指令和第三开启指令均包括物理按键指令、语音指令和复合指令；
43.所述物理按键指令包括对智能终端或耳机上的单个物理按键、物理按键连按或组合键；其中，单个物理按键基于直接覆盖单个物理按键原有功能，按下单个物理按键时直接开启语音输入；物理按键连按包括用户在设定的时间阈值内，连续按压两次设定的按键；组合键包括用户在设定时间的阈值内依次或同时按下两个设定的按键；
44.示范性地，第三开启指令采用物理按键开启麦克风可以在语音助手app内实现，设置一个时间阈值，当监听到第一个按键按下，开始计时，若计时结束之前第二个按键被按下了，那么就“开启语音输入”，否则视为用户正常执行“音量+”操作。用户同时按下音量+和音量-按键可以快速打开耳机的麦克风，减少用户操作时间，提高用户打开麦克风的效率。
45.所述语音指令包括语音开启词；
46.所述语音指令基于用户语音输入设定的唤醒词，当识别到唤醒词为第一开启指令时，进入步骤s3；当识别到唤醒词为第二开启指令时，进入步骤s4；当识别到唤醒词为第三开启指令，进入步骤s5。
47.所述传感器指令包括智能终端的特定动作；
48.示范性地，如果通过操作系统来识别输入，需要在操作系统上注册这些输入动作
对应的事件(比如“开启语音助手app的语音输入”)。如果通过app自己来识别，需要app不断地监听输入，并实时地通过人工设计的策略或者是机器学习模型来判断是否达到触发条件；传感器指令通过对智能终端上的传感器数据(加速度计、陀螺仪、罗盘等)的监测识别出用户对终端做出的特定动作。
49.所述复合指令包括对智能终端或耳机上的物理按键和语音指令。
50.所述复合指令包括以下步骤：
51.用户输入物理按键指令或传感器指令，操作系统或语音助手app开启麦克风，识别用户语音并判断用户是否需要进行语音输入；若是，获取用户语音，否则，关闭麦克风，执行耳机或智能终端上的按键的原始功能。
52.示范性地，覆盖已有按键可使用音量+按键，将音量+按键作为开启语音输入按键，开启语音输入；基于语音输入功能，使用语音指令增大音量代替音量+按键的功能。覆盖已有按键可以简化用户操作，通过语音输入增大音量，可以弥补物理按键缺失的问题，实现耳机应有的功能。
53.s2、当监听到第一开启指令时，进入步骤s3；当监听到第二开启指令时，进入步骤s4；当监听到第三开启指令时，进入步骤s5；
54.步骤s2中第一开启指令、第二开启指令使用操作系统进行监听，第三开启指令使用运行中的语音助手app进行监听。
55.操作系统识别语音输入或者按键指令，并根据用户的语音输入内容做出语音回应或者执行相应指令；做出语音回应或者执行相应指令包括使用智能终端的操作系统判断是否需要唤起语音助手；能够有效解决了智能耳机需要定制硬件处理逻辑，对硬件进行额外编程产生的生产成本。通过智能终端的操作系统，当app端现在并没有在智能手机上运行时，用户如果要使用语音助手，使得app端从未运行状态变成运行状态。
56.使用操作系统根据已有信息判断是否需要唤起语音助手，能有效节约系统资源。唤起语音助手包括通过播放键唤起，例如，在操作系统中确定“当用户双击播放按键的时候就开始运行app”的逻辑，使用户在耳机上进行特定的按键操作就能唤起app，使其出于前台运行或者后台运行状态。语音助手app可以避免需要定制硬件处理逻辑的问题，节约了智能耳机生产成本。
57.示范性地，本技术提供多种开启语音助手app的方式，即通过操作系统开启语音助手app和直接开启语音助手app；在定制语音助手app时，可以分别选择一种方式实现，为企业开发人员提供更多选择。
58.s3、使用操作系统启动语音助手app，得到开启后的语音助手app，并使用开启后的语音助手app监听用户的指令；
59.在“开启语音助手”之后，app目前处于前台或后台运行状态，假如是处于后台运行状态并且用户将手机锁屏，这时app会与其他的后台app一样难以监听到用户在耳机上的操作，此时，app开启“后台音频播放”模式或是“后台语音通话”模式，优先监听用户对耳机的操作。同时，可以为用户提供音乐或电子书的播放，使得用户在不需要语音助手的时候也能享受音乐和电子书内容。
60.s4、使用操作系统启动语音助手app，将第二开启指令发送给开启后的语音助手app，并使用语音助手app判断第二开启指令中是否存在交互指令，若是，直接处理第二开启
指令，否则，打开麦克风获取用户语音；
61.示范性地，通过语音唤起时，可以输入符合操作系统定义的规则，如操作系统检测到用户说，“小爱同学，「激活小言助手」的时候就开始运行app”，实现第一开启指令的功能；再比如，第二开启指令中存在交互指令时，用户说：“小爱同学，问小言助手今天天气如何”。通过语音唤起时，可以更加方便的完成智能耳机的多项功能，不需要手动操作，简化用户的操作。
62.s5、当监听到第三开启指令时，语音助手app判断麦克风是否常态开启，若是，进入步骤s6；否则，进入步骤s7；
63.s6、使用语音助手app判断用户是否需要语音交互；若是，使用麦克风获取用户语音；否则，保持语音助手app当前状态；
64.s7、开启麦克风并使用语音助手app判断用户是否需要语音交互；若是，使用麦克风获取用户语音；否则，关闭麦克风；
65.示范性地，判断用户是否需要语音交互包括asr模型和音量检测；例如，用户通过耳机听音乐时，用户按下“播放/暂停”按键，接下来的2秒之内，app端开启用户耳机中的麦克风并监听用户的语音输入，并通过asr模型、音量检测程序等方法来判断用户是否进行了有效的语音输入。如果用户进行了有效的语音输入，那么认为用户这次按下“播放/暂停”按键的目的其实是为了“开启语音输入”，那么就继续保持麦克风开启直到用户完成语音输入；用户完成语音输入的判定条件如下：1.用户在预先设定的时间范围内，没有进行语音输入；2.用户输入了预先设定的关键词，如“完毕”；3.用户按下耳机或终端上某个预先设定的物理按键。
66.如果用户没有进行有效的语音输入，那么认为用户这次按下“播放/暂停”按键只是为了改变之前的音乐的“播放/暂停”状态。采用按键和语音输入的方式实现耳机智能化，使得普通耳机也能够完成智能耳机完成的功能，使用成本低。
67.s8、使用语音助手app对获取的用户语音的内容进行反馈。
68.步骤s8包括以下子步骤：
69.s8-1、使用开启后的语音助手app接收用户语音输入，并判断是否输入完毕；若是，进入步骤s8-2；否则，继续接收用户语音输入；
70.s8-2、将用户语音输入转换成文本，提取文本中中用户的需求，并将用户的需求分为指令、对话、复合需求；
71.s8-3、当用户的需求为指令时，使用语音助手app实现指令；
72.s8-4、当用户的需求为对话时，构建对话模型，将对文本的反馈转换成音频内容，实现语音助手app和用户语音对话；
73.s8-5、当用户的需求为复合需求，即同时对话和实现指令时，先执行用户的指令，再通过对话模型将指令执行结果和对话内容转换成音频内容进行回复。
74.在本技术中，如图3所示的耳机硬件端通过专门设计app端处理逻辑+专门配置操作系统替代，从而将定制的智能耳机可以替换成任意一款普通耳机，其中，普通耳机不限于各种外观，形式，包括有线耳机、无线耳机、脖挂式、头戴式、入耳式、骨传导。
75.请参阅图4，图4为本发明实施例提供的一种电子设备的结构框图。该电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间
直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本技术实施例所提供的一种智能耳机软件化实现方法对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
76.其中，存储器101可以是但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
77.处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
78.可以理解，图4所示的结构仅为示意，电子设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
79.电子设备可以是云端的服务器，将部分或者全部的功能实现在云端的服务器上，本地的终端只用把用户输入的操作信号、输入数据传输到服务器上，并且从服务器上接收返回的控制信号、输出数据，并反馈给用户并应用于本地的app。可以利用更强的算力资源给用户提供更优质的服务。
80.综上所述，本技术实施例提供的一种智能耳机软件化实现方法，使用软件式解决方案，解决app端现在并没有在智能手机上运行，用户想要使用语音助手时的唤起问题；app端正在运行时，用户想要通过语音输入向智能耳机下达指令时的语音输入问题；避免了智能化耳机硬件进行定制，使用于目前所有普通耳机，降低耳机智能化生产成本和使用成本，提高了智能耳机app的兼容性，具有更好的实用性，给用户提供更优质的服务。
81.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其它的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

技术特征：
1.一种智能耳机软件化实现方法，其特征在于，包括以下步骤：s1、设置第一开启指令、第二开启指令和第三开启指令；s2、当监听到第一开启指令时，进入步骤s3；当监听到第二开启指令时，进入步骤s4；当监听到第三开启指令时，进入步骤s5；s3、使用操作系统启动语音助手app，得到开启后的语音助手app，并使用开启后的语音助手app监听用户的指令；s4、使用操作系统启动语音助手app，将第二开启指令发送给开启后的语音助手app，并使用语音助手app判断第二开启指令中是否存在交互指令，若是，直接处理第二开启指令，否则，打开麦克风获取用户语音；s5、当监听到第三开启指令时，语音助手app判断麦克风是否常态开启，若是，进入步骤s6；否则，进入步骤s7；s6、使用语音助手app判断用户是否需要语音交互；若是，使用麦克风获取用户语音；否则，保持语音助手app当前状态；s7、开启麦克风并使用语音助手app判断用户是否需要语音交互；若是，使用麦克风获取用户语音；否则，关闭麦克风；s8、使用语音助手app对获取的用户语音的内容进行反馈。2.如权利要求1所述的一种智能耳机软件化实现方法，其特征在于，步骤s1中的第一开启指令、第二开启指令和第三开启指令均包括物理按键指令、传感器指令、语音指令和复合指令；所述物理按键指令包括对智能终端或耳机上的单个物理按键、物理按键连按或组合键；其中，单个物理按键基于直接覆盖单个物理按键原有功能，按下单个物理按键时直接开启语音输入；物理按键连按包括用户在设定的时间阈值内，连续按压两次设定的按键；组合键包括用户在设定时间的阈值内依次或同时按下两个设定的按键；所述语音指令包括语音开启词；所述传感器指令包括智能终端的特定动作；所述复合指令基于物理按键指令，并在设定的时间内识别语音指令。3.如权利要求2所述的一种智能耳机软件化实现方法，其特征在于，所述语音指令基于用户语音输入设定的唤醒词，当识别到唤醒词为第一开启指令时，进入步骤s3；当识别到唤醒词为第二开启指令时，进入步骤s4；当识别到唤醒词为第三开启指令，进入步骤s5。4.如权利要求2所述的一种智能耳机软件化实现方法，其特征在于，所述复合指令包括以下步骤：用户输入物理按键指令或传感器指令，操作系统或语音助手app开启麦克风，识别用户语音并判断用户是否需要进行语音输入；若是，获取用户语音，否则，关闭麦克风，执行耳机或智能终端上的按键的原始功能。5.如权利要求3所述的一种智能耳机软件化实现方法，其特征在于，所述单个按键覆盖原有按键的功能，并将原有按键的功能使用语音输入提供指令完成。6.如权利要求3所述的一种智能耳机软件化实现方法，其特征在于，步骤s2中第一开启指令、第二开启指令使用操作系统进行监听，第三开启指令使用运行中的语音助手app进行监听。
7.如权利要求1所述的一种智能耳机软件化实现方法，其特征在于，步骤s8包括以下子步骤：s8-1、使用开启后的语音助手app接收用户语音输入，并判断是否输入完毕；若是，进入步骤s8-2；否则，继续接收用户语音输入；s8-2、将用户语音输入转换成文本，提取文本中中用户的需求，并将用户的需求分为指令、对话、复合需求；s8-3、当用户的需求为指令时，使用语音助手app实现指令；s8-4、当用户的需求为对话时，构建对话模型，将对文本的反馈转换成音频内容，实现语音助手app和用户语音对话；s8-5、当用户的需求为复合需求，即同时对话和实现指令时，先执行用户的指令，再通过对话模型将指令执行结果和对话内容转换成音频内容进行回复。8.一种电子设备，其特征在于，包括：存储器，用于存储一个或多个程序；处理器；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。

技术总结
本发明提出了一种智能耳机软件化实现方法，涉及耳机技术与移动应用开发领域。方法包括：设置并监听开启指令，当监听到第一开启指令时，操作系统启动并使用语音助手App监听用户指令；当监听到第二开启指令时，启动并使用语音助手App获取用户语音或直接处理第二开启指令；当监听到第三开启指令时，当麦克风常态开启且用户需要语音交互时；获取用户语音；否则，保持当前状态；当麦克风未开启时，开启麦克风并判断是否需要语音交互时，若是，获取用户语音；否则，关闭麦克风。对用户语音进行反馈。本发明避免了智能化耳机硬件进行定制，可用于普通耳机，降低耳机智能化生产成本和使用成本，提高了智能耳机App的兼容性，具有更好的实用性。用性。用性。


技术研发人员：高炼
受保护的技术使用者：高炼
技术研发日：2023.06.15
技术公布日：2023/8/31