语音活动检测装置与语音活动检测方法与流程

1.本技术涉及人工智能技术领域，具体涉及语音活动检测装置与语音活动检测方法。


背景技术：

2.随着技术发展，可接受语音控制的电子装置越来越多。在现有技术中，语音活动检测装置通常使用一个主(master)处理器及从(slave)处理器来侦测语音指令。在待机期间，主处理器为休眠状态，且从处理器可进行运作以等待接收语音指令并据此唤醒主处理器。在唤醒主处理器后，从处理器进入休眠状态，而经唤醒的主处理器可根据所述语音指令进行后续操作。在上述技术中，主处理器与从处理器会共同存取同一内存，使得所述内存无法主动切换为操作于低功耗模式，且在同一期间内，主处理器与从处理器中的一者处于休眠状态而未进行其他实质操作，导致系统成本以及功率消耗增加。


技术实现要素：

3.在一些实施例中，本技术的目的之一在于提供可节省功率消耗与系统成本的语音活动检测装置与语音活动检测方法，以改善现有技术的不足。
4.在一些实施例中，语音活动检测装置包括一音频处理电路、一第一内存以及一处理器。音频处理电路处理自一音频产生电路提供的一音频信号以产生一第一音频数据。第一内存储存所述第一音频数据与一第一代码。处理器执行所述第一代码以操作在一第一模式，并响应自所述音频产生电路提供的一中断信号切换为操作在第二模式，以执行一第二内存中的一第二代码以判断储存在所述第一内存中的所述第一音频数据是否包括一人声信号，其中所述处理器操作在所述第一模式的功率消耗低于所述处理器操作在所述第二模式的功率消耗。
5.在一些实施例中，语音活动检测方法包括下列操作：根据自一音频产生电路提供的一音频信号产生一第一音频数据，并储存所述第一音频数据至一第一内存；通过一处理器执行所述第一内存中的一第一代码以操作在一第一模式；以及通过所述处理器响应自所述音频产生电路提供的一中断信号切换为操作在第二模式，以执行一第二内存中的一第二代码以判断储存在所述第一内存中的所述第一音频数据是否包括一人声信号，其中所述处理器操作在所述第一模式的功率消耗低于所述处理器操作在所述第二模式的功率消耗。
6.有关本技术的特征、实作与功效，配合附图作较佳实施例详细说明如下。
附图说明
7.图1为根据本技术一些实施例绘制的一种语音活动检测装置的示意图；
8.图2为根据本技术一些实施例绘制图1的语音活动检测装置的操作流程图；
9.图3为根据本技术一些实施例绘制图1中的多个内存的操作示意图；
10.图4为根据本技术一些实施例绘制图1的语音活动检测装置的操作流程图；
11.图5为根据本技术一些实施例绘制图1中的音频信号的波形时序图；以及
12.图6为根据本技术一些实施例绘制一种语音活动检测方法的流程图。
13.附图标记：
14.100：语音活动检测装置；
15.101：音频产生电路；
16.102，150：内存；
17.110：中断控制器；
18.120：振荡器；
19.130：处理器；
20.140：音频处理电路；
21.141：模拟数位转换器；
22.142：音频编解码器；
23.160：内存界面单元；
24.170：时脉产生器电路；
25.171，172：锁相回路；
26.300：环形缓冲器；
27.600：语音活动检测方法；
28.ck1，ck2：时脉信号；
29.ckref：参考时脉信号；
30.d1，d2，d3：音频数据；
31.p1，p2：代码；
32.rp：读取指标；
33.s201～s212，s401～s412，s610，s620，s630：操作；
34.sa：音频信号；
35.sd：数位数据；
36.st：中断信号；
37.wp：写入指标；
38.t0，t1，t2：时间。
具体实施方式
39.本文所使用的所有词汇具有其通常的意义。上述词汇在普遍常用的字典中的定义，在本技术的内容中包括任一在此讨论的词汇的使用例子仅为示例，不应限制到本技术的范围与意义。同样地，本技术也不仅以在此说明书所示出的各种实施例为限。
40.关于本文中所使用的“耦接”或“连接”，均可指二或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触，也可指二或多个元件相互操作或动作。如本文所用，用语“电路”可为由至少一个晶体管与/或至少一个主被动元件按一定方式连接以处理信号的装置。
41.图1为根据本技术一些实施例绘制的一种语音活动(voice activity detection，vad)检测装置100的示意图。语音活动检测装置100包括中断(interrupt)控制器110、振荡
器120、处理器130、音频处理电路140、内存150、内存界面单元(memory interface unit)160以及时脉产生器电路170。中断控制器110耦接至音频产生电路101，以接收音频产生电路101产生的中断信号st，并根据中断信号st要求处理器130进行相应的硬件/软件处理。在一些实施例中，音频产生电路101可收集应用环境中的声音信号并产生音频信号sa。音频产生电路101可提供音频信号sa至音频处理电路140，并可判断音频信号sa是否满足一预定条件以产生中断信号st。例如，当音频产生电路101判断音频信号sa的音量超过一预定临界值时，音频产生电路101可产生中断信号st。
42.振荡器120可产生参考时脉信号ckref，并传输参考时脉信号ckref给时脉产生器电路170。在一些实施例中，振荡器120可为，但不限于，石英振荡器。时脉产生器电路170可根据参考时脉信号ckref产生处理器130、音频处理电路140以及系统中其他电路所需的时序。例如，时脉产生器电路170可包括锁相回路(phase locked loop，pll)171与锁相回路172。锁相回路171可根据参考时脉信号ckref产生时脉信号ck1，并提供时脉信号ck1给处理器130。类似地，锁相回路172可根据参考时脉信号ckref产生时脉信号ck2，并提供时脉信号ck2给音频处理电路140。
43.处理器130可存取内存150中储存的代码p1，以操作在第一模式并等待音频产生电路101产生中断信号st。当音频产生电路101产生中断信号st时，处理器130可响应此中断信号st而改为执行内存102中的代码p2，以从操作于第一模式切换为操作于第二模式，从而判断储存在内存150中的一或多个音频资料是否包括人声信号。在一些实施例中，处理器130操作在第一模式下所产生的功率消耗低于处理器130操作在第二模式下所产生的功率消耗。也就是说，第一模式可为低功耗模式(或可称为等待中断(wait for interrupt)模式)。当处理器130操作在第一模式时，处理器130将以较低操作速度进行运作并等待接收中断信号st，从而节省功率消耗。或者，当处理器130切换为操作于第二模式时，处理器130会切换为接收具有较高频率的时脉信号ck1，所以处理器130将以较高的操作速度进行运作，以更快地检测是否有待处理的语音控制指令。
44.在一些实施例中，内存150可为，但不限于，静态随机存取内存。处理器130可经由内存界面单元160耦接到内存102。在一些实施例中，内存102可为，但不限于，动态随机存取内存。音频处理电路140可处理音频信号sa以产生音频数据(例如为图3中的音频数据d1～d3)。例如，音频处理电路140可包括模拟数位转换器141以及音频编解码器(codec)142。模拟数位转换器141根据时脉信号ck2转换音频信号sa以产生数位数据sd。音频编解码器142处理数位数据sd以产生音频数据。
45.图2为根据本技术一些实施例绘制图1的语音活动检测装置100的操作流程图。在一些实施例中，图2的多个操作对应于回路(loop)模式。在操作s201，初始化音频处理电路140与时脉产生器电路170。例如，在语音活动检测装置100启动后，处理器130可执行系统的相关软件与/或固件，以对音频处理电路140与时脉产生器电路170中的各种参数(例如可为，但不限于，时脉频率、取样率、增益大小、编解码格式等等)进行初始设置。在操作s202，设定部分电路(不包括锁相回路172)操作在低速状态。例如，在完成初始化后，前述的相关软件与/或固件可进一步关闭锁相回路171，并将处理器130所接收的时脉信号由时脉信号ck1切换到基于参考时脉信号ckref所产生的另一时脉信号(未示于图1，其频率可低于参考时脉信号ckref的频率)。同时，前述的相关软件与/或固件可进一步将内存界面单元160所
接收的时脉信号(未示出)切换为参考时脉信号ckref，使得内存界面单元160也操作于低速状态。另一方面，由于锁相回路172未被关闭，所以锁相回路172可根据参考时脉信号ckref提供时脉信号ck2给音频处理电路140。
46.在操作s203，控制内存102操作于第三模式，并执行内存150中的代码p1。在操作s204，处理器130操作在第一模式。例如，如前所述，处理器130可执行内存150中的代码p1以操作于第一模式，以等待音频产生电路101产生中断信号st。另一方面，前述的相关软件与/或固件可控制内存102操作于第三模式。在一些实施例中，第三模式可为内存102的低功耗模式。例如，如果内存102为动态随机存取内存，第三模式可为自刷新(self-refresh)模式。当处理器130执行内存150中的代码p1以操作在第一模式时，处理器130不存取内存102或是存取内存102的需求相对较少。在此条件下，可降低部分电路(例如包括内存102、内存界面单元160等等)的操作速度以节省整体功率消耗。
47.在操作s205，使能音频产生电路101以开始产生音频信号sa，并经由音频处理电路140写入音频数据到内存150。如前所述，当处理器130执行内存150中的代码p1时，处理器130操作于第一模式以等待音频产生电路101发出中断信号st。在音频产生电路101被前述的相关软件与/或固件启动后，音频产生电路101可开始收集环境中的声音以产生音频信号sa，并经由音频处理电路140将所述音频信号sa所对应的音频数据储存到内存150。
48.在操作s206，音频产生电路101发出中断信号st，且处理器130响应于中断信号st执行内存102中的代码p2以切换为操作在第二模式。在操作s207，配置时脉产生器电路170以使部分电路改为操作在较高频率，并控制内存102操作于第四模式。例如，当音频产生电路101判断音频信号sa的音量超过预定临界值时，音频产生电路101可发出中断信号st给中断控制器110，使得处理器130可响应此中断信号st改为执行内存102中的代码p2以操作在第二模式。另一方面，在此条件下，前述的相关软件与/或固件可对应配置时脉产生器电路170，以使锁相回路171与172可产生具有较高频率的时脉信号ck1与时脉信号ck2，并使内存界面单元160切换为基于较高频率的时脉信号进行运作。同时，前述的相关软件与/或固件可控制内存102改变操作到第四模式，其中第四模式可为运作速度较快的主动(active)模式。换句话说，操作在第三模式的内存102所产生的功率消耗低于操作在第四模式的内存102所产生的功率消耗。
49.在操作s208，判断内存150中的音频数据是否包括人声信号。如果判断内存150中的音频数据包括人声信号，执行操作s209。或者，如果判断内存150中的音频数据不包括人声信号，执行操作s202。在操作s209，控制内存150转移所述音频数据到内存102，并控制音频处理电路140将后续产生的音频数据储存到内存102。例如，内存102中的代码p2包括辨识人声信号的信号处理算法。处理器130可执行代码p2而根据所述算法判断内存150中的音频数据是否包括人声信号。如果音频数据包括人声信号，处理器130可控制内存150传输所述音频数据到内存102(而不再储存到内存150)。如此，在转移音频数据到内存102后，处理器130可释放出内存150中先前用于储存所述音频数据的暂存空间给系统中的其他电路使用。如果音频数据不包括人声信号，则重新执行操作s202，以重新等待下一次的语音指令。
50.在操作s210，判断内存102中的音频数据是否包括关键字信息。如果判断内存102中的音频数据包括关键字信息，执行操作s211。或者，如果判断内存102中的音频数据不包括关键字信息，执行操作s212。在操作s211中，根据所述关键字信息执行后续处理。在操作
s212，继续检测是否出现关键字信息，直到音频产生电路101判断后续收到的音频信号sa的音量不超过预定临界值。
51.例如，内存102中的代码p2还包括辨识关键字信息的信号处理算法。处理器130可执行代码p2而根据所述算法判断内存102中的音频数据是否包括所述关键字信息。在一些实施例中，所述关键字信息可为，但不限于，用来控制一特定装置执行一预设操作的一语音指令。如果处理器130判断内存102中的音频数据包括关键字信息，处理器130可根据此关键字信息进行后续处理，以控制所述特定装置执行所述预设操作。或者，如果处理器130判断内存102中的音频数据不包括关键字信息，处理器130可持续根据内存102后续储存的音频数据来判断是否出现关键字信息，直到音频产生电路101判断后续收到的音频信号sa的音量不超过预定临界值(例如为使用者停止输入语音指令)。
52.在上述操作中，处理器130执行内存150中的代码p1以操作在第一模式来降低功率消耗并等待中断信号st。因此，处理器130操作在第一模式所执行的操作相对简易。处理器130执行内存102中的代码p2以操作在第二模式来以较高处理速度来执行人声辨识与关键字辨识等多个算法。因此，代码p1的代码大小(code size)与/或复杂度都相对低于代码p2的代码大小与/或复杂度。在一些实施例中，由于内存102的成本高于内存150的成本，通过上述设置方式可降低内存102的所需容量，进而降低整体成本。此外，在切换到使用内存102后，内存150可释放原先储存音频数据的暂存空间，系统中的其他电路也可对内存150进行分时共享，从而避免额外设置内存的需求，以降低系统额外的功率消耗与/或系统成本。
53.图3为根据本技术一些实施例绘制图1中的内存150与内存102的操作示意图。如前所述，内存150可为静态随机存取内存。处理器130可配置内存150以规划一暂存空间，其中所述暂存空间可被设置为一环形缓冲器(ring buffer)300。处理器130可根据写入指标wp与读取指标rp来存取此环形缓冲器300。在操作s209被执行之前，音频处理电路140根据音频产生电路101的音频信号sa所产生的音频数据d1与音频数据d2可储存在此环形缓冲器300。在操作s209，处理器130根据读取指标rp读取音频数据d1并判断音频数据d1包括人声信号，将音频数据d1与音频数据d2(写入指标wp对应于音频数据d2的结束位置，代表音频数据d2也是有效的音频数据)转移到内存102，并控制音频处理电路140将后续产生的音频数据d3储存到内存102。即，音频处理电路140是在产生多个音频数据d1与d2后接着根据音频信号sa产生音频数据d3。在转移音频数据d1与音频数据d2到内存102后，环形缓冲器300对应的暂存空间可被释放。接着，处理器130可根据内存102中的多个连续的音频数据d1、d2与d3来判断是否包括人声信号与关键字信息。如此，处理器130可将多个音频数据d1、d2与d3进行合并，并根据这些音频数据的合并后的连续音频内容来更完整地判断使用者是否有发出语音指令。
54.图4为根据本技术一些实施例绘制图1的语音活动检测装置100的操作流程图。在一些实施例中，图4的多个操作对应于中断(interrupt)模式，其耗费的功率消耗可更低于图2的回路模式的功率消耗。中断模式包括多个操作s401～s412，其中多个操作s403～s404、s406与s408～s412分别相同于图2的多个操作s203～s204、s206与s208～s212，不再赘述。以下主要说明与图2的操作存在差异的部分。
55.在操作s401中，初始化模拟数位转换器141与时脉产生器电路170，并关闭音频编解码器142。不同于操作s201，在此例中，在语音活动检测装置100刚启动后，处理器130可执
行系统的相关软件与/或固件，以仅对模拟数位转换器141与时脉产生器电路142进行初始化设定，其中音频编解码器142仍处于关闭状态。在操作s402中，设定部分电路(包括锁相回路171与锁相回路172)操作在低速状态。不同于操作s202，在本实施例中，前述的相关软件与/或固件还进一步关闭锁相回路172。在此条件下，时脉产生器电路170不提供时脉信号ck2给音频处理电路140。
56.在操作s405，使能音频产生电路101以开始产生音频信号sa。不同于操作s205，在此例中，由于音频处理电路140未收到时脉信号ck2且音频编解码器142尚未使能，所以音频处理电路140在此阶段不会根据音频信号sa产生对应音频数据，也不会储存对应音频数据到内存150。
57.在操作s407，配置时脉产生器电路170，使能锁相回路172与音频编解码器142，以使部分电路改为操作于较高频率，并控制内存102操作于第四模式。不同于图2，在此例中，当音频产生电路101判断音频信号sa的音量超过预定临界值时，前述的相关软件/固件可配置时脉产生器电路170并使能所有的锁相回路(例如包括锁相回路171与172)与音频编解码器142，以开始产生具有较高频率的时脉信号ck1与时脉信号ck2。如此，时脉产生器电路170开始提供时脉信号ck2给模拟数位转换器141，使得音频编解码器142可开始产生相应的音频数据，并开始储存该音频数据到内存150。另一方面，处理器130可执行内存102中的代码p2以判断内存150中的音频数据是否包括人声信号。
58.据此，应当理解，在图2的回路模式中，当处理器130操作在第一模式时，音频处理电路140会储存音频数据到内存150。不同于图2，在图4的中断模式中，当处理器130操作在第一模式时，时脉产生器电路170不产生时脉信号ck2，使得音频处理电路140中的至少一部分电路处于禁用状态而未进行运作，而不会产生音频资料到内存150。在收到中断信号st后，处理器130改操作在第二模式，且音频处理电路140开始产生并储存音频数据到内存150。如此，图4的中断模式可节省更多的功率消耗。相对地，图2的回路模式可收集更完整的音频数据。关于此处请参照图5的说明。
59.图5为根据本技术一些实施例绘制图1中的音频信号sa的波形时序图。为更易于理解图2的回路模式与图4的中断模式的差异，如图5所示，在回路模式中，音频编解码器142与锁相回路172被使能，使得音频处理电路140可在时间t0开始将对应的音频数据储存到内存150。当音频产生电路101判断音频信号sa的音量大于预定临界值时，音频产生电路101发出中断信号st使得处理器130可在时间t1切换为操作在第二模式以开始判断音频数据是否包括人声信号以及关键字信息，直到音频信号sa的音量在时间t2开始持续低于预定临界值。不同于回路模式，在中断模式中，音频处理电路140在时间t0尚未开始将对应的音频数据储存到内存150，而是在时间t1收到中断信号st后才开始将对应的音频数据储存到内存150。也就是说，在回路模式中，语音活动检测装置100可储存更完整的音频数据来进行检测，可获得更高的语音检测准确率。在中断模式中，音频处理电路140、时脉产生器电路170以及内存150在时间t1之前所产生的功率消耗较低，使得操作在中断模式中的语音活动检测装置100可具有更低的功率消耗。
60.图6为根据本技术一些实施例示出一种语音活动检测方法600的流程图。在操作s610，根据自一音频产生电路提供的一音频信号产生一第一音频数据，并储存所述第一音频数据至一第一内存。在操作s620，通过一处理器执行所述第一内存中的一第一代码以操
作在一第一模式。在操作s630，通过所述处理器响应自所述音频产生电路提供的一中断信号切换为操作在第二模式，以执行一第二内存中的一第二代码以判断储存在所述第一内存中的所述第一音频数据是否包括一人声信号，其中所述处理器操作在所述第一模式的功率消耗低于所述处理器操作在所述第二模式的功率消耗。
61.上述语音活动检测方法600的多个操作可参考前述的实施例的说明，不再赘述。上述图2、图4与/或图6中的多个操作仅为示例，并非限定需依照此示例中的顺序执行。在不违背本技术的各实施例的操作方式与范围下，在图2、图4与/或图6中的各种操作当可适当地增加、替换、省略或以不同顺序执行(例如可以是同时执行或是部分同时执行)。
62.综上所述，本技术一些实施例中的语音活动检测装置与语音活动检测方法可在未使用额外的从(slave)处理器来进行语音活动检测，并可进一步地改善功率消耗。
63.虽然本技术的实施例如上所述，然而所述些实施例并非用来限定本技术，本技术领域具有通常知识者可依据本技术的明示或隐含的内容对本技术的技术特征施以变异，凡此种种变异均可能属于本技术所寻求的专利保护范畴，也就是说，本技术的专利保护范围须视本说明书的申请专利范围所界定者为准。

技术特征：
1.一种语音活动检测装置，其特征在于，包括：一音频处理电路，处理自一音频产生电路提供的一音频信号以产生一第一音频数据；一第一内存，储存所述第一音频数据与一第一代码；以及一处理器，执行所述第一代码以操作在一第一模式，并响应自所述音频产生电路提供的一中断信号切换为操作在第二模式，以执行一第二内存中的一第二代码以判断储存在所述第一内存中的所述第一音频数据是否包括一人声信号，其中所述处理器的操作在所述第一模式的功率消耗低于所述处理器的操作在所述第二模式的功率消耗。2.如权利要求1所述的语音活动检测装置，其特征在于，当所述处理器判断所述音频数据包括所述人声信号时，所述处理器控制所述第一内存转移所述第一音频数据到所述第二内存，且所述音频处理电路将一第二音频数据储存到所述第二内存，其中，于所述音频处理电路在产生所述第一音频数据后接着根据所述音频信号产生所述第二音频数据。3.如权利要求2所述的语音活动检测装置，其特征在于，所述处理器根据所述第二内存中的所述第一音频数据与所述第二音频数据判断所述第一音频数据与所述第二音频数据中是否包括一关键字信息。4.如权利要求2所述的语音活动检测装置，其特征在于，在所述第一内存转移所述第一音频数据到所述第二内存后，所述第一内存释放出所述第一内存中先前用来储存所述第一音频数据的一暂存空间。5.如权利要求1所述的语音活动检测装置，其特征在于，所述处理器响应所述中断信号控制所述第二内存自操作在一第三模式切换为操作在一第四模式，且所述第二内存操作在所述第三模式的功率消耗低于所述第二内存操作在所述第四模式的功率消耗。6.如权利要求5所述的语音活动检测装置，其特征在于，所述第二内存为一动态随机存取内存，所述第三模式为一自刷新(self-refresh)模式，且所述第四模式为一主动(active)模式。7.如权利要求1所述的语音活动检测装置，其特征在于，当所述处理器的操作在所述第一模式时，所述音频处理电路储存所述第一音频数据到所述第一内存。8.如权利要求1所述的语音活动检测装置，其特征在于，当所述处理器的操作在所述第一模式时，所述音频处理电路不储存所述第一音频数据到所述第一内存。9.如权利要求1所述的语音活动检测装置，其特征在于，所述音频处理电路包括：一类比数位转换器，转换所述音频信号为一数位数据；以及一音频编解码器，处理所述数位数据以产生所述第一音频数据。10.如权利要求1所述的语音活动检测装置，还包括：一时脉产生器电路，根据一参考时脉信号产生一第一时脉信号，其中当所述处理器的操作在所述第一模式时，所述时脉产生器电路产生所述第一时脉信号给所述音频处理电路，且所述音频处理电路根据所述第一时脉信号处理所述音频信号以产生所述第一音频数据。11.如权利要求1所述的语音活动检测装置，还包括：一时脉产生器电路，根据一参考时脉信号产生一第一时脉信号，其中当所述处理器的操作在所述第一模式时，所述时脉产生器电路不产生所述第一时
脉信号，使得所述音频处理电路不产生所述第一音频数据。12.如权利要求1所述的语音活动检测装置，其特征在于，所述第一代码的代码大小(code size)小于所述第二代码的代码大小。13.一种语音活动检测方法，其特征在于，包括：根据一音频产生电路提供的一音频信号产生一第一音频数据，并储存所述第一音频数据至一第一内存；通过一处理器执行所述第一内存中的一第一代码以操作在一第一模式；以及通过所述处理器响应自所述音频产生电路提供的一中断信号切换为操作在第二模式，以执行一第二内存中的一第二代码以判断储存在所述第一内存中的所述第一音频数据是否包括一人声信号，其中所述处理器的操作在所述第一模式的功率消耗低于所述处理器的操作在所述第二模式的功率消耗。

技术总结
本申请提供一种语音活动检测装置与语音活动检测方法，语音活动检测装置包括音频处理电路、第一内存以及处理器。音频处理电路处理自一音频产生电路提供的一音频信号以产生一第一音频数据。第一内存储存所述第一音频数据与一第一代码。处理器执行所述第一代码以操作在一第一模式，并响应自所述音频产生电路提供的一中断信号切换为操作在第二模式，以执行一第二内存中的一第二代码以判断储存在所述第一内存中的所述第一音频数据是否包括一人声信号，其中所述处理器操作在所述第一模式的功率消耗低于所述处理器操作在所述第二模式的功率消耗。功率消耗。功率消耗。


技术研发人员：朱晓鼎
受保护的技术使用者：星宸科技股份有限公司
技术研发日：2023.06.08
技术公布日：2023/8/24