音频信号处理方法、装置、终端及存储介质与流程

1.本技术涉及音频信号处理技术领域，特别涉及一种音频信号处理方法、装置、终端及存储介质。


背景技术：

2.随着音频信号处理技术的发展，数字麦克风能够通过脉冲密度调制器对采集到的模拟音频信号进行处理，得到pdm(pulse density modulation，脉冲密度调制)音频信号。然而，由于大多数终端的音频处理系统使用pcm(pulse code modulation，脉冲编码调制)来表征音频信号。因此，如何将pdm音频信号转换成pcm音频信号，是一个需要解决的技术问题。
3.相关技术中，在数字麦克风将pdm音频信号传输给终端的音频处理系统时，通常采用音频处理系统中的pdm解码模块对pdm音频信号进行处理，得到pcm音频信号。然而，在音频处理系统支持多路麦克风输入的情况下，音频处理系统在对多路麦克风输入的多路pdm音频信号进行并行处理的过程中，需要多次调用pdm解码模块，不仅浪费了硬件资源，还增加了cpu(central processing unit，中央处理器)的负载。


技术实现要素：

4.本技术实施例提供了一种音频信号处理方法、装置、终端及存储介质，能够节省了处理时所需的硬件资源的同时，还降低了cpu的负载。所述技术方案如下：
5.一方面，提供了一种音频信号处理方法，所述方法包括：
6.对输入的n个第一音频信号进行采样，得到m个第二音频信号，所述第一音频信号为多通道的脉冲密度调制信号，通道数量为x个，所述第二音频信号为单通道的脉冲密度调制信号，其中n与x的乘积等于m，n、x和m均为正整数；
7.基于所述n个第一音频信号的采样顺序，确定所述m个第二音频信号的通道序号；
8.按照所述通道序号，对所述m个第二音频信号进行串行处理，得到m个第三音频信号，所述第三音频信号为单通道的脉冲编码调制信号。
9.另一方面，提供了一种音频信号处理装置，所述装置包括：
10.采样模块，用于对输入的n个第一音频信号进行采样，得到m个第二音频信号，所述第一音频信号为多通道的脉冲密度调制信号，通道数量为x个，所述第二音频信号为单通道的脉冲密度调制信号，其中n与x的乘积等于m，n、x和m均为正整数；
11.确定模块，用于基于所述n个第一音频信号的采样顺序，确定所述m个第二音频信号的通道序号；
12.处理模块，用于按照所述通道序号，对所述m个第二音频信号进行串行处理，得到m个第三音频信号，所述第三音频信号为单通道的脉冲编码调制信号。
13.在一些实施例中，所述确定模块，包括：
14.第一确定单元，用于基于所述n个第一音频信号的采样顺序，确定所述m个第二音
频信号的排列顺序；
15.标记单元，用于基于所述m个第二音频信号的排列顺序，采用同步信号对所述m个第二音频信号中的首个第二音频信号进行标记，得到所述首个第二音频信号的通道序号；
16.第二确定单元，用于基于所述首个第二音频信号的通道序号和m-1个第二音频信号的排列顺序，确定所述m-1个单通道音频信号的通道序号。
17.在一些实施例中，所述处理模块，包括：
18.滤波单元，用于对于任一第二音频信号，通过低通滤波器组，对所述第二音频信号进行滤波，所述低通滤波器组用于对所述第二音频信号进行降采样；
19.第三确定单元，用于在滤波后的所述第二音频信号的采样率不大于采样率阈值的情况下，将滤波后的所述第二音频信号确定为所述第三音频信号。
20.在一些实施例中，所述低通滤波器组包括第一滤波器、第二滤波器、第三滤波器以及第四滤波器；
21.所述滤波单元，用于对于任一第二音频信号，通过所述第一滤波器，对所述第二音频信号进行滤波，得到第一滤波信号，所述第一滤波器用于降低所述第二音频信号的过采样倍数；通过所述第二滤波器，对所述第一滤波信号进行滤波，得到第二滤波信号，所述第二滤波器用于补偿所述第二音频信号通过所述第一滤波器时产生的通带损失；通过所述第三滤波器，对所述第二滤波信号进行滤波，得到第三滤波信号，所述第三滤波器用于消除所述第二滤波信号中的直流分量；通过所述第四滤波器，对所述第三滤波信号进行滤波，得到滤波后的所述第二音频信号，所述第四滤波器用于对所述第三滤波信号进行降采样。
22.在一些实施例中，所述装置还包括：
23.存储模块，用于按照所述m个第三音频信号的通道序号，将所述m个第三音频信号放入第一缓存；
24.生成模块，用于在所述第一缓存中存储的所述第三音频信号的数量等于数量阈值的情况下，生成直接访问信号；
25.传输模块，用于基于所述直接访问信号，将所述第一缓存中的第三音频信号传输至第二缓存，所述第二缓存与所述第一缓存的所处的地址空间不同。
26.在一些实施例中，所述生成模块，还用于在所述第一缓存中存储的所述第三音频信号的数量等于数量阈值的情况下，生成中断信号；
27.所述传输模块，还用于基于所述中断信号，通过中央处理器，将所述第一缓存中的第三音频信号传输至第二缓存，所述第二缓存与所述第一缓存的所处的地址空间不同。
28.在一些实施例中，所述存储模块，用于基于通道选择参数所指示的多个目标通道序号，从所述m个第三音频信号中选择所述多个目标通道序号对应的多个第三音频信号；按照所述多个目标通道序号，将所述多个目标通道序号对应的多个第三音频信号放入所述第一缓存。
29.另一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本技术实施例中的音频信号处理方法。
30.另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本技术实施
例中音频信号处理方法。
31.另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行以实现本技术实施例中提供的音频信号处理方法。
32.本技术实施例提供了一种音频信号处理方法，通过对输入的n个第一音频信号进行采样，能够基于第一音频信号的采样顺序对采样得到的m个第二音频信号进行排序，得到m个第二音频信号的通道序号。进而能够按照通道序号，对m个第二音频信号进行串行处理，也即通过把m个第二音频信号依次输入到pdm解码模块，能够将脉冲密度调制信号转换为脉冲编码调制信号。相较于对m个第二音频信号进行并行处理，终端在处理时无需多次调用pdm解码模块，节省了处理时所需的硬件资源的同时，还降低了cpu的负载。
附图说明
33.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1是根据本技术实施例提供的一种音频信号处理方法的实施环境示意图；
35.图2是根据本技术实施例提供的一种音频信号处理方法的流程图；
36.图3是根据本技术实施例提供的另一种音频信号处理方法的流程图；
37.图4是根据本技术实施例提供的一种音频信号采样示意图；
38.图5是根据本技术实施例提供的一种通道选择示意图；
39.图6是根据本技术实施例提供的一种音频处理方法的框架图；
40.图7是根据本技术实施例提供的一种音频信号处理装置的框图；
41.图8是根据本技术实施例提供的另一种音频信号处理装置的框图；
42.图9是根据本技术实施例提供的一种终端的结构框图。
具体实施方式
43.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
44.本技术中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
45.本技术中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上。
46.需要说明的是，本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术中涉及到的第一音频信号、第二音频信号以及第三音频信号都是在充分授权的情况下获取的。
47.本技术实施例提供的音频信号处理方法，能够由终端执行。下面介绍一下本技术实施例提供的音频信号处理方法的实施环境，图1是根据本技术实施例提供的一种音频信
号处理方法的实施环境示意图。参见图1，该实施环境包括终端101和麦克风102。终端101和麦克风102通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
48.在一些实施例中，终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、车载终端等，但并不局限于此。终端101上安装有支持音频处理的应用程序。该应用程序用于对麦克风102输入的音频信号进行处理，该音频信号可以脉冲密度调制信号。
49.在一些实施例中，按连接方式进行划分，麦克风102可以是有线麦克风、无线麦克风；按采集音频信号的格式划分，麦克风102可以是单声道麦克风、立体声麦克风、环绕声麦克风等；按音频信号的类型划分，麦克风102可以是数字麦克风、模拟麦克风。示意性地，麦克风102为数字麦克风，能够对采集到的模拟音频信号进行处理，得到数字音频信号，并传输给终端101。
50.图2是根据本技术实施例提供的一种音频信号处理方法的流程图，如图2所示，该方法由终端执行。该音频信号处理方法包括以下步骤：
51.201、终端对输入的n个第一音频信号进行采样，得到m个第二音频信号，第一音频信号为多通道的脉冲密度调制信号，通道数量为x个，第二音频信号为单通道的脉冲密度调制信号，其中n与x的乘积等于m，n、x和m均为正整数。
52.在本技术实施例中，终端上安装有支持音频处理的应用程序，通过该应用程序，终端能够对麦克风输入的音频信号进行处理。以麦克风为n路立体声数字麦克风为例，麦克风通过脉冲密度调制器对采集到的模拟音频信号进行处理，能够得到n个双通道的脉冲密度调制信号，也即n个第一音频信号。此时第一音频信号的通道数量为2，包括左声道和右声道。麦克风将n个双通道的脉冲密度调制信号输入到终端，由终端对n个双通道的脉冲密度调制信号进行采样。其中，对于任一第一音频信号，终端能够分别对第一音频信号的左、右声道中的音频信号进行采样，得到两个第二音频信号。因此对于n个第一音频信号，能够采样得到2n个第二音频信号，也即是2n个单通道的脉冲密度调制信号，此时m＝2n。
53.202、终端基于n个第一音频信号的采样顺序，确定m个第二音频信号的通道序号。
54.在本技术实施例中，终端对输入的n个第一音频信号分别进行采样，并在对任一第一音频信号进行采样的过程中，对第一音频信号的x个通道中的音频信号分别进行采样，从而得到m个第二音频信号。因此终端能够根据n个第一音频信号的采样顺序，对采样得到的m个第二音频信号进行排序，得到m个第二音频信号的通道序号，也即是得到m个单通道的脉冲密度调制信号的通道序号。
55.203、终端按照通道序号，对m个第二音频信号进行串行处理，得到m个第三音频信号，第三音频信号为单通道的脉冲编码调制信号。
56.在本技术实施例中，该通道序号用于指示m个第二音频信号的排列顺序，终端能够根据通道序号的大小，通过支持音频处理的应用程序中的pdm解码模块对m个第二音频信号串行处理，得到m个第三音频信号。在串行处理过程中，终端按照通道序号，把m个第二音频信号输入到pdm解码模块，由pdm解码模块对输入的脉冲密度调制信号进行处理，得到脉冲编码调制信号，因此pdm解码模块每处理完成一个第二音频信号，就能得到一个第三音频信号。
57.本技术实施例提供了一种音频信号处理方法，通过对输入的n个第一音频信号进
行采样，能够基于第一音频信号的采样顺序对采样得到的m个第二音频信号进行排序，得到m个第二音频信号的通道序号。进而能够按照通道序号，对m个第二音频信号进行串行处理，也即通过把m个第二音频信号依次输入到pdm解码模块，能够将脉冲密度调制信号转换为脉冲编码调制信号。相较于对m个第二音频信号进行并行处理，终端在处理时无需多次调用pdm解码模块，节省了处理时所需的硬件资源的同时，还降低了cpu的负载。
58.图3是根据本技术实施例提供的另一种音频信号处理方法的流程图，如图3所示，该方法由终端执行。该音频信号处理方法包括以下步骤：
59.301、终端对输入的n个第一音频信号进行采样，得到m个第二音频信号，第一音频信号为多通道的脉冲密度调制信号，通道数量为x个，第二音频信号为单通道的脉冲密度调制信号，其中n与x的乘积等于m，n、x和m均为正整数。
60.在本技术实施例中，终端上安装有支持音频处理的应用程序，通过该应用程序，终端能够对麦克风输入的音频信号进行处理。以麦克风为n路立体声数字麦克风为例，麦克风通过脉冲密度调制器对采集到的模拟音频信号进行处理，能够得到n个双通道的脉冲密度调制信号，也即n个第一音频信号。此时第一音频信号的通道数量为2，包括左声道和右声道。麦克风将n个双通道的脉冲密度调制信号输入到终端，由终端对n个双通道的脉冲密度调制信号进行采样。其中，对于任一第一音频信号，终端能够分别对第一音频信号的左、右声道中的音频信号进行采样，得到两个第二音频信号。因此对于n个第一音频信号，能够采样得到2n个第二音频信号，也即是2n个单通道的脉冲密度调制信号，此时m＝2n。
61.302、终端基于n个第一音频信号的采样顺序，确定m个第二音频信号的排列顺序。
62.在本技术实施例中，终端对输入的n个第一音频信号分别进行采样，并在对任一第一音频信号进行采样的过程中，能够对第一音频信号的x个通道中的音频信号分别进行采样，从而得到m个第二音频信号。因此终端能够根据n个第一音频信号的采样顺序，能够确定得到m个第二音频信号的先后顺序，基于此，能够确定对m个第二音频信号进行排序，得到m个第二音频信号的排列顺序。
63.例如，在n＝4、x＝2时，终端对输入的4个第一音频信号进行处理，对于任一第一音频信号，终端能够先对第一音频信号的左声道进行采样，然后对右声道进行采样，从而能够先后得到两个第二音频信号。基于最终得到8个第二音频信号的顺序，能够确定8个第二音频信号的排列顺序。
64.303、终端基于m个第二音频信号的排列顺序，采用同步信号对m个第二音频信号中的首个第二音频信号进行标记，得到首个第二音频信号的通道序号。
65.在本技术实施例中，该同步信号为数字信号，是由0和1构成的二进制数。其中，0表示低电平，1表示高电平。终端通过设置同步信号的高低电平，能够对高电平对应的音频信号进行标记。因此，终端基于m个第二音频信号的排列顺序，通过将同步信号中与m个第二音频信号中首个音频信号对应的位置设置为高电平，其他位置设置为低电平，能够实现对首个音频信号的标记。其中，被同步信号标记后的首个音频信号的通道序号可以为0，也可以为其他数字，本技术实施例对此不进行限制。
66.例如，终端将同步信号设置为10000000，此时高电平对应的8个第二音频信号中的首个音频信号，因此同步信号能够对首个音频信号进行标记。终端能够将标记后的首个第二音频信号的通道序号确定为0。
67.304、终端基于首个第二音频信号的通道序号和m-1个第二音频信号的排列顺序，确定m-1个单通道音频信号的通道序号。
68.在本技术实施例中，终端能够根据首个音频信号的通道序号和m-1个第二音频信号的排列顺序，从首个音频信号的通道序号开始，对其余m-1个第二音频信号进行加一计数，得到m-1个第二音频信号的通道序号。
69.例如，图4是根据本技术实施例提供的一种音频信号采样示意图。如图4所示，一共输入了4个第一音频信号，每个第一音频信号的包括左右两个声道。终端通过采样时钟，能够在采样时钟的上升沿对第一音频信号的左声道中的音频信号进行采样，在采样时钟的下降沿对第一音频信号的右声道中的音频信号进行采样。终端依次对这个4个第一音频信号进行采样后，能够得到8个第二音频信号。终端根据第一音频信号的采样数据，通过排序时钟，能够对采样得到的8个第二音频信号进行排序。根据排序结果，终端通过设置同步信号的高低电平分别情况，能够高电平对应的8个第二音频信号中的首个第二音频信号进行标记，将标记后的首个第二音频信号的通道序号确定为0。终端根据该通道序号和其余第二音频信号的排列顺序，将其余第二音频信号的通道序号分别确定为1、2、3、4、5、6、7。在有效信号为高电平时，表示采样得到的第二音频信号为有效信号。
70.305、对于任一第二音频信号，终端通过低通滤波器组，对第二音频信号进行滤波，低通滤波器组用于对第二音频信号进行降采样。
71.在本技术实施例中，终端能够根据m个第二音频信号的通道序号的大小，将m个第二音频信号输入到pdm解码模块。该pdm解码模块由多个低通滤波器组成。终端通过多个低通滤波器组成的低通滤波器组，对输入的第二音频信号进行滤波，能够对第二音频信号进行降采样，从而降低第二音频信号的采样率。由于脉冲密度调制信号的采样率远高于脉冲编码调制信号，因此通过对第二音频信号进行滤波，能够降低第二音频信号的采样率，从而得到脉冲编码调制信号。
72.在一些实施例中，低通滤波器组包括第一滤波器、第二滤波器、第三滤波器以及第四滤波器。相应地，对于任一第二音频信号，终端通过第一滤波器，对第二音频信号进行滤波，得到第一滤波信号，第一滤波器用于降低第二音频信号的过采样倍数；终端通过第二滤波器，对第一滤波信号进行滤波，得到第二滤波信号，第二滤波器用于补偿第二音频信号通过第一滤波器时产生的通带损失；终端通过第三滤波器，对第二滤波信号进行滤波，得到第三滤波信号，第三滤波器用于消除第二滤波信号中的直流分量；终端通过第四滤波器，对第三滤波信号进行滤波，得到滤波后的第二音频信号，第四滤波器用于对第三滤波信号进行降采样。其中，该第一滤波器为cic(cascaded integrator
–
comb，级联积分梳状)滤波器，第二滤波器为cic补偿滤波器，第三滤波器为iir(infinite impulse response，无限脉冲响应)滤波器组，第四滤波器为fir(finite impulse response，有限脉冲响应)滤波器组。终端通过cic滤波器，能够降低第二音频信号的过采样倍数，由于cic滤波器的通带较窄，因此终端能够通过cic补偿滤波器来cic滤波器通带内的第二音频信号进行补偿，增加滤波后的音频信号的质量。然后通过iir滤波器组，对补偿后的第二滤波信号进行处理，能够消除第二滤波信号中不必要的直流分量。最后通过fir滤波器组，对去除直流分量后的第三滤波信号进行处理，能够进一步对第二音频信号进行降采样，通过多组级联的fir滤波器来降低第三滤波信号的采样率。
73.306、在滤波后的第二音频信号的采样率不大于采样率阈值的情况下，终端将滤波后的第二音频信号确定为第三音频信号，第三音频信号为单通道的脉冲编码调制信号。
74.在本技术实施例中，由于脉冲密度调制信号的采样率远高于脉冲编码调制信号，因此，在滤波后的第二音频信号的采样率不大于采样率阈值的情况下，表明滤波后的第二音频信号的采样率远低于滤波前的第二音频信号。此时第二音频信号的采样率满足得到脉冲编码调制信号所需的采样率，因此终端能够将滤波后的第二音频信号确定为第三音频信号。
75.307、终端按照m个第三音频信号的通道序号，将m个第三音频信号放入第一缓存。
76.在本技术实施例中，终端通过低通滤波器组，对m个第二音频信号进行滤波后，在m个第二音频信号的采样率都不大于采样率阈值的情况下，终端能够将滤波后的m个第二音频信号确定为m个第三音频信号。由于终端每个第二音频信号都对应有一个第三音频信号，因此，滤波后得到的第三音频信号的通道序号与第二音频信号的通道序号相同。终端按照m个第三音频信号的通道序号，将该m个第三音频信号放入第一缓存。
77.在一些实施例中，终端无需获取全部的第三音频信号，为了提高在处理第三音频信号时的灵活性，终端能够从m个第三音频信号中选择部分第三音频信号放入第一缓存。相应地，终端基于通道选择参数所指示的多个目标通道序号，从m个第三音频信号中选择多个目标通道序号对应的多个第三音频信号；终端按照多个目标通道序号，将多个目标通道序号对应的多个第三音频信号放入第一缓存。其中，该通道选择参数存储于通道选择器寄存器中，终端能够从通道选择寄存器中读取该通道选择参数。由于通道选择寄存器能够存储m位二进制数，因此通道选择参数是由0、1组成m位二进制数，m位二进制数与m个第三音频信号的通道序号一一对应。对于任一位二进制数，在二进制数为0时，此时与该二进制对应的通道序号为目标通道序号，也即需要选择的第三音频信号的通道序号；在二进制为1时，此时与该二进制数对应的通道序号为不需要选择的第三音频信号的通道序号。终端基于通道选择参数，能够从m哥第三音频信号中选择通道选择参数所指示的目标音频信号对应的第三音频信号，并丢弃未被选择的第三音频信号，从而能够按照被选择的第三音频信号的通道序号，将其放入第一缓存。
78.例如，图5是根据本技术实施例提供的一种通道选择示意图。如图5所示，此时m＝8，该通道选择寄存器中存储的通道选择参数默认00000000，表示8个第三音频信号全部被选中。如果需要丢弃通道序号为1和3的第三音频信号，则终端能够将通道选择参数配置为00001010，通道选择参数中为1的两位二进制数对应的通道序号为1和3，因此目标通道序号为0、2、4、5、6、7，也即终端能够从8个第三音频信号中选择通道序号为0、2、4、5、6、7的第三音频信号放入第一缓存。
79.需要说明的是，本技术实施例提供了两种数据搬运方式，也即从第一缓存中搬运第三音频信号的方式，因此在第一缓存中存储的第三音频信号的数量等于数量阈值的情况下，终端能够生成两种不同类型的信号。在终端生成直接访问信号的情况下，终端执行下述步骤308-309；在生成中断信号的情况下，终端执行下述步骤310-311。
80.308、在第一缓存中存储的第三音频信号的数量等于数量阈值的情况下，终端生成直接访问信号。
81.在本技术实施例中，第一缓存的存储空间有限，只能存储数量阈值个第三音频信
号。在第一缓存中的存储的第三音频信号的数量等于数量阈值的情况下，表明第一缓存的存储空间已满。为了继续存储后续对第二音频信号处理得到的第三音频信号，终端能够生成直接访问信号，该直接访问信号用于指示终端无需通过cpu，即可直接将第一缓存中的音频信号搬运到其他缓存，减轻了cpu的负载。
82.309、终端基于直接访问信号，将第一缓存中的第三音频信号传输至第二缓存，第二缓存与第一缓存的所处的地址空间不同。
83.在本技术实施例中，终端能够将该直接访问信号到dma(direct memory access，直接存储器访问)控制器，dma控制器接收到直接访问信号，能够直接将第一缓存中存储的第三音频信号传输至与第一缓存所处的地址空间不同的第二缓存中。
84.310、在第一缓存中存储的第三音频信号的数量等于数量阈值的情况下，生成中断信号。
85.在本技术实施例中，第一缓存的存储空间有限，只能存储数量阈值个第三音频信号。在第一缓存中的存储的第三音频信号的数量等于数量阈值的情况下，表明第一缓存的存储空间已满。为了继续存储后续对第二音频信号处理得到的第三音频信号，终端能够生成中断信号，该中断信号用于指示终端需要通过cpu来将第一缓存中的音频信号搬运到其他缓存。
86.在一些实施例中，终端通过设置将满水线，能够在第一缓存中存储的第三音频信号的数量到达将满水线时，生成上述中断信号和直接访问信号。该将满水线小于数量阈值，也即小于第一缓存能够存储的第三音频信号的数量上限。
87.311、终端基于中断信号，通过中央处理器，将第一缓存中的第三音频信号传输至第二缓存，第二缓存与第一缓存的所处的地址空间不同。
88.在本技术实施例中，终端能够将该中断信号发送到中央处理器，由中央处理器来将第一缓存中存储的第三音频信号传输至与第一缓存所处的地址空间不同的第二缓存中。
89.为了更加清楚地描述本技术实施例提供的音频信号处理方法，下面结合附图，对音频信号处理方法进行进一步描述。图6是根据本技术实施例提供的一种音频处理方法的框架图。如图6所示，终端将4个第一音频信号输入到pdm采样模块，对4个第一音频信号进行采样，得到8个第二音频信号。按照8个第二音频信号的排列顺序，将第二音频信号写入异步fifo(first input first output，先进先出)缓存器。其中，异步fifo缓存器使用的读写时钟不一致，也即终端对第二音频信号写入和读出通过不同的时钟实现，两者相互独立。采用同步信号对从异步fifo缓存器中读出的8个第二音频信号中的首个第二音频信号进行标记，将标记后的首个第二音频信号的通道序号确定为0，其余7个第二音频信号按照排序顺序，依次类型，通道序号分别为1、2、3、4、5、6、7。然后，终端按照8个第二音频信号的通道序号，串行输入到pdm解码模块，将第二音频信号转换为第三音频信号。在将转换得到的8个第三音频信号放入同步fifo缓存器之前，终端通过读取通道选择寄存器中存储的通道选择参数，能够确定目标通道序号，并从8个第三音频信号选择目标通道序号对应的第三音频信号放入同步fifo缓存器，也即第一缓存。其中，同步fifo缓存器使用的读写时钟一致，也即第三音频信号的写入和读取通过同一个时钟实现。在同步fifo缓存器中存储的第三音频信号的数量等于数量阈值的情况下，表示同步fifo缓存器将满，无法继续写入第三音频信号。终端能够生成中断信号和直接访问信号，来对同步fifo缓存器中的第三音频信号进行搬运。
其中，终端能够将中断信号发送给cpu，cpu接收到中断信号后能够通过apb(advanced peripheral bus，外围总线)将同步fifo缓存器中的第三音频信号搬运到其他缓存。终端还能将直接访问信号发送给dma控制器，dma控制器接收到直接访问信号，能够通过apb直接对同步fifo缓存器中的第三音频信号进行搬运。
90.本技术实施例提供了一种音频信号处理方法，通过对输入的n个第一音频信号进行采样，能够基于第一音频信号的采样顺序对采样得到的m个第二音频信号进行排序，得到m个第二音频信号的通道序号。进而能够按照通道序号，对m个第二音频信号进行串行处理，也即通过把m个第二音频信号依次输入到pdm解码模块，能够将脉冲密度调制信号转换为脉冲编码调制信号。相较于对m个第二音频信号进行并行处理，终端在处理时无需多次调用pdm解码模块，节省了处理时所需的硬件资源的同时，还降低了cpu的负载。
91.图7是根据本技术实施例提供的一种音频信号处理装置的框图。该装置用于执行上述音频信号处理方法，参见图7，装置包括：采样模块701、确定模块702以及处理模块703。
92.采样模块701，用于对输入的n个第一音频信号进行采样，得到m个第二音频信号，第一音频信号为多通道的脉冲密度调制信号，通道数量为x个，第二音频信号为单通道的脉冲密度调制信号，其中n与x的乘积等于m，n、x和m均为正整数；
93.确定模块702，用于基于n个第一音频信号的采样顺序，确定m个第二音频信号的通道序号；
94.处理模块703，用于按照通道序号，对m个第二音频信号进行串行处理，得到m个第三音频信号，第三音频信号为单通道的脉冲编码调制信号。
95.在一些实施例中，图8是本技术实施例提供的另一种音频信号处理装置的框图。参见图8，确定模块702，包括：
96.第一确定单元801，用于基于n个第一音频信号的采样顺序，确定m个第二音频信号的排列顺序；
97.标记单元802，用于基于m个第二音频信号的排列顺序，采用同步信号对m个第二音频信号中的首个第二音频信号进行标记，得到首个第二音频信号的通道序号；
98.第二确定单元803，用于基于首个第二音频信号的通道序号和m-1个第二音频信号的排列顺序，确定m-1个单通道音频信号的通道序号。
99.在一些实施例中，继续参见图8，处理模块703，包括：
100.滤波单元804，用于对于任一第二音频信号，通过低通滤波器组，对第二音频信号进行滤波，低通滤波器组用于对第二音频信号进行降采样；
101.第三确定单元805，用于在滤波后的第二音频信号的采样率不大于采样率阈值的情况下，将滤波后的第二音频信号确定为第三音频信号。
102.在一些实施例中，低通滤波器组包括第一滤波器、第二滤波器、第三滤波器以及第四滤波器；
103.滤波单元804，用于对于任一第二音频信号，通过第一滤波器，对第二音频信号进行滤波，得到第一滤波信号，第一滤波器用于降低第二音频信号的过采样倍数；通过第二滤波器，对第一滤波信号进行滤波，得到第二滤波信号，第二滤波器用于补偿第二音频信号通过第一滤波器时产生的通带损失；通过第三滤波器，对第二滤波信号进行滤波，得到第三滤波信号，第三滤波器用于消除第二滤波信号中的直流分量；通过第四滤波器，对第三滤波信
号进行滤波，得到滤波后的第二音频信号，第四滤波器用于对第三滤波信号进行降采样。
104.在一些实施例中，装置还包括：
105.存储模块704，用于按照m个第三音频信号的通道序号，将m个第三音频信号放入第一缓存；
106.生成模块705，用于在第一缓存中存储的第三音频信号的数量等于数量阈值的情况下，生成直接访问信号；
107.传输模块706，用于基于直接访问信号，将第一缓存中的第三音频信号传输至第二缓存，第二缓存与第一缓存的所处的地址空间不同。
108.在一些实施例中，生成模块705，还用于在第一缓存中存储的第三音频信号的数量等于数量阈值的情况下，生成中断信号；
109.传输模块706，还用于基于中断信号，通过中央处理器，将第一缓存中的第三音频信号传输至第二缓存，第二缓存与第一缓存的所处的地址空间不同。
110.在一些实施例中，存储模块704，用于基于通道选择参数所指示的多个目标通道序号，从m个第三音频信号中选择多个目标通道序号对应的多个第三音频信号；按照多个目标通道序号，将多个目标通道序号对应的多个第三音频信号放入第一缓存。
111.本技术实施例提供了一种音频信号处理装置，通过对输入的n个第一音频信号进行采样，能够基于第一音频信号的采样顺序对采样得到的m个第二音频信号进行排序，得到m个第二音频信号的通道序号。进而能够按照通道序号，对m个第二音频信号进行串行处理，也即通过把m个第二音频信号依次输入到pdm解码模块，能够将脉冲密度调制信号转换为脉冲编码调制信号。相较于对m个第二音频信号进行并行处理，终端在处理时无需多次调用pdm解码模块，节省了处理时所需的硬件资源的同时，还降低了cpu的负载。
112.需要说明的是：上述实施例提供的音频信号处理装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的音频信号处理装置与音频信号处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
113.图9是根据本技术实施例提供的一种终端900的结构框图。该终端900可以是便携式移动终端，比如：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
114.通常，终端900包括有：处理器901和存储器902。
115.处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以集成有gpu(graphics processing unit，图像处理器)，gpu
用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
116.存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器901所执行以实现本技术中方法实施例提供的音频信号处理方法。
117.在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907和电源908中的至少一种。
118.外围设备接口903可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
119.射频电路904用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。在一些实施例中，射频电路904包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
120.显示屏905用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置在终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在另一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode，有机发光二极管)等材质制备。
121.摄像头组件906用于采集图像或视频。在一些实施例中，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、
长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
122.音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
123.电源908用于为终端900中的各个组件进行供电。电源908可以是交流电、直流电、一次性电池或可充电电池。当电源908包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
124.在一些实施例中，终端900还包括有一个或多个传感器909。该一个或多个传感器909包括但不限于：加速度传感器910、陀螺仪传感器911、压力传感器912、光学传感器913以及接近传感器914。
125.加速度传感器910可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器910可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器910采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器910还可以用于游戏或者用户的运动数据的采集。
126.陀螺仪传感器911可以检测终端900的机体方向及转动角度，陀螺仪传感器911可以与加速度传感器910协同采集用户对终端900的3d动作。处理器911根据陀螺仪传感器911采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
127.压力传感器912可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器912设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器912采集的握持信号进行左右手识别或快捷操作。当压力传感器912设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
128.光学传感器913用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器913采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器913采集的环境光强度，动态调整摄像头组件906的拍摄参数。
129.接近传感器914，也称距离传感器，通常设置在终端900的前面板。接近传感器914用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器914检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器904检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
130.本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
131.本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一段计算机程序，该至少一段计算机程序由处理器加载并执行以实现上述实施例中的音频信号处理方法。例如，计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、光盘只读存储器(compact disc read-only memory，cd-rom)、磁带、软盘和光数据存储设备等。
132.本技术实施例还提供了一种计算机程序产品，包括计算机程序产品，该计算机程序产品被处理器执行以实现上述实施例中的音频信号处理方法。
133.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
134.以上仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种音频信号处理方法，其特征在于，所述方法包括：对输入的n个第一音频信号进行采样，得到m个第二音频信号，所述第一音频信号为多通道的脉冲密度调制信号，通道数量为x个，所述第二音频信号为单通道的脉冲密度调制信号，其中n与x的乘积等于m，n、x和m均为正整数；基于所述n个第一音频信号的采样顺序，确定所述m个第二音频信号的通道序号；按照所述通道序号，对所述m个第二音频信号进行串行处理，得到m个第三音频信号，所述第三音频信号为单通道的脉冲编码调制信号。2.根据权利要求1所述的方法，其特征在于，所述基于所述n个第一音频信号的采样顺序，确定所述m个第二音频信号的通道序号，包括：基于所述n个第一音频信号的采样顺序，确定所述m个第二音频信号的排列顺序；基于所述m个第二音频信号的排列顺序，采用同步信号对所述m个第二音频信号中的首个第二音频信号进行标记，得到所述首个第二音频信号的通道序号；基于所述首个第二音频信号的通道序号和m-1个第二音频信号的排列顺序，确定所述m-1个单通道音频信号的通道序号。3.根据权利要求1所述的方法，其特征在于，所述按照所述通道序号，对所述m个第二音频信号进行串行处理，得到m个第三音频信号，包括：对于任一第二音频信号，通过低通滤波器组，对所述第二音频信号进行滤波，所述低通滤波器组用于对所述第二音频信号进行降采样；在滤波后的所述第二音频信号的采样率不大于采样率阈值的情况下，将滤波后的所述第二音频信号确定为所述第三音频信号。4.根据权利要求3所述的方法，其特征在于，所述低通滤波器组包括第一滤波器、第二滤波器、第三滤波器以及第四滤波器；所述对于任一第二音频信号，通过低通滤波器组，对所述第二音频信号进行滤波，包括：对于任一第二音频信号，通过所述第一滤波器，对所述第二音频信号进行滤波，得到第一滤波信号，所述第一滤波器用于降低所述第二音频信号的过采样倍数；通过所述第二滤波器，对所述第一滤波信号进行滤波，得到第二滤波信号，所述第二滤波器用于补偿所述第二音频信号通过所述第一滤波器时产生的通带损失；通过所述第三滤波器，对所述第二滤波信号进行滤波，得到第三滤波信号，所述第三滤波器用于消除所述第二滤波信号中的直流分量；通过所述第四滤波器，对所述第三滤波信号进行滤波，得到滤波后的所述第二音频信号，所述第四滤波器用于对所述第三滤波信号进行降采样。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：按照所述m个第三音频信号的通道序号，将所述m个第三音频信号放入第一缓存；在所述第一缓存中存储的所述第三音频信号的数量等于数量阈值的情况下，生成直接访问信号；基于所述直接访问信号，将所述第一缓存中的第三音频信号传输至第二缓存，所述第二缓存与所述第一缓存的所处的地址空间不同。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照所述m个第三音频信号的通道序号，将所述m个第三音频信号放入第一缓存；在所述第一缓存中存储的所述第三音频信号的数量等于数量阈值的情况下，生成中断信号；基于所述中断信号，通过中央处理器，将所述第一缓存中的第三音频信号传输至第二缓存，所述第二缓存与所述第一缓存的所处的地址空间不同。7.根据权利要求5或6所述的方法，其特征在于，所述按照所述m个第三音频信号的通道序号，将所述m个第三音频信号放入第一缓存，包括：基于通道选择参数所指示的多个目标通道序号，从所述m个第三音频信号中选择所述多个目标通道序号对应的多个第三音频信号；按照所述多个目标通道序号，将所述多个目标通道序号对应的多个第三音频信号放入所述第一缓存。8.一种音频信号处理装置，其特征在于，所述装置包括：采样模块，用于对输入的n个第一音频信号进行采样，得到m个第二音频信号，所述第一音频信号为多通道的脉冲密度调制信号，通道数量为x个，所述第二音频信号为单通道的脉冲密度调制信号，其中n与x的乘积等于m，n、x和m均为正整数；确定模块，用于基于所述n个第一音频信号的采样顺序，确定所述m个第二音频信号的通道序号；处理模块，用于按照所述通道序号，对所述m个第二音频信号进行串行处理，得到m个第三音频信号，所述第三音频信号为单通道的脉冲编码调制信号。9.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行权利要求1至7任一项权利要求所述的音频信号处理方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储至少一段计算机程序，所述至少一段计算机程序用于执行权利要求1至7任一项权利要求所述的音频信号处理方法。

技术总结
本申请提供了一种音频信号处理方法、装置、终端及存储介质，属于音频信号处理技术领域。方法包括：对输入的n个第一音频信号进行采样，得到m个第二音频信号，第一音频信号为多通道的脉冲密度调制信号，通道数量为x个，第二音频信号为单通道的脉冲密度调制信号；基于n个第一音频信号的采样顺序，确定m个第二音频信号的通道序号；按照通道序号，对m个第二音频信号进行串行处理，得到m个第三音频信号，第三音频信号为单通道的脉冲编码调制信号。上述技术方案相较于对m个第二音频信号进行并行处理，在处理时无需多次调用PDM解码模块，节省了处理时所需的硬件资源的同时，还降低了CPU的负载。载。载。


技术研发人员：董瑞秋 李雅玲 曹祥荣
受保护的技术使用者：北京奕斯伟计算技术股份有限公司
技术研发日：2023.06.21
技术公布日：2023/9/13