波束形成方法、装置、电子设备以及存储介质与流程

1.本发明涉及通信技术领域，尤其涉及一种波束形成方法、装置、电子设备以及存储介质。


背景技术：

2.随着通信技术的不断发展，人们对于高质量信号传输的需求越来越大。现有的麦克风阵列处理算法中，波束形成能根据声源来波方向调整最优权系数指向期望信号，零陷指向干扰和噪声信号，从而达到增强信号、抑制噪声的目的。
3.其中，mvdr(minimum variance distortionless response，最小均方无畸变响应)算法作为当前波束形成中常用的主流算法，能够通过计算最优权值向量与多通道数据加权求和得到增强信号。基于上述技术优势，对于mvdr波束形成相关技术的研究显得十分有意义。
4.mvdr算法需要依赖噪声协方差的估计和导向向量，导向向量一般为已知信息或者通过doa(direction of arrival，波达方向)模块进行估计。现有技术主要通过噪声场进行建模以估计其协方差矩阵，例如散射噪声场为sinc模型，该方法虽然简单，但噪声协方差难以准确估计，导致噪声抑制能力较弱，使得空间滤波效果较差。


技术实现要素：

5.本发明的主要目的在于提供一种波束形成方法、装置、电子设备以及存储介质，旨提高噪声抑制能力，从而改善基于mvdr算法的波束形成中空间滤波的效果。
6.为实现上述目的，本发明提供一种波束形成方法，所述波束形成方法包括如下步骤：
7.接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；
8.对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；
9.基于所述对齐后的各通道信号估计噪声协方差矩阵。
10.可选地，所述波束形成方法还包括：
11.基于估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作。
12.可选地，所述基于估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作的步骤包括：
13.基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行最小均方无畸变响应mvdr算法处理，得到mvdr语音信号；
14.基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱；
15.基于所述估计的噪声幅度谱对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号。
16.可选地，所述基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱的步骤之后还包括：
17.计算所述mvdr语音信号的语音信号幅度谱；
18.基于所述语音信号幅度谱和所述估计的噪声幅度谱计算所述目标语音信号的信噪比；
19.基于所述目标语音信号的信噪比计算增益系数。
20.可选地，所述基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱的步骤包括：
21.对估计的噪声协方差矩阵进行矩阵分解以得出估计的各通道噪声协方差；
22.计算估计的各通道噪声协方差的算术平均值，得到所述后置自适应滤波所需的估计的噪声幅度谱。
23.可选地，所述基于所述估计的噪声幅度谱对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号的步骤包括：
24.基于所述估计的噪声幅度谱设计后置自适应滤波器；
25.通过所述后置自适应滤波器对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号。
26.可选地，所述对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号的步骤包括：
27.对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。可选地，所述方法应用于近场场景，所述对所述原始阵列语音信号执行对齐操作处理，得到各对齐后的各通道信号的步骤包括：
28.对所述原始阵列语音信号进行时延对齐操作，且对所述原始阵列语音信号进行幅频响应对齐操作，得到对齐后的各通道信号。
29.可选地，所述对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号的步骤包括：
30.通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。
31.可选地，所述对所述原始阵列语音信号进行时延对齐操作，且对所述原始阵列语音信号进行幅频响应对齐操作，得到对齐后的各通道信号的步骤包括：
32.通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，并通过均衡eq滤波器对所述原始阵列语音信号进行幅频对齐操作，得到对齐后的各通道信号。
33.可选地，所述基于所述对齐后的各通道信号估计噪声协方差矩阵的步骤包括：
34.将所述对齐后的各通道信号通过格式转换得到各通道时域信号；
35.计算所述各通道时域信号的均值；
36.计算所述各通道时域信号与所述均值的差值；
37.对所述各通道时域信号与所述均值的差值进行短时傅里叶变换，得到各通道噪声频域信号；
38.计算所述各通道噪声频域信号的噪声协方差；
39.基于所述噪声协方差得到噪声协方差矩阵。
40.此外，为实现上述目的，本发明还提供一种波束形成装置，所述波束形成装置包括：
41.数据接收模块，用于接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；
42.对齐模块，用于对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；
43.参数处理模块，用于基于所述对齐后的各通道信号估计噪声协方差矩阵；
44.自适应波束形成处理模块，用于基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作。
45.可选地，所述对齐模块还用于：
46.对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。
47.可选地，若本发明方法运用于近场场景，则所述对齐模块还用于：
48.对所述原始阵列语音信号进行时延对齐操作，且对所述原始阵列语音信号进行幅频响应对齐操作，得到对齐后的各通道信号。
49.可选地，所述对齐模块还用于：
50.通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。
51.可选地，若本发明方法运用于近场场景，则所述对齐模块还用于：
52.通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，并通过均衡eq滤波器对所述原始阵列语音信号进行幅频对齐操作，得到对齐后的各通道信号。
53.可选地，所述参数处理模块还用于：
54.将所述对齐后的各通道信号通过格式转换得到各通道时域信号；
55.计算所述各通道时域信号的均值；
56.计算所述各通道时域信号与所述均值的差值；
57.对所述各通道时域信号与所述均值的差值进行短时傅里叶变换，得到各通道噪声频域信号；
58.计算所述各通道噪声频域信号的噪声协方差；
59.基于所述噪声协方差得到噪声协方差矩阵。
60.可选地，所述自适应波束形成处理模块还用于：
61.基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行最小均方无畸变响应mvdr算法处理，得到mvdr语音信号；
62.基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱；
63.基于所述估计的噪声幅度谱对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号。
64.可选地，所述自适应波束形成处理模块还用于：
65.对估计的噪声协方差矩阵进行矩阵分解以得出估计的各通道噪声协方差；
66.计算估计的各通道噪声协方差的算术平均值，得到所述后置自适应滤波所需的估计的噪声幅度谱。
67.可选地，所述自适应波束形成处理模块还用于：
68.计算所述mvdr语音信号的语音信号幅度谱；
69.基于所述语音信号幅度谱和所述估计的噪声幅度谱计算所述目标语音信号的信噪比；
70.基于所述目标语音信号的信噪比计算增益系数。
71.此外，为实现上述目的，本发明还提供一种电子设备，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的波束形成程序，所述波束形成程序被所述处理器执行时实现如上所述的波束形成方法。
72.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有波束形成程序，所述波束形成程序被处理器执行时实现如上所述的波束形成方法。
73.本发明实施例提出的波束形成方法、装置、电子设备以及存储介质，通过接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；基于所述对齐后的各通道信号估计噪声协方差矩阵。由此，通过多通道的对齐处理，可以更精确的估计噪声协方差矩阵，有效降低目标语音信号中的噪音信号分量，从而提高波束形成中的噪声抑制能力，改善基于mvdr算法的波束形成中空间滤波的效果。
附图说明
74.图1为本发明波束形成装置所属电子设备的功能模块示意图；
75.图2为本发明波束形成方法一实施例的流程示意图；
76.图3为本发明波束形成方法实施例中原始阵列语音信号波形示意图；
77.图4为本发明波束形成方法实施例涉及的两个不同通道信号的时域波形示意图；
78.图5为本发明波束形成方法实施例中近场场景下不同通道信号的频响曲线示意图；
79.图6为本发明波束形成方法实施例中各通道时域信号的均值的信号波形示意图；
80.图7为本发明波束形成方法实施例中一个通道噪声信号波形示意图；
81.图8为本发明波束形成方法实施例另一个通道噪声信号波形示意图；
82.图9为本发明波束形成方法实施例另一个通道噪声信号波形示意图；
83.图10为本发明波束形成方法另一实施例的流程示意图；
84.图11为图10所示实施例中步骤s1040的细化流程示意图；
85.图12为现有技术方案输出的目标信号波形图；
86.图13为本发明波束形成方法实施例中结合对齐操作与mvdr波束成形技术的目标信号波形示意图；
87.图14为本发明波束形成方法另一实施例中步骤s1040的细化流程示意图。
88.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
89.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
90.本发明实施例的主要解决方案是：通过接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；基于所述对齐后的各通道信号估计噪声协方差矩阵。由此，通过多通道的对齐处理，可以更精确的估计噪声协方差矩阵，有效降低目标语音信号中的噪音信号分量，从而提高波束形成中的噪声抑制能力，改善基于mvdr算法的波束形成中空间滤波的效果。
91.本技术实施例涉及的技术术语：
92.波束形成，beamforming；波束形成可以实现聚焦拾取信号，通过对多路麦克风(常为多路全向麦)信号进行合并，抑制非目标方向信号，增强目标方向信号；进而能够实现对特定方向的聚焦拾音，能够有效提高接收信号的信噪比，也有起到降噪的作用；波束形成基本原理是波的干涉，通过调整不同阵列单元信号之间的参数，使得某些角度的信号增强，而另一些角度的信号相互抵消。随着器件的工艺水平和性能越来越成熟，成本越来越低，波束形成的应用也越来越广泛，包括但不限于以下设备和使用场景：耳机/手机的通话拾音降噪；数字助听器；声源定位；会议室麦克风；车载拾音等。
93.mvdr，minimum variance distortionless response，最小均方无畸变响应；mvdr算法是应用得最为广泛的自适应波束形成方法之一。mvdr原理为：在期望信号无失真的约束条件下，选择合适的滤波器系数，使得阵列输出的平均功率最小化。
94.维纳滤波，wiener filter；在信号处理中，维纳滤波是常用的降噪方法，它能够把实际信号从带有噪声的观测量中提取出来，无论是在语言信号还是图像信号中，维纳滤波都有重要的应用。维纳滤波是一种线性最小均方误差(lmmse，linear minimum mean square error)估计，线性指的是这种估计形式是线性的，最小方差则是构造滤波器的优化准则，也就是说实际信号与估计量的差要有最小的方差。而维纳滤波就是要构造一种滤波器，使得观测信号通过滤波器后能够得到的输出是实际信号的最小均方误差估计。
95.本技术实施例考虑到，相关技术方案基于mvdr算法的波束形成中噪声协方差矩阵难以准确估计，导致噪声抑制能力较弱，从而使得空间滤波效果较差。
96.基于此，本技术实施例提供一种解决方案，通过对原始阵列语音信号进行对齐操作，基于对齐后的各通道信号估计噪声协方差矩阵。该方案对噪声协方差的估计较为精确。基于估计的噪声协方差矩阵，通过自适应波束形成操作可得到目标语音信号。本方案提出结合对齐操作的估计噪声协方差矩阵方法，更加有效地降低目标语音信号中的噪音分量，改善基于mvdr算法的波束形成空间滤波的效果。
97.具体地，参照图1，图1为本技术波束形成装置所属电子设备的功能模块示意图。该波束形成装置可以为独立于电子设备的、能够进行波束形成的装置，其可以通过硬件或软件的形式承载于电子设备上。该电子设备可以为具有数据处理功能的智能移动终端，例如，ar(augmented reality，增强现实)/vr(virtual reality，增强现实)设备或耳机产品等，还可以为具有数据处理功能的固定设备或服务器等。
98.在本实施例中，该波束形成装置所属电子设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
99.存储器130中存储有操作系统以及波束形成程序；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
100.其中，存储器130中的波束形成程序被处理器执行时实现以下步骤：
101.接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；
102.对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；
103.基于所述对齐后的各通道信号估计噪声协方差矩阵。
104.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
105.基于估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作。
106.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
107.基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行最小均方无畸变响应mvdr算法处理，得到mvdr语音信号；
108.基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱；
109.基于所述估计的噪声幅度谱对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号。
110.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
111.计算所述mvdr语音信号的语音信号幅度谱；
112.基于所述语音信号幅度谱和所述估计的噪声幅度谱计算所述目标语音信号的信噪比；
113.基于所述目标语音信号的信噪比计算增益系数。
114.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
115.对估计的噪声协方差矩阵进行矩阵分解以得出估计的各通道噪声协方差；
116.计算估计的各通道噪声协方差的算术平均值，得到所述后置自适应滤波所需的估计的噪声幅度谱。
117.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
118.基于所述估计的噪声幅度谱设计后置自适应滤波器；
119.通过所述后置自适应滤波器对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号。
120.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
121.对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。
122.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
123.对所述原始阵列语音信号进行时延对齐操作，且对所述原始阵列语音信号进行幅频响应对齐操作，得到对齐后的各通道信号。
124.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
125.通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。
126.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
127.通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，并通过均衡eq滤波器对所述原始阵列语音信号进行幅频对齐操作，得到对齐后的各通道信号。
128.进一步地，存储器130中的波束形成程序被处理器执行时还实现以下步骤：
129.将所述对齐后的各通道信号通过格式转换得到各通道时域信号；
130.计算所述各通道时域信号的均值；
131.计算所述各通道时域信号与所述均值的差值；
132.对所述各通道时域信号与所述均值的差值进行短时傅里叶变换，得到各通道噪声频域信号；
133.计算所述各通道噪声频域信号的噪声协方差；
134.基于所述噪声协方差得到噪声协方差矩阵。
135.本实施例通过上述方案，通过接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；基于所述对齐后的各通道信号估计噪声协方差矩阵。由此，通过多通道的对齐处理，可以更精确的估计噪声协方差矩阵，有效降低目标语音信号中的噪音信号分量，从而提高波束形成中的噪声抑制能力，改善基于mvdr算法的波束形成中空间滤波的效果。
136.基于上述电子设备架构但不限于上述架构，提出本技术方法实施例。
137.参照图2，图2为本技术波束形成方法一示例性实施例的具体流程示意图。所述波束形成方法包括：
138.步骤s1010，接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；
139.具体地，本技术波束形成方法可以应用于ar/vr设备或耳机产品线。本实施例的波束形成方法的执行主体可以是一种波束形成装置，该波束形成装置可以集成在ar/vr设备或耳机产品等电子设备上，该波束形成装置可以配置麦克风，该麦克风用以采集语音信号。
140.本实施例主要是对麦克风采集的语音信号进行波束形成处理，以便解决语音信号传输中噪声干扰严重的问题，提高波束形成中的噪声抑制能力，改善基于mvdr算法的波束形成中空间滤波的效果。
141.其中，麦克风采集的语音信号是一种阵列语音信号，该阵列语音信号为多通道信号。
142.麦克风采集语音信号的原理为：在目标说话者说话时，获取说话者的声波信号；该声波信号能使麦克风里的振膜发生抖动，从而产生振幅大小相同的电学信号，其中，由于麦克风都是按照阵列分布的，而麦克风阵列是由一组位于空间不同位置的全向麦克风按一定的形状规则布置形成的阵列，是对空间传播的声音信号进行空间采样的一种装置，采集到的电学信号包含空间传播声音信号的空间位置信息。故麦克风所产生的电学信号也就是原始阵列语音信号。
143.本实施例通过麦克风可以接收用户说话的语音信号，并将语音信号从声波信号转换到电学信号，得到原始阵列语音信号。麦克风完成采集和转换后再将转换后得到的原始阵列语音信号传输到波束形成装置中。该波束形成装置接收到原始阵列语音信号，并进行后续处理。
144.如图3所示，图3是本实施例中的原始阵列语音信号波形示意图。
145.在原始阵列语音信号产生后，由波束形成装置接收该原始阵列语音信号。由于原始阵列语音信号的阵列特性，原始阵列语音信号可被拆解成多个通道的信号，因此，所述原始阵列语音信号也是多通道信号。本实施例采用麦克风的优点在于麦克风可实现回声消除和声源定位的效果。
146.步骤s1020，对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；
147.在本实施例中，本实施例考虑到目标说话者说话时的位置并不固定，且目标说话者数量并不限定，因此，各个目标说话者声源位置与麦克风的距离不同，其声波信号到达麦克风的相位以及延时也不同，造成麦克风生成的原始阵列语音信号的各通道信号的到达时间不同。其具体情形如图4所示，图4是两个不同通道信号的时域波形图。同时，在近场场景中，由于目标说话者的声波信号具有球面波的特性，因此不同位置的声源发出的声波信号的幅频响应也不一样。
148.因此，本实施例提出对接收到的原始阵列语音信号进行对齐操作，使得该原始阵列语音信号中，各通道信号的时延和幅频响应能够相同。
149.其中，作为一种实施方式，对所述原始阵列语音信号执行对齐操作处理，可以采用时延对齐操作和幅频响应对齐操作，得到对齐后的各通道信号。
150.具体地，作为一种实施方式，对于所述波束形成方法不应用于近场场景的情况下，上述步骤s1020，对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号可以包括：
151.对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。
152.具体地，考虑到上述麦克风装置生成的原始阵列语音信号中，各通道信号的时延不同，本实施例提出采用时延对齐操作，可以得到时延相同的多通道信号。
153.具体地，所述对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号的步骤可以包括：
154.通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。
155.在该步骤中，可以在波束形成装置中配置fir滤波器对原始阵列语音信号进行时延对齐操作。fir滤波器一般作为数字信号处理系统的最基本的元件。
156.fir滤波器作为数字信号处理系统中最基本的元件，可以在保证任意幅频特性的同时具有严格的线性相频特性，同时其单位抽样响应是有限长的，因此可以保证数字信号处理系统的稳定性。
157.在本实施例中，需要对原始阵列语音信号的时延以及相位进行操作，就需要fir滤波器这种能保证系统稳定性的元器件。
158.此外，当任意信号通过fir滤波器时都会引入时间延迟，这意味着同一信号，在经过fir滤波器滤波后就会在时间上有所偏移。利用这一特点，本实施例将原始阵列语音信号通过与各通道对应的fir滤波器，即原始阵列语音信号中本来就有不同时延的各通道信号再加上一个对应的时延补偿，从而实现了所有通道信号的时延统一，并得到对齐后的各通道信号。
159.进一步地，对于所述波束形成方法应用于近场场景的情况下，所述步骤s1020，对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号可以包括：
160.对所述原始阵列语音信号进行时延操作，且对所述原始阵列语音信号进行幅频响应对齐操作，得到对齐后的各通道信号。
161.具体地，作为一种实施方式，所述对所述原始阵列语音信号进行时延对齐操作，且
对所述原始阵列语音信号进行幅频响应对齐操作，得到对齐后的各通道信号的步骤可以包括：
162.通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，并通过均衡eq滤波器对所述原始阵列语音信号进行幅频对齐操作，得到对齐后的各通道信号。
163.在本实施例中，若波束形成方法运用于近场场景，则对原始阵列语音信号除了需要进行时延对齐操作，还需要进行幅频响应对齐操作。
164.其中，近场场景就是声源距离麦克风阵列比较近的场景，此时可以把声波看成球面波，则在麦克风接收声音信号并将声音信号转化成电信号后，需要考虑麦克风阵列接收信号间的幅度差异，如图5所示，图5是近场场景下不同通道信号的频响曲线示意图。
165.通过上述方案，在对原始阵列语音信号进行对齐操作时，不仅需要进行时延对齐，也需要进行幅频响应对齐。而eq滤波器可以对声音的某一个或者多个频段进行增益或者衰减，也即可以分别调节各频率成分电信号放大量，从而调节信号幅度。因此，通过eq滤波器对所述原始阵列语音信号进行幅频对齐操作，可以得到对齐后的各通道信号。
166.步骤s1030，基于所述对齐后的各通道信号估计噪声协方差矩阵。
167.在该步骤中，各通道信号的时延已经对齐，根据对齐后的各通道信号可估计噪声协方差矩阵。
168.其中，噪声协方差矩阵就是各通道信号中的噪声元素之间的线性相关程度，估计噪声协方差矩阵就是估计各通道信号中的噪声元素之间的线性相关程度。
169.本实施例通过上述方案，具体通过对接收到的原始阵列语音信号进行对齐操作，得到时延与幅频响应都相同的各通道信号，然后估计各通道信号的噪声协方差矩阵。相比现有技术对于噪声协方差矩阵的估计，本实施例方案能够得到更精确的噪声协方差矩阵，从而在mvdr波束形成中得到更好的噪声抑制能力。且该方案适用场景广泛，不需要特定假设，例如假设麦克风的接收场景为安静转入噪声的场景。
170.更为具体地，上述步骤s1030，基于所述对齐后的各通道信号估计噪声协方差矩阵可以包括：
171.步骤a，将所述对齐后的各通道信号通过格式转换得到各通道时域信号；
172.在该步骤中，需要统一各通道信号格式，保证以下计算过程在时域上进行。
173.步骤b，计算所述各通道时域信号的均值；
174.具体公式如下：
[0175][0176]
式(1)中，m为阵列通道数，i为通道编号，xi为各通道时域信号，x
sum
为各通道时域信号的均值，如图6所示，图6为本发明波束形成方法实施例中各通道时域信号的均值的信号波形示意图。
[0177]
步骤c，计算所述各通道时域信号与所述均值的差值；
[0178]
具体公式如下：
[0179]
xni＝x
sum-xiꢀꢀꢀꢀ
(2)
[0180]
式(2)中，xni为第i个通道的噪声，其中三个通道的噪声信号波形图分别如图7、图8和图9所示。
[0181]
步骤d，对所述各通道时域信号与所述均值的差值进行短时傅里叶变换，得到各通道噪声频域信号；
[0182]
该步骤中，各通道时域信号与所述均值的差值就是各通道中的噪声，通过对各通道时域信号与均值的差值进行短时傅里叶变换，可以将各通道噪声的时域信号变换成各通道噪声频域信号，也即得到xn。
[0183]
步骤e，计算所述各通道噪声频域信号的噪声协方差；
[0184]
具体公式如下：
[0185]
nc
ij
＝cov(xni,xnj)
ꢀꢀꢀꢀ
(3)
[0186]
式(3)中，nc
ij
为各通道噪声频域信号的噪声协方差计算结果，xni是第i个通道噪声频域信号，xnj是第j个通道噪声频域信号。
[0187]
步骤f，基于所述噪声协方差得到噪声协方差矩阵；
[0188]
该步骤中，依据式(3)所得结果可构建一个m
×
m的矩阵，将m的值赋值给n，则具体得到噪声协方差矩阵的公式为：
[0189]rn
＝(nc
ij
)n×nꢀꢀꢀꢀ
(4)
[0190]
根据如上步骤可估计噪声协方差矩阵，该实施例方法不同于现有技术对噪声协方差矩阵的估计方法，在对原始阵列语音信号对齐操作后进行估计操作，能更加精确地估计出噪声协方差矩阵，从而提高mvdr波束形成的噪声抑制能力，改善mvdr波束形成的空间滤波效果。
[0191]
参照图10，图10为本技术波束形成方法另一实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在上述步骤s1030，基于所述对齐后的各通道信号估计噪声协方差矩阵之后还包括：
[0192]
步骤s1040，基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作。
[0193]
相比上述图2所示的实施例，本实施例还包括在估计噪声协方差矩阵之后自适应波束形成的处理方案。
[0194]
参照图11，图11为图10所示实施例中步骤s1040的细化流程示意图。
[0195]
具体地，作为一种实施方式，所述步骤s1040可以包括：
[0196]
步骤a，基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行最小均方无畸变响应mvdr算法处理，得到mvdr语音信号；
[0197]
其中，mvdr算法基于最小均方误差准则，在约束目标信号增益不变的同时使波束形成器输出总能量最小，即可输出最小的干扰以及噪声功率，从而实现对干扰以及噪声信号的抑制，因此，基于mvdr算法的波束形成技术能够实现空间滤波的效果。
[0198]
其中，mvdr算法需要两个参数，即导向向量和噪声协方差矩阵。其中，导向向量为已知信息，也可通过预先配置的doa估计模块获取；噪声协方差矩阵通过上述方案估计得到。
[0199]
在本实施例中，在估计出噪声协方差矩阵之后，带入mvdr最优权值公式，计算权重w，mvdr最优权值公式如下所示：
[0200]
[0201]
式(5)中，c为导向向量，rn为噪声协方差矩阵，h为对c求共轭转置。
[0202]
根据此权重w，可得出mvdr语音信号。
[0203]
步骤b，基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱；
[0204]
在该步骤中，考虑到mvdr波束形成不能完全消除噪声，所以本实施例在mvdr波束形成后还需要进行后置自适应滤波，进一步抑制噪声干扰。
[0205]
本实施例以维纳滤波为例，维纳滤波的方法中使用的后置自适应滤波器需要较为准确跟踪和估计噪声幅度谱。
[0206]
具体地，作为一种实施方式，基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱的步骤可以包括：
[0207]
对估计的噪声协方差矩阵进行矩阵分解以得出估计的各通道噪声协方差；计算估计的各通道噪声协方差的算术平均值，得到所述后置自适应滤波所需的估计的噪声幅度谱。
[0208]
在该步骤中，噪声幅度谱是后置自适应滤波所需参数。现有技术采用omlsa(optimally mdified log-spectral amplitude，最优改进对数幅度估计)算法中的最小值跟踪之类的方法来估计噪声幅度谱，但是运算量较大，故本实施例提出，采用前述估计噪声协方差矩阵的方法中的各通道噪声频域信号的噪声协方差来估计噪声幅度谱,例如第i个通道噪声频域信号xni，噪声幅度谱具体计算公式为：
[0209][0210]
式(6)中，yn为噪声幅度谱，m为阵列通道数。
[0211]
步骤c，基于所述估计的噪声幅度谱对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号。
[0212]
在该步骤中，为了进一步对噪声进行抑制，mvdr语音信号需要进行后置自适应滤波处理，具体的处理操作需要用到后置自适应滤波器。
[0213]
具体地，基于所述估计的噪声幅度谱对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号的步骤可以包括：
[0214]
基于所述估计的噪声幅度谱设计后置自适应滤波器，得到基于所述噪声幅度谱估计的后置自适应滤波器，通过所述后置自适应滤波器进行后置自适应滤波，最后输出目标语音信号。
[0215]
在本实施例中，后置自适应滤波器以维纳滤波器进行举例。
[0216]
维纳滤波器也可以叫最小均方误差维纳滤波器，是最优的线性滤波器，能够使通过该滤波器的带有噪声的信号更加逼近无噪声干扰的原信号，最后输出经过维纳滤波的目标语音信号。
[0217]
维纳滤波器的基本原理是：通过利用需要进行滤波的mdrv语音信号的已知信息，对滤波后所期望的目标语音信号做一个线性估计。当噪声与过滤掉噪声后的目标语音信号相互独立时，维纳滤波器的冲激响应函数可由mdrv语音信号的已知信息与噪声幅度谱估计来确定。
[0218]
而在本实施例中，巧妙地利用噪声协方差矩阵来估计噪声幅度谱，与传统omlsa算
法相比减少了计算量，从而能够快速部署到嵌入式实时平台。
[0219]
对比现有技术方案，现有技术方案输出的目标信号波形图可以如图12所示，本实施例方案最后输出的目标语音信号波形图如图13所示。通过对上述波形图的比较可以看出，本实施例能够提高噪声抑制能力，进而改善mvdr波束形成中空间滤波的效果。
[0220]
应当理解，对本实施例技术效果检验也可以直接通过人耳试听，直接比较输出目标语音信号的音质，以比较按现有技术mvdr波束形成的技术效果和本实施例所提供的结合对齐操作的mvdr波束形成的技术效果。
[0221]
本实施例方案实现了对基于mvdr算法的波束形成中空间滤波效果的改善。本实施例从上述实际应用场景出发，利用mvdr算法的波束形成技术能够增强有用信号并抑制噪声的优点，设计了一种结合对齐处理的mvdr波束形成技术，以达到提高接收到的用户语音信号音质的目的。
[0222]
基于上述图11所示的实施例，提出本发明波束形成方法另一实施例。在本实施例中，在上述基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱的步骤之后，还可以包括：
[0223]
步骤d，计算所述mvdr语音信号的语音信号幅度谱；
[0224]
步骤e，基于所述语音信号幅度谱和所述估计的噪声幅度谱计算所述目标语音信号的信噪比；
[0225]
步骤f，基于所述目标语音信号的信噪比计算增益系数。
[0226]
相比上述图11所示的实施例，本实施例在上述基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱的步骤之后，还可以计算目标语音信号的信噪比和增益系数。
[0227]
具体地，在本实施例中，作为一种评估mvdr波束形成方案实际效果的方法，本实施例可以通过计算信噪比和增益系数，以此更加直观地体现本发明方案能够有效降低目标语音信号中的噪声分量，从而提高噪声抑制能力，改善mvdr波束形成空间滤波效果。
[0228]
本实施例对各步骤的详细解释如下：
[0229]
步骤d，计算所述mvdr语音信号的语音信号幅度谱；
[0230]
具体公式为：
[0231]ys
＝wx
ꢀꢀꢀꢀ
(7)
[0232]
式(7)中，w为上述mvdr算法所得的权重，x为由输入的对齐后的各通道语音信号所构建的矩阵。
[0233]
步骤e，基于所述语音信号幅度谱和所述估计的噪声幅度谱计算所述目标语音信号的信噪比；
[0234]
具体公式为：
[0235]
snr＝ys/(yn+δ)
ꢀꢀꢀꢀ
(8)
[0236]
式(8)中，snr为目标语音信号的信噪比，ys为mvdr语音信号的语音幅度谱，yn为噪声幅度谱，δ为防止分母为0的定值常数。
[0237]
步骤f，基于所述目标语音信号的信噪比计算增益系数。
[0238]
具体公式为：
[0239]
g＝snr/(snr+β)
ꢀꢀꢀꢀ
(9)
[0240]
式(9)中，g为增益系数，β为常数，取值范围为1到2以内。
[0241]
通过本实施例方案，实现了对基于mvdr算法的波束形成中空间滤波效果的改善。本实施例从上述实际应用场景出发，利用基于mvdr算法的波束形成技术能够增强有用信号并抑制噪声的优点，设计了一种结合对齐处理的mvdr波束形成技术，以达到提高接收到的用户语音信号音质的目的。
[0242]
本实施例在对对齐处理后的各通道信号进行自适应波束形成操作之后，还计算了该过程的信噪比和增益系数。通过信噪比和增益系数可以更加直观地看出本发明能够有效降低目标语音信号中的噪声分量，从而提高噪声抑制能力，改善mvdr波束形成空间滤波效果。
[0243]
基于上述图10所示的实施例，提出本发明波束形成方法另一实施例。参照图14，图14为本发明另一实施例中步骤s1040的细化流程示意图。
[0244]
作为另一种实施方式，步骤s1040，基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作可以包括：
[0245]
步骤s1041，基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行最小均方无畸变响应mvdr算法处理，得到mvdr语音信号；
[0246]
步骤s1042，计算所述mvdr语音信号的语音信号幅度谱；
[0247]
步骤s1043，基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱；
[0248]
步骤s1044，基于所述语音信号幅度谱和所述估计的噪声幅度谱计算所述目标语音信号的信噪比；
[0249]
步骤s1045，基于所述目标语音信号的信噪比计算增益系数。
[0250]
在本实施例中，首先基于噪声协方差矩阵对对齐后的各通道信号进行mvdr算法处理，然后计算其语音信号幅度，估计噪声幅度谱，最后基于语音幅度谱和噪声幅度谱计算信噪比以及增益系数。
[0251]
需要理解的是，上述步骤s1042与步骤s1043的先后顺序并无要求，即步骤s1042可以在步骤s1043前执行，也可以在步骤s1043后执行，还可以与步骤s1043同时执行。
[0252]
在本实施例中，上述步骤s1041同上述实施例中的步骤a，上述步骤s1042同上述实施例中的步骤d，上述步骤s1043同上述实施例中的步骤b，上述步骤s1044同上述实施例中的步骤e，上述步骤s1045同上述实施例中的步骤f，具体请参照上述各实施例，在此不再赘述。
[0253]
本实施例从上述实际应用场景出发，利用基于mvdr算法的波束形成技术能够增强有用信号并抑制噪声的优点，设计了一种结合对齐处理的mvdr波束形成技术，以达到在提高接收到的用户的语音信号音质的目的。
[0254]
本实施例在对对齐处理后的各通道信号进行mvdr算法处理之后，计算了该过程的信噪比和增益系数。通过信噪比和增益系数可以更加直观地看出本发明能够有效降低噪声干扰，改善mvdr波束形成空间滤波效果。
[0255]
此外，本技术实施例还提供一种波束形成装置，所述波束形成装置包括：
[0256]
数据接收模块，用于接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；
[0257]
对齐模块，用于对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；
[0258]
参数处理模块，用于基于所述对齐后的各通道信号估计噪声协方差矩阵；
[0259]
自适应波束形成处理模块，用于基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作。
[0260]
本实施例实现波束形成的原理及实施过程，请参照上述各实施例，在此不再赘述。
[0261]
此外，本技术实施例还提出一种电子设备，该电子设备可以为：ar/vr设备或耳机产品等，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的波束形成程序，所述波束形成程序被所述处理器执行时实现如上所述的波束形成方法的步骤。
[0262]
由于本波束形成程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
[0263]
此外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有波束形成程序，所述波束形成程序被处理器执行时实现如上所述的波束形成方法的步骤。
[0264]
由于本波束形成程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
[0265]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0266]
上述本发明实施例排序仅仅为了描述，不代表实施例的优劣。
[0267]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0268]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种波束形成方法，其特征在于，所述波束形成方法包括以下步骤：接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；基于所述对齐后的各通道信号估计噪声协方差矩阵。2.如权利要求1所述的波束形成方法，其特征在于，所述波束形成方法还包括：基于估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作。3.如权利要求2所述的波束形成方法，其特征在于，所述基于估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作的步骤包括：基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行最小均方无畸变响应mvdr算法处理，得到mvdr语音信号；基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱；基于所述估计的噪声幅度谱对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号。4.如权利要求3所述的波束形成方法，其特征在于，所述基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱的步骤之后还包括：计算所述mvdr语音信号的语音信号幅度谱；基于所述语音信号幅度谱和所述估计的噪声幅度谱计算所述目标语音信号的信噪比；基于所述目标语音信号的信噪比计算增益系数。5.如权利要求3所述的波束形成方法，其特征在于，所述基于所述估计的噪声协方差矩阵，估计后置自适应滤波所需的噪声幅度谱，得到估计的噪声幅度谱的步骤包括：对估计的噪声协方差矩阵进行矩阵分解以得出估计的各通道噪声协方差；计算估计的各通道噪声协方差的算术平均值，得到所述后置自适应滤波所需的估计的噪声幅度谱。6.如权利要求3所述的波束形成方法，其特征在于，所述基于所述估计的噪声幅度谱对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号的步骤包括：基于所述估计的噪声幅度谱设计后置自适应滤波器；通过所述后置自适应滤波器对所述mvdr语音信号进行后置自适应滤波，输出目标语音信号。7.如权利要求1所述的波束形成方法，其特征在于，所述对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号的步骤包括：对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号。8.如权利要求1所述的波束形成方法，其特征在于，所述方法应用于近场场景，所述对所述原始阵列语音信号执行对齐操作处理，得到各对齐后的各通道信号的步骤包括：对所述原始阵列语音信号进行时延对齐操作，且对所述原始阵列语音信号进行幅频响应对齐操作，得到对齐后的各通道信号。9.如权利要求7所述的波束形成方法，其特征在于，所述对所述原始阵列语音信号进行时延对齐操作，得到对齐后的各通道信号的步骤包括：通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，得到对齐
后的各通道信号。10.如权利要求8所述的波束形成方法，其特征在于，所述对所述原始阵列语音信号进行时延对齐操作，且对所述原始阵列语音信号进行幅频响应对齐操作，得到对齐后的各通道信号的步骤包括：通过有限脉冲响应fir滤波器对所述原始阵列语音信号进行时延对齐操作，并通过均衡eq滤波器对所述原始阵列语音信号进行幅频对齐操作，得到对齐后的各通道信号。11.如权利要求1-10中任一项所述的波束形成方法，其特征在于，所述基于所述对齐后的各通道信号估计噪声协方差矩阵的步骤包括：将所述对齐后的各通道信号通过格式转换得到各通道时域信号；计算所述各通道时域信号的均值；计算所述各通道时域信号与所述均值的差值；对所述各通道时域信号与所述均值的差值进行短时傅里叶变换，得到各通道噪声频域信号；计算所述各通道噪声频域信号的噪声协方差；基于所述噪声协方差得到噪声协方差矩阵。12.一种波束形成装置，其特征在于，所述波束形成装置包括：数据接收模块，用于接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；对齐模块，用于对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；参数处理模块，用于基于所述对齐后的各通道信号估计噪声协方差矩阵；自适应波束形成处理模块，用于基于所述估计的噪声协方差矩阵对所述对齐后的各通道信号进行自适应波束形成操作。13.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的波束形成程序，所述波束形成程序被所述处理器执行时实现如权利要求1-11中任一项所述的波束形成方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有波束形成程序，所述波束形成程序被处理器执行时实现如权利要求1-11中任一项所述的波束形成方法。

技术总结
本发明公开了一种波束形成方法、装置、电子设备以及存储介质，其波束形成方法包括：接收原始阵列语音信号，所述原始阵列语音信号为多通道信号；对所述原始阵列语音信号执行对齐操作处理，得到对齐后的各通道信号；基于所述对齐后的各通道信号估计噪声协方差矩阵。本申请通过结合对齐操作与波束形成技术，提高了噪声抑制能力，从而改善基于MVDR算法的波束形成中空间滤波的效果。中空间滤波的效果。中空间滤波的效果。


技术研发人员：侯天峰
受保护的技术使用者：歌尔智能科技有限公司
技术研发日：2023.05.26
技术公布日：2023/9/14