一种用于骨传导耳机的回音消除方法与流程

1.本发明涉及音频处理技术领域，尤其涉及一种用于骨传导耳机的回音消除方法。


背景技术：

2.骨传导是一种声音传导方式，因其内部构造设计原理跟传统的电磁式扬声器不一样，音频信号经过骨导振子转化为振动信号，该振动信号经与骨导振子紧贴的颅骨传输至听神经，使人可以听到音频，但是由于骨导振子还会振动空气而产生声波，声波传入人耳中，人耳能听到部分的音频。
3.同时，骨导振子的音频频响曲线与传统的扬声器的音频频响曲线并不相同，人耳能识别传统扬声器所播放的呈直线的音频频响，而人耳能识别骨导振子所播放的音频频响并不呈直线而是曲线形式的。由于人耳能识别的音频频响为曲线形式，导致多数骨导耳机出现严重的漏音情况，比如，用户在佩戴骨导耳机进行通话的过程中，骨导耳机的麦克风不可避免地拾取到骨导振子振动所产生的声波，而在与骨导耳机用户进行通话的另一方能听到自己通话声音，严重影响了用户的使用体验。
4.因此，有必要提供一种新的用于骨传导耳机的回音消除方法解决上述技术问题。


技术实现要素：

5.为解决用户在佩戴骨导耳机进行通话的过程中，骨导耳机的麦克风不可避免地拾取到骨导振子振动所产生的声波，而在与骨导耳机用户进行通话的另一方能听到自己通话声音，严重影响了用户的使用体验的技术问题，本发明提供一种用于骨传导耳机的回音消除方法。
6.本发明提供的用于骨传导耳机的回音消除方法包括如下步骤：s1、在骨传导耳机上设置麦克风和受话器来采集骨导振子播音振动时所产生的语音数据，其中语音数据包含近端语音信号、远端语音信号以及回音路径中的回音信号；s2、当骨传导耳机控制器接收到远端语音信号时定义一个回音估计值d，根据回音估计值进行回音分类学习，建立回音声纹模型，将采集到的语音数据输入回音声纹模型，得到近端语音信号、远端语音信号以及回音路径中的回音信号的各分数占比，根据所得的近端语音信号、远端语音信号以及回音路径中的回音信号的各分数占比训练回音声纹模型，获取回音分类学习结果；s3、骨传导耳机控制器利用vad算法将没有语音部分的数据作为回音提取出来，vad输出的信号为，其中为回音信号，为采集到的语音数据，为近端语音信号，为远端语音信号，将估计值d从近端信号中去除，即在近端信号中去除回音估值，使近端输出的信号为。
7.进一步地，在s2步骤进行分类学习后采用自适应滤波对语音数据进行自适应回音过滤处理，以获得降噪后的语音数据，若经过所述自适应回音过滤处理后的语音数据的信
噪比超过预设标准阈值，则提取语音数据的语音特征确定对应的回音信号数据。
8.进一步地，所述回音信号特征包括噪声特征和回音特征，从回音信号特征中去除回音特征即，为噪声信号特征。
9.进一步地，在进行自适应回音过滤处理后利用神经网络来计算理想二值掩蔽，分离语音和回音，根据语音数据的信噪比确定理想二值掩码的数值，如果信噪比小于一则理想二值掩码数值为0，即为回音，否则理想二值掩码数值为1，即为语音。
10.进一步地，所述回音分类学习包括根据预设的标准人声、多人说话的语音、回音声波以及背景噪声作为训练样本对回音声纹模型进行模型训练。
11.进一步地，对每个训练样本进行特征提取，得到目标语音信号特征，基于回音声纹模型获取近端语音信号特征、远端语音信号特征以及回音信号特征。
12.进一步地，所述回音分类学习中提取近端语音信号的步骤如下：对所述语音数据进行傅里叶变换，得到各帧频谱；设计自适应滤波器组，设定频率的上限和下限，对频谱进行平滑化，然后用自适应滤波器对每帧的功率谱进行滤波；把每帧滤波后的能量相加求和，然后取对数，再做离散余弦变换，提取出自适应倒谱系数；通过提取出的自适应倒谱系数，实现多人语音信号的分离，屏蔽远端的信号，得到近端语音信号。
13.进一步地，所述回音分类学习中提取远端语音信号步骤如下：对语音数据进行傅里叶变换得到各帧的频谱；根据预设自适应滤波器组和语音数据对应的场景类别对所述各帧频谱进行功率谱滤波；根据自适应倒谱系数进行多人语音信号分离，屏蔽近端的语音信号，得到远端语音信号。
14.与相关技术相比较，本发明提供的用于骨传导耳机的回音消除方法具有如下有益效果：1、本发明通过利用麦克风来采集骨导振子播音振动时所产生的语音数据，在接收到远端语音信号时定义一个回音估计值，根据回音估计值进行回音分类学习，建立回音声纹模型，再根据vad算法将没有语音部分的数据作为回音提取出来，从而实现消除骨传导耳机通话时的回音，提高用户对骨导耳机的使用体验。
15.2、本发明将估计值从近端信号中去除，即在近端信号中去除回音估值，输出近端信号时进行自适应去除回音后可以使残留的噪声近似为零，有效提高通话质量。
16.3、本发明通过回音声纹模型和自适应回音过滤处理，在通话过程中无明显的回音音波存在，故针对回音消除技术对回音的抵消达到较好的效果。
附图说明
17.图1为本发明提供的用于骨传导耳机的回音消除方法的流程框图；图2为本发明提供的用于骨传导耳机的回音消除方法的结构框图；
图3为本发明提供的神经网络分离语音和回音的流程框图；图4为本发明提供的提取近端语音信号的流程框图；图5为本发明提供的提取远端语音信号的流程框图；图6为本发明提供的远端信号的模型示意图；图7为本发明提供的近端信号的模型示意图。
具体实施方式
18.下面结合附图和实施方式对本发明作进一步说明。
19.请结合参阅图1、图2、图3、图4、图5、图6以及图7，其中，图1为本发明提供的用于骨传导耳机的回音消除方法的流程框图；图2为本发明提供的用于骨传导耳机的回音消除方法的结构框图；图3为本发明提供的神经网络分离语音和回音的流程框图；图4为本发明提供的提取近端语音信号的流程框图；图5为本发明提供的提取远端语音信号的流程框图；图6为本发明提供的远端信号的模型示意图；图7为本发明提供的近端信号的模型示意图。
20.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
实施例一
21.在具体实施过程中，如图1-图7所示，一种用于骨传导耳机的回音消除方法包括如下步骤：s1、在骨传导耳机上设置麦克风和受话器来采集骨导振子播音振动时所产生的语音数据，其中语音数据包含近端语音信号、远端语音信号以及回音路径中的回音信号；s2、当骨传导耳机控制器接收到远端语音信号时定义一个回音估计值d，根据回音估计值进行回音分类学习，建立回音声纹模型，将采集到的语音数据输入回音声纹模型，得到近端语音信号、远端语音信号以及回音路径中的回音信号的各分数占比，根据所得的近端语音信号、远端语音信号以及回音路径中的回音信号的各分数占比训练回音声纹模型，获取回音分类学习结果，其中，选取出的回音信号的分数是满足回音先验分布的，在满足噪声先验分布的前提下随机选取出部分回音的分数，例如，将回音的分数按照从大到小或从小到大的顺序进行排序，并将排序后的回音的分数均匀划分为多个区间，每个区间随机选取固定数目的回音的分数，选取出的这部分噪声的分数同样满足均匀分布；s3、骨传导耳机控制器利用vad算法将没有语音部分的数据作为回音提取出来，vad输出的信号为，其中为回音信号，为采集到
的语音数据，为近端语音信号，为远端语音信号，将估计值d从近端信号中去除，即在近端信号中去除回音估值，使近端输出的信号为，回音信号特征包括噪声特征和回音特征，从回音信号特征中去除回音特征即，为噪声信号特征，这样经过自适应去除回音后可以使残留的噪声近似为零，有效提高通话质量；在获取语音数据中，获取近端语音信号、和，其中n表示当前瞬时，回音估计值，其中为误差系数，k为采样项，为远端当前值减去采样值。
22.在s2步骤进行分类学习后采用自适应滤波对语音数据进行自适应回音过滤处理，以获得降噪后的语音数据，若经过自适应回音过滤处理后的语音数据的信噪比超过预设标准20db，则提取语音数据的语音特征确定对应的回音信号数据，可以判断过滤后的数据中，语音信噪比是否符合预设的标准，若符合，则提取语音特征，得到近端语音信号和远端语音信号，然后根据回音声纹模型识别回音信号，由此能够准确提取近端语音信号、远端语音信号和回音信号并进行识别分析。
23.在进行自适应回音过滤处理后利用神经网络来计算理想二值掩蔽，其中神经网络在使用时自适应滤波的输入包括语音数据的能量谱，频率尺度和自适应能量谱、自适应倒谱特征以及自适应倒谱系数，其中自适应倒谱系数基于梅尔倒谱系数，通过神经网络模型计算，输出的是每个频率的信噪比，分离语音和回音，根据语音数据的信噪比确定理想二值掩码的数值，如果信噪比小于一则理想二值掩码数值为0，即为回音，否则理想二值掩码数值为1，即为语音，通过将二值掩码数值乘以能量谱值，则获得各个频率在回音消除后的能量值。
24.回音分类学习包括根据预设的标准人声、多人说话的语音、回音声波以及背景噪声作为训练样本对回音声纹模型进行模型训练，对每个训练样本进行特征提取，得到目标语音信号特征，基于回音声纹模型获取近端语音信号特征、远端语音信号特征以及回音信号特征。
25.回音分类学习中提取近端语音信号的步骤如下：对语音数据进行傅里叶变换，得到各帧频谱；设计自适应滤波器组，设定频率的上限和下限，对频谱进行平滑化，然后用自适应滤波器对每帧的功率谱进行滤波；把每帧滤波后的能量相加求和，然后取对数，再做离散余弦变换，提取出自适应倒谱系数；通过提取出的自适应倒谱系数，实现多人语音信号的分离，屏蔽远端的信号，得到近端语音信号。
26.回音分类学习中提取远端语音信号步骤如下：对语音数据进行傅里叶变换得到各帧的频谱；根据预设自适应滤波器组和语音数据对应的场景类别对各帧频谱进行功率谱滤
波；根据自适应倒谱系数进行多人语音信号分离，屏蔽近端的语音信号，得到远端语音信号。
实施例二
27.在具体实施过程中，遵循如实施例一中详述的相同结构，与实施例一不同的是，在进行分类学习后采用自适应滤波对语音数据进行自适应回音过滤处理，以获得降噪后的语音数据，若经过自适应回音过滤处理后的语音数据的信噪比超过预设标准35db，则提取语音数据的语音特征确定对应的回音信号数据，可以判断过滤后的数据中，语音信噪比是否符合预设的标准，若符合，则提取语音特征，得到近端语音信号和远端语音信号，然后根据回音声纹模型识别回音信号。
实施例三
28.在具体实施过程中，遵循如实施例一中详述的相同结构，与实施例一不同的是，在进行分类学习后采用自适应滤波对语音数据进行自适应回音过滤处理，以获得降噪后的语音数据，若经过自适应回音过滤处理后的语音数据的信噪比超过预设标准50db，则提取语音数据的语音特征确定对应的回音信号数据，可以判断过滤后的数据中，语音信噪比是否符合预设的标准，若符合，则提取语音特征，得到近端语音信号和远端语音信号，然后根据回音声纹模型识别回音信号。
29.根据经过回音声纹模型训练的骨传导耳机与未经过回音声纹模型训练的骨传导耳机进行测试，选取隔音箱作为测试环境，通过蓝牙连接骨传导耳机并播放出固定频率的语音，分别在1500hz、3000hz和4500hz的频率信号下按照实施例一、实施例二和实施例三的方式进行测试，测试结果如下：实施例一实验数据
30.实施例二实验数据
31.实施例三实验数据
32.由上表可知本发明在回音消除性能上已经达到预期的效果，在不同频率信号下从回音信号特征中去除回音特征，这样经过自适应去除回音后可以使残留的噪声近似为零，有效提高通话质量。
33.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
34.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的检测电子设备的佩戴状态的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

技术特征：
1.一种用于骨传导耳机的回音消除方法，其特征在于，包括如下步骤：s1、在骨传导耳机上设置麦克风和受话器来采集骨导振子播音振动时所产生的语音数据，其中语音数据包含近端语音信号、远端语音信号以及回音路径中的回音信号；s2、当骨传导耳机控制器接收到远端语音信号时定义一个回音估计值d，根据回音估计值进行回音分类学习，建立回音声纹模型，将采集到的语音数据输入回音声纹模型，得到近端语音信号、远端语音信号以及回音路径中的回音信号的各分数占比，根据所得的近端语音信号、远端语音信号以及回音路径中的回音信号的各分数占比训练回音声纹模型，获取回音分类学习结果；s3、骨传导耳机控制器利用vad算法将没有语音部分的数据作为回音提取出来，vad输出的信号为，其中为回音信号，为采集到的语音数据，为近端语音信号，为远端语音信号，将估计值d从近端信号中去除，即在近端信号中去除回音估值，使近端输出的信号为，将近端输出的信号发送至远端。2.根据权利要求1所述的用于骨传导耳机的回音消除方法，其特征在于，在s2步骤进行分类学习后采用自适应滤波对语音数据进行自适应回音过滤处理，以获得降噪后的语音数据，若经过所述自适应回音过滤处理后的语音数据的信噪比超过预设标准阈值，则提取语音数据的语音特征确定对应的回音信号数据。3.根据权利要求2所述的用于骨传导耳机的回音消除方法，其特征在于，所述回音信号特征包括噪声特征和回音特征，从回音信号特征中去除回音特征即，为噪声信号特征。4.根据权利要求3所述的用于骨传导耳机的回音消除方法，其特征在于，在进行自适应回音过滤处理后利用神经网络来计算理想二值掩蔽，分离语音和回音，根据语音数据的信噪比确定理想二值掩码的数值，如果信噪比小于一则理想二值掩码数值为0，即为回音，否则理想二值掩码数值为1，即为语音。5.根据权利要求4所述的用于骨传导耳机的回音消除方法，其特征在于，所述回音分类学习包括根据预设的标准人声、多人说话的语音、回音声波以及背景噪声作为训练样本对回音声纹模型进行模型训练。6.根据权利要求5所述的用于骨传导耳机的回音消除方法，其特征在于，对每个训练样本进行特征提取，得到目标语音信号特征，基于回音声纹模型获取近端语音信号特征、远端语音信号特征以及回音信号特征。7.根据权利要求6所述的用于骨传导耳机的回音消除方法，其特征在于，所述回音分类学习中提取近端语音信号的步骤如下：对所述语音数据进行傅里叶变换，得到各帧频谱；设计自适应滤波器组，设定频率的上限和下限，对频谱进行平滑化，然后用自适应滤波器对每帧的功率谱进行滤波；把每帧滤波后的能量相加求和，然后取对数，再做离散余弦变换，提取出自适应倒谱系
数；通过提取出的自适应倒谱系数，实现多人语音信号的分离，屏蔽远端的信号，得到近端语音信号。8.根据权利要求7所述的用于骨传导耳机的回音消除方法，其特征在于，所述回音分类学习中提取远端语音信号步骤如下：对语音数据进行傅里叶变换得到各帧的频谱；根据预设自适应滤波器组和语音数据对应的场景类别对所述各帧频谱进行功率谱滤波；根据自适应倒谱系数进行多人语音信号分离，屏蔽近端的语音信号，得到远端语音信号。

技术总结
本发明提供一种用于骨传导耳机的回音消除方法，涉及音频处理技术领域，包括S1、在骨传导耳机上设置麦克风和受话器来采集骨导振子播音振动时所产生的语音数据，S2、当接收到远端语音信号时定义一个回音估计值d，根据回音估计值进行回音分类学习，建立回音声纹模型，获取回音分类学习结果，S3、骨传导耳机控制器利用VAD算法将没有语音部分的数据作为回音提取出来将估计值从近端信号中去除，本发明通过利用麦克风来采集骨导振子播音振动时所产生的语音数据，根据回音估计值进行回音分类学习，建立回音声纹模型，将没有语音部分的数据作为回音提取出来，从而实现消除骨传导耳机通话时的回音，提高用户对骨导耳机的使用体验。提高用户对骨导耳机的使用体验。提高用户对骨导耳机的使用体验。


技术研发人员：伍军华 赵苓忠 赵正萍
受保护的技术使用者：深圳市鑫正宇科技有限公司
技术研发日：2023.08.08
技术公布日：2023/9/9