一种说话人识别方法、装置、存储介质及设备与流程

1.本技术涉及语音处理技术领域，尤其涉及一种说话人识别方法、装置、存储介质及设备。


背景技术：

2.语音交互作为一种重要的人机交互方式，能够为人们的生活带来极大的便利，其中比较重要的是基于语音对说话人进行识别的技术，这被称为说话人识别。例如，说话人识别可应用于对说话人的身份进行确认的场合，如法院审理、远程金融服务、安保等领域，均需要基于语音数据对说话人的身份进行准确识别。其中，声纹识别是说话人身份识别中的关键技术之一。
3.现有的基于声纹识别结果进行说话人身份识别的方法通常是采用基于卷积神经网络(convolutional neural networks，简称cnn)的声纹建模方法，但目前建立的声纹识别模型在训练和使用阶段中会出现声学特征域不匹配的问题，导致模型识别结果的准确率较低。
4.因此，如何提高声纹识别结果的准确率，进而提高说话人识别结果的准确率是目前亟待解决的技术问题。


技术实现要素：

5.本技术实施例的主要目的在于提供一种说话人识别方法、装置、存储介质及设备，能够在进行说话人识别时，有效提高声纹识别结果的准确率，进而提高说话人识别结果的准确率。
6.本技术实施例提供了一种说话人识别方法，包括：
7.获取待识别的目标语音，并提取所述目标语音的声学特征；
8.利用所述目标语音的声学特征，构建所述目标语音对应的声学特征语谱图，并按照预设窗长，将所述声学特征语谱图切分成n个语谱图片段；所述n为大于0的正整数；
9.将所述n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；所述说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的；
10.根据所述目标声纹特征向量，对所述目标说话人进行识别，得到所述目标说话人的识别结果。
11.一种可能的实现方式中，所述将所述n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量，包括：
12.将所述n个语谱图片段按序逐个输入至预先构建的说话人识别模型，得到n个声纹特征向量；
13.对所述n个声纹特征向量进行加权平均计算，并将得到的计算结果作为目标说话人的目标声纹特征向量。
14.一种可能的实现方式中，所述方法还包括：
15.利用样本语音和预设目标损失函数，对初始说话人识别模型进行跨域训练处理，得到训练后的说话人识别模型；
16.利用验证语音对所述训练后的说话人识别模型进行验证更新训练，得到更新后的所述说话人识别模型。
17.一种可能的实现方式中，所述初始说话人识别模型为主流声纹识别模型ecapa神经网络。
18.一种可能的实现方式中，所述利用样本语音和预设目标损失函数，对初始说话人识别模型进行跨域训练处理，得到训练后的说话人识别模型，包括：
19.提取样本语音的声学特征，并利用所述样本语音的声学特征，构建所述样本语音对应的样本声学特征语谱图，并按照预设窗长，将所述样本声学特征语谱图切分成m个样本语谱图片段；所述m为大于0的正整数；
20.对所述m个样本语谱图片段进行在线谱增广处理，得到经过谱增广之后的m个样本语谱图片段；
21.将所述m个样本语谱图片段和所述谱增广之后的m个样本语谱图片段，成对输入初始说话人识别模型，分别得到m个样本声纹特征向量和m个谱增广样本声纹特征向量；
22.利用所述m个样本声纹特征向量和m个谱增广样本声纹特征向量，构建原始声学特征域下的三元组声纹特征向量和谱增广特征域下的三元组声纹特征向量；以及构建不同声学特征域下的三元组声纹特征向量；
23.根据所述原始声学特征域下的三元组声纹特征向量、所述增广特征域下的三元组声纹特征向量、所述不同声学特征域下的三元组声纹特征向量和预设目标损失函数，对所述初始说话人识别模型进行训练，得到训练后的说话人识别模型。
24.一种可能的实现方式中，所述预设目标损失函数包括第一目标损失函数、第二目标损失函数、第三目标损失函数；所述第一目标损失函数用于拉近相同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离；所述第二目标损失函数用于拉近不同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离；所述第三目标损失函数用于提升所述说话人识别模型识别结果的准确性。
25.一种可能的实现方式中，所述目标语音的声学特征为梅尔频率倒谱系数mfcc或滤波器组特征。
26.本技术实施例还提供了一种说话人识别装置，包括：
27.获取单元，用于获取待识别的目标语音，并提取所述目标语音的声学特征；
28.切分单元，用于利用所述目标语音的声学特征，构建所述目标语音对应的声学特征语谱图，并按照预设窗长，将所述声学特征语谱图切分成n个语谱图片段；所述n为大于0的正整数；
29.第一识别单元，用于将所述n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；所述说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的；
30.第二识别单元，用于根据所述目标声纹特征向量，对所述目标说话人进行识别，得到所述目标说话人的识别结果。
31.一种可能的实现方式中，所述第一识别单元包括：
32.第一输入子单元，用于将所述n个语谱图片段按序逐个输入至预先构建的说话人识别模型，得到n个声纹特征向量；
33.计算子单元，用于对所述n个声纹特征向量进行加权平均计算，并将得到的计算结果作为目标说话人的目标声纹特征向量。
34.一种可能的实现方式中，所述装置还包括：
35.训练单元，用于利用样本语音和预设目标损失函数，对初始说话人识别模型进行跨域训练处理，得到训练后的说话人识别模型；
36.更新单元，用于利用验证语音对所述训练后的说话人识别模型进行验证更新训练，得到更新后的所述说话人识别模型。
37.一种可能的实现方式中，所述初始说话人识别模型为主流声纹识别模型ecapa神经网络。
38.一种可能的实现方式中，所述训练单元包括：
39.第一构建子单元，用于提取样本语音的声学特征，并利用所述样本语音的声学特征，构建所述样本语音对应的样本声学特征语谱图，并按照预设窗长，将所述样本声学特征语谱图切分成m个样本语谱图片段；所述m为大于0的正整数；
40.谱增广子单元，用于对所述m个样本语谱图片段进行在线谱增广处理，得到经过谱增广之后的m个样本语谱图片段；
41.第二输入子单元，用于将所述m个样本语谱图片段和所述谱增广之后的m个样本语谱图片段，成对输入初始说话人识别模型，分别得到m个样本声纹特征向量和m个谱增广样本声纹特征向量；
42.第二构建子单元，用于利用所述m个样本声纹特征向量和m个谱增广样本声纹特征向量，构建原始声学特征域下的三元组声纹特征向量和谱增广特征域下的三元组声纹特征向量；以及构建不同声学特征域下的三元组声纹特征向量；
43.训练子单元，用于根据所述原始声学特征域下的三元组声纹特征向量、所述增广特征域下的三元组声纹特征向量、所述不同声学特征域下的三元组声纹特征向量和预设目标损失函数，对所述初始说话人识别模型进行训练，得到训练后的说话人识别模型。
44.一种可能的实现方式中，所述预设目标损失函数包括第一目标损失函数、第二目标损失函数、第三目标损失函数；所述第一目标损失函数用于拉近相同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离；所述第二目标损失函数用于拉近不同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离；所述第三目标损失函数用于提升所述说话人识别模型识别结果的准确性。
45.一种可能的实现方式中，所述目标语音的声学特征为梅尔频率倒谱系数mfcc或滤波器组特征。
46.本技术实施例还提供了一种说话人识别设备，包括：处理器、存储器、系统总线；
47.所述处理器以及所述存储器通过所述系统总线相连；
48.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述说话人识别方法中的任意一种实现方式。
49.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述说话人识别方法中的任意一种实现方式。
50.本技术实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述说话人识别方法中的任意一种实现方式。
51.本技术实施例提供的一种说话人识别方法、装置、存储介质及设备，首先获取待识别的目标语音，并提取目标语音的声学特征，然后利用目标语音的声学特征，构建目标语音对应的声学特征语谱图，并按照预设窗长，将声学特征语谱图切分成n个语谱图片段；其中，n为大于0的正整数；接着，将n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；其中，说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的；进而可以根据目标声纹特征向量，对目标说话人进行识别，得到目标说话人的识别结果。
52.可见，由于本技术是通过先使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练构建了说话人识别模型，有效提升了模型的声纹特征提取效果，从而在利用该说话人识别模型对目标语音的声学特征语谱图进行说话人识别时，可以有效提高提取的声纹特征结果的准确率，进而提高了最终说话人识别结果的准确率。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1为本技术实施例提供的一种说话人识别方法的流程示意图；
55.图2为本技术实施例提供的构建说话人识别模型的过程示意图；
56.图3为本技术实施例提供的样本语谱图片段和经过谱增广之后的样本语谱图片段的示例图；
57.图4为本技术实施例提供的一种说话人识别装置的组成示意图。
具体实施方式
58.随着智能识别技术的快速发展，越来越多的场景需要应用声纹识别技术对说话人进行识别，例如，金融领域、智能家居等场景。传统的通用声纹识别技术是全变量系统(total variability)。该系统利用大量的语料，训练得到覆盖各种环境和信道的全变量空间。利用此空间，将一段语音映射成维度固定统一的声纹模型向量(i-vector)，再利用声纹模型向量的相似性来描述两段语音是否含有相同的声纹信息。但该方法在语音时长较短的情况下，由于统计量计算不充分，导致建立的声纹识别模型不够稳定，认证的准确率下降较为严重。
59.对此，近年来，基于深度学习的识别方法得到了一定的应用，该方法通过组合分析低层特征，形成抽象的高层属性描述，以发现数据的分布式特征表示。一部分技术人员采用深度神经网络(deep neural networks，简称dnn)，对特征进行扩帧处理后，通过预测声纹身份标签来提取声纹特征。这种方法虽然充分考虑到特征间的连贯性，采用多帧特征共同预测声纹所属的说话人身份标签，但该方法仍然局限于时域特性，无法建立时域和频域之间的关联关系，导致最终声纹识别的性能不够理想。
60.为了建立时域和频域之间的关联关系，以提高声纹识别的性能，目前通常采用识别方法是基于深度卷积神经网络(convolutional neural networks，简称cnn)的一种高效学习方法。首先对局部特征进行感知，然后在更高层将局部的信息综合起来，并利用多层卷积网络堆叠，提取时域和频域间交织的声纹信息。相对于上述单纯的全变量因子分析方法，卷积神经网络可以对时域和频域进行联合分析，深刻挖掘语音频谱中的声纹信息，获得更加细致的声纹特征表达，从而能够建立较为精准的声纹识别模型。但这种基于卷积神经网络的声纹建模方法，在训练和使用阶段中会出现声学特征域不匹配的问题，导致模型识别结果的准确率较低。
61.所以，如何提高声纹识别结果的准确率，进而提高说话人识别结果的准确率是目前亟待解决的技术问题。
62.为解决上述缺陷，本技术提供了一种说话人识别方法，首先获取待识别的目标语音，并提取目标语音的声学特征，然后利用目标语音的声学特征，构建目标语音对应的声学特征语谱图，并按照预设窗长，将声学特征语谱图切分成n个语谱图片段；其中，n为大于0的正整数；接着，将n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；其中，说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的；进而可以根据目标声纹特征向量，对目标说话人进行识别，得到目标说话人的识别结果。
63.可见，由于本技术是通过先使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练构建了说话人识别模型，有效提升了模型的声纹特征提取效果，从而在利用该说话人识别模型对目标语音的声学特征语谱图进行说话人识别时，可以有效提高提取的声纹特征结果的准确率，进而提高了最终说话人识别结果的准确率。
64.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
65.第一实施例
66.参见图1，为本实施例提供的一种说话人识别方法的流程示意图，该方法包括以下步骤：
67.s101：获取待识别的目标语音，并提取目标语音的声学特征。
68.在本实施例中，将需要进行身份识别的任一说话人定义为目标说话人，并将目标说话人需要进行识别的语音定义为目标语音。需要说明的是，本实施例不限制目标语音的语种类型，比如，目标语音可以是中文构成的语音或英文构成的语音等；同时，本实施例也不限制目标语音的长度，比如，目标语音可以是一句话或多句话等。
69.可以理解的是，目标语音可以根据实际需要，通过录音等方式获得，例如，人们日常生活中的电话通话语音、或者会议录音等均可作为目标语音，并且，为了提高识别出说出目标语音的目标说话人的身份，需要利用现有或未来出现的特征提取方法，提取出目标语音的声学特征，用以执行后续步骤s102。
70.具体来讲，在提取目标语音的声学特征时，首先需要对目标语音进行分帧处理，得到对应的语音帧序列，然后再对分帧后的语音帧序列进行预加重；进而再依次提取出每一语音帧的声学特征，其中，该声学特征指的是用于表征对应语音帧的声学信息的特征数据，并将其维度定义为d，具体内容格式和维度取值不做限定。一种优选的实现方式是，目标语音的声学特征为可以是但不限于梅尔倒谱系数(mel-scale frequency cepstral coefficients，简称mfcc)特征或滤波器组(filterbank)特征等；维度d可以为64维等。
71.需要说明的是，本技术实施例并不限定目标语音的声学特征的提取方法，也不限定具体的提取过程，可根据实际情况选择适当的提取方法，以及进行相应的特征提取操作。
72.s102：利用目标语音的声学特征，构建目标语音对应的声学特征语谱图，并按照预设窗长，将声学特征语谱图切分成n个语谱图片段；其中，n为大于0的正整数。
73.在本实施例中，通过步骤s101获取到待识别的目标语音，并确定出目标语音的声学特征(如64维的filterbank特征)后，为了准确识别出说出目标语音的目标说话人的身份信息，首先需要利用现有或未来出现的语谱图构建方法，对目标语音的声学特征进行处理，以构建出目标语音对应的声学特征语谱图，并按照预设窗长(此处将其定义为l)，将得到声学特征语谱图切分成n个语谱图片段，且每个语谱片段的尺寸大小为l
×
d，用以执行后续步骤s103。其中，n为大于0的正整数。
74.并且，需要说明的是，本技术对预设窗长l的具体取值不做限定，可根据实际情况和经验值进行设定，比如可以将其设置成400帧等。
75.s103：将n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；其中，说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的。
76.在本实施例中，通过步骤s102得到目标语音对应的n个语谱图片段后，为了能够有效提高识别结果的准确率，进一步可以将这n个语谱图片段逐个输入预先构建的说话人识别模型中，从而识别得到目标说话人说出目标语音的语音内容时所具有的目标声纹特征向量，用以执行后续步骤s104。需要说明的是，目标声纹特征向量的具体格式可根据实际情况设定，本实施例对此不进行限定，比如目标声纹特征向量可以为一个256维的向量等。
77.具体来讲，一种可选的方式是，在将目标语音的声学特征语谱图划分成n个语谱图片段后，进一步可以先将这n个语谱图片段按序逐个输入至预先构建的说话人识别模型，以识别出这n个语谱图片段对应的n个声纹特征向量；然后再对这n个声纹特征向量进行加权平均计算，并将得到的计算结果作为目标说话人的目标声纹特征向量，如可以直接计算出这n个声纹特征向量的平均值作为目标说话人的目标声纹特征向量，具体计算公式如下：
[0078][0079]
其中，w表示目标说话人的目标声纹特征向量；n表示语谱图片段的总数量；wi表示第i个语谱图片段对应的声纹特征向量。
[0080]
需要说明的是，相比于帧级别的声学特征(如filterbank特征)，目标声纹特征向量表征的是目标语音的句子级别的声学信息，其综合考虑了每一语音帧与其上下文之间的联系，能够更准确的表征出目标语音的语音信息。而说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的。因此，在将目标语音的n个语谱图片段输入说话人识别模型后，能够提取出更准确的表征目标语音的个性语音信息的目标声纹特征向量，进而可以利用该目标声纹特征向量，通过后续步骤s104，对目标语音所属的目标说话人进行识别，以确定出其身份信息。
[0081]
在本技术实施例的一种可能的实现方式中，本技术为了提高说话人识别结果的准确率，预先构建了识别效果更好的说话人识别模型，具体构建过程可以包括训练过程和验证更新过程。其中，训练过程指的是利用预先采集的样本语音和预设目标损失函数，对初始说话人识别模型(可以为但不限于主流声纹识别模型ecapa(emphasized channel attention,propagation and aggregation)神经网络)进行跨域训练处理，得到训练后的说话人识别模型。前述预设目标损失函数的具体内容可根据实际情况进行限定，本技术对此不进行限定，例如预设目标损失函数可以是后文提及的第一目标损失函数、第二目标损失函数、第三目标损失函数等。而验证更新过程则指的是利用预先采集的验证语音，对训练后的说话人识别模型进行验证更新训练，即根据识别结果和已有标定结果进行比对，以根据二者的差异对模型参数进行进一步更新，以得到更新后的识别效果更好的说话人识别模型。
[0082]
接下来，本实施例将对说话人识别模型的构建过程进行介绍，如图2所示，其示出了本实施例提供的构建说话人识别模型的过程示意图，该流程包括以下步骤a1-a5：
[0083]
步骤a1：提取样本语音的声学特征，并利用样本语音的声学特征，构建样本语音对应的样本声学特征语谱图，并按照预设窗长，将样本声学特征语谱图切分成m个样本语谱图片段；其中，m为大于0的正整数。
[0084]
在本实施例中，为了构建说话人识别模型，需要预先进行大量的准备工作，首先，需要收集大量用户在说话时发出的语音，如可以通过麦克风阵列拾音，拾音设备可以是平板电脑，亦或是智能硬件设备，如智能音响、电视和空调等，并且，通常需要在收集了大量语音后，对其进行降噪处理，进而可以将收集到的各个用户的各条降噪后的语音数据分别作为样本语音。
[0085]
并且，在获取到样本语音后，并不能直接用于训练生成说话人识别模型，而是需要采用与步骤s101中提取目标语音的声学特征类似的方法，如采用特征提取器，将目标语音替换为样本语音，即可提取出各条样本语音的声学特征，并也将其维度定义为d，相关之处请参见步骤s101的介绍，在此不再赘述。
[0086]
进一步的，还可以采用与步骤s102中构建目标语音对应的声学特征语谱图类似的方法，将目标语音替换为样本语音，即可构建出各条样本语音对应的样本声学特征语谱图，相关之处请参见步骤s102的介绍，在此不再赘述。
[0087]
同理，还可以按照预设窗长(仍可以l表示)，将得到的样本语音对应的样本声学特征语谱图切分成m个样本语谱图片段，并将其定义为且每个语谱片段的尺寸大小仍可以为l
×
d，用以执行后续步骤a2。其中，m为大于0的正整数，且m的取值与n的取值可以相同，也可以不同。需要说明的是，若样本语音数据的窗长不
足l，还可以将原始样本语音复制若干遍，再进行切分并将多余的部分丢弃掉即可。
[0088]
并且，还需要说明的是，本技术对模型训练时采用的预设窗长的具体取值也不做限定，可根据实际情况和经验值进行设定，比如也可以将其设置成400帧等。如图3所示，图中上方的图(a)可以表示第i个样本语谱图片段其横坐标表示该样本语谱图片段的时间维度，纵坐标表示特征维度。
[0089]
步骤a2：对m个样本语谱图片段进行在线谱增广处理，得到经过谱增广之后的m个样本语谱图片段。
[0090]
在本实施例中，通过步骤a1将样本声学特征语谱图切分成m个样本语谱图片段后，为了提高模型的识别效果，进一步的，还需要利用现有或未来出现的在线谱增广方法，对这m个m个样本语谱图片段进行在线谱增广处理，得到经过谱增广之后的m个样本语谱图片段，比如，可以在时间维度和声学特征维度分别随机划定一个矩形区域，并将这两个区域内的声学特征参数全部置为0，以得到经过谱增广之后的语谱片段，并将其定义为例如，如图3所示，图中下方的图(b)中两个虚线框表示可以表示在时间维度和声学特征维度分别随机划定的一个矩形区域，该图(b)则表示第i个经过谱增广之后的样本语谱图片段其横坐标仍表示该样本语谱图片段的时间维度，纵坐标仍表示特征维度。
[0091]
步骤a3：将m个样本语谱图片段和谱增广之后的m个样本语谱图片段，成对输入初始说话人识别模型，分别得到m个样本声纹特征向量和m个谱增广样本声纹特征向量。
[0092]
在本实施例中，通过步骤a1和a2分别得到各个样本语音的m个样本语谱图片段和m个经过谱增广之后的语谱片段后，进一步可以将各个样本语音的m个样本语谱图片段和谱增广之后的m个样本语谱图片段，成对输入初始说话人识别模型，分别得到各个样本语音的m个样本声纹特征向量和m个谱增广样本声纹特征向量，如图2所示，并将得到的每一个样本声纹特征向量及其对应的谱增广样本声纹特征向量分别定义为w
original
和w
specaug
，如第i个样本声纹特征向量及其对应的谱增广样本声纹特征向量分别定义为w
ioriginal
和w
ispecaug
。
[0093]
其中，需要说明的是，本技术对初始说话人识别模型的具体组成结构不做限定，可根据实际情况和经验值进行设定，一种优选的实现方式是，可以将初始说话人识别模型设定为主流声纹识别模型ecapa神经网络。
[0094]
步骤a4：利用m个样本声纹特征向量和m个谱增广样本声纹特征向量，构建原始声学特征域下的三元组声纹特征向量和谱增广特征域下的三元组声纹特征向量；以及构建不同声学特征域下的三元组声纹特征向量。
[0095]
在本实施例中，通过步骤a3得到各个样本语音对应的m个样本声纹特征向量和m个谱增广样本声纹特征向量后，为了构建识别效果更好的说话人识别模型，还需要从各个样本语音对应的m个样本声纹特征向量和m个谱增广样本声纹特征向量中，选出可以作为原始声学特征域下的锚点声纹特征向量的样本声纹特征向量，并将其定义为w
aoriginal
，再选出与w
aoriginal
同属于同一样本说话人的原始声学特征域下较远的样本声纹特征向量作为该特征域内其对应的正例声纹特征向量，并将其定义为w
poriginal
，再选出与w
aoriginal
属于不同样本
说话人的原始声学特征域下较近的样本声纹特征向量作为该特征域内其对应的反例声纹特征向量，并将其定义为w
noriginal
。以构建出原始声学特征域下的三元组声纹特征向量(w
aoriginal
,w
poriginal
,w
noriginal
)。
[0096]
同理，可以选出能够作为谱增广特征域下的锚点声纹特征向量的谱增广样本声纹特征向量，并将其定义为w
aspecaug
，再选出与w
aspecaug
同属于同一样本说话人的谱增广特征域下较远的谱增广样本声纹特征向量作为该特征域内其对应的正例声纹特征向量，并将其定义为w
pspecaug
，再选出与w
aspecaug
属于不同样本说话人的谱增广特征域下较近的谱增广样本声纹特征向量作为该特征域内其对应的反例声纹特征向量，并将其定义为w
nspecaug
。以构建出谱增广特征域下的三元组声纹特征向量(w
aspecaug
,w
pspecaug
,w
nspecaug
)。
[0097]
类似的，还可以利用上述不同特征域下的锚点声纹特征向量、正例声纹特征向量和反例声纹特征向量，构建出不同声学特征域下的三元组声纹特征向量，分别为：(w
aoriginal
,w
pspecaug
,w
nspecaug
)和(w
aspecaug
,w
poriginal
,w
noriginal
)。
[0098]
步骤a5：根据原始声学特征域下的三元组声纹特征向量、增广特征域下的三元组声纹特征向量、不同声学特征域下的三元组声纹特征向量和预设目标损失函数，对初始说话人识别模型进行训练，得到训练后的说话人识别模型。
[0099]
在本实施例中，通过步骤a4构建出原始声学特征域下的三元组声纹特征向量(w
aoriginal
,w
poriginal
,w
noriginal
)和谱增广特征域下的三元组声纹特征向量(w
aspecaug
,w
pspecaug
,w
nspecaug
)，以及不同声学特征域下的三元组声纹特征向量(w
aoriginal
,w
pspecaug
,w
nspecaug
)和(w
aspecaug
,w
poriginal
,w
noriginal
)后，进一步的，可以根据得到的这些三元组声纹特征向量和预设目标损失函数，对初始说话人识别模型进行训练，得到训练后的说话人识别模型。
[0100]
具体的，可以采用softmax函数分别计算图2中样本声学特征语谱图片段和谱增广之后的样本语谱图片段对应说话人所属身份标签的归一化后验概率，并分别定义为p
original
和p
specaug
，假设预设说话人为1000人，则为p
original
和p
specaug
均为1000维度的向量，其中每一维度向量值对应样本说话人属于一个预设说话人的概率。再将该预测结果与样本说话人所属的真实预设说话人身份标签进行比对，以根据比对结果和预设目标损失函数的取值对模型参数进行训练，得到训练后的说话人识别模型。
[0101]
其中，一种优选的实现方式是，预设目标损失函数可以包括第一目标损失函数、第二目标损失函数和第三目标损失函数。这样，利用上述得到的各个三元组声纹特征向量和第一目标损失函数、第二目标损失函数和第三目标损失函数对初始说话人识别模型进行训练，并且在训练过程中，可以根据第一目标损失函数、第二目标损失函数和第三目标损失函数的函数值的变化，对初始说话人识别模型的模型参数进行不断更新，直至第一目标损失函数、第二目标损失函数和第三目标损失函数的函数值满足要求，比如三者加权和达到最小值且变化幅度很小(基本不变)，或者达到预设最大迭代次数(如10000次)，则停止模型参数的更新，完成说话人识别模型的训练，生成训练后的说话人识别模型。
[0102]
其中，第一目标损失函数用于拉近相同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离，具体计算公式如下：
[0103]
ls＝max(0,dist(w
aoriginal
,w
noriginal
)+δ-dist(w
aoriginal
,w
poriginal
))+
[0104]
max(0,dist(w
aspecaug
,w
nspecaug
)+δ-dist(w
aspecaug
,w
pspecaug
))
[0105]
其中，max(0,dist(w
aoriginal
,w
noriginal
)+δ-dist(w
aoriginal
,w
poriginal
))表示第一目标损失函数的第一部分；max(0,dist(w
aspecaug
,w
nspecaug
)+δ-dist(w
aspecaug
,w
pspecaug
))表示第一目标损失函数的第二部分；ls表示第一目标损失函数；dist(*)表示两个声纹特征向量之间的余弦距离；δ表示余弦距离边界，具体取值不做限定，可根据实际情况和经验值确定，如可以将其取值为0.2。
[0106]
而第二目标函数则拉近不同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离，具体计算公式如下：
[0107]
ld＝max(0,dist(w
aoriginal
,w
nspecaug
)+δ-dist(w
aoriginal
,w
pspecaug
))+
[0108]
max(0,dist(w
aspecaug
,w
noriginal
)+δ-dist(w
aspecaug
,w
poriginal
))
[0109]
其中，ld表示第二目标损失函数；dist(*)表示两个声纹特征向量之间的余弦距离；δ表示余弦距离边界，具体取值不做限定，可根据实际情况和经验值确定，如可以将其取值为0.2。
[0110]
此外，第三目标函数用于提升说话人识别模型识别结果的准确性，具体计算公式如下：
[0111][0112]
其中，表示第三目标损失函数的第一部分；表示第三目标损失函数的第二部分，如图2所示；lw表示第三目标损失函数；和表示真实身份标签j(可人工标记)在原始声学特征域下和谱增广特征域下的对应的预测后验概率。
[0113]
一种可选的实现方式是，还可以将第一目标函数ls、第二目标函数ld、第三目标函数lw进行加权求和，构成总的损失函数，并将其定义为loss，用以对初始说话人识别模型进行训练，并且在训练过程中，可以根据该总的损失函数loss的函数值的变化，对初始说话人识别模型的模型参数进行不断更新，直至loss的函数值满足要求，比如达到最小值且变化幅度很小(基本不变)，模型收敛。则停止模型参数的更新，完成说话人识别模型的训练，即生成预训练后的说话人识别模型。其中，loss的具体计算公式如下：
[0114]
loss＝α
·
ls+(1-α)
·
ld+lw[0115]
其中，α表示预设的权重系数，可根据实际情况和经验值进行设定，本技术对其具体取值不做限定，比如可以将α设定为0.5等。
[0116]
通过上述步骤a1-a5构成训练后的说话人识别模型后，进一步可以利用验证语音对训练后的说话人识别模型进行验证更新训练，以构成识别效果更好的说话人识别模型，具体验证过程在此不再赘述。
[0117]
这样，本实施例通过同时使用原始特征域和增广特征域下的声学特征进行模型训练，避免了模型训练和推理阶段输入特征不匹配的问题。并同时提出基于跨域三元组进行模型训练的方法，在训练中加入了跨域声纹特征信息，进而提高了模型的识别准确率。
[0118]
s104：根据目标声纹特征向量，对目标说话人进行识别，得到目标说话人的识别结果。
[0119]
在本实施例中，通过步骤s103得到目标说话人说出目标语音的语音内容时具有的目标声纹特征向量后，进一步可以通过对该目标声纹特征向量进行处理，并根据处理结果，
对目标说话人进行识别，得到目标说话人的识别结果。
[0120]
具体来讲，一种可选的实现方式是，本步骤s104的具体实现过程可以包括下述步骤b1-b2：
[0121]
步骤b1：计算目标说话人的目标声纹特征向量与预设说话人的预设声纹特征向量之间的相似度。
[0122]
在本实现方式中，当需要对目标说话人的身份进行确认，以判断出目标说话人是否为某一个预设说话人时，在通过步骤s103得到目标说话人说出目标语音时具有的目标声纹特征向量后，进一步可以计算出目标说话人的目标声纹特征向量与预设说话人的预设声纹特征向量之间的相似度，具体计算公式不做限定，该相似度的取值越高，表示目标说话人和预设说话人越相似，即，目标说话人与预设说话人是同一个人的可能性越大，反之，该相似度的取值越小，表示目标说话人和预设说话人越不相似，即，目标说话人与预设说话人是同一个人的可能性越小。
[0123]
步骤b2：判断相似度是否高于预设阈值，若是，则确定目标说话人为预设说话人；若否，则确定目标说话人不是预设说话人。
[0124]
在本实现方式中，通过步骤b1计算出目标说话人的目标声纹特征向量与预设说话人的预设声纹特征向量之间的相似度后，进一步需要判断该相似度是否高于预设阈值，若是，则确定目标说话人为预设说话人；若否，则确定目标说话人不是预设说话人。
[0125]
其中，预设阈值指的是用于界定目标说话人和预设说话人是否为同一个人的临界值，具体取值可根据实际情况进行设定，本技术实施例对此不进行限定，比如可以将预设阈值取值为0.8等。当目标说话人的目标表征向量与预设说话人的预设表征向量之间的相似度超过该临界值，则表明二者为同一个人，反之，当目标说话人的目标表征向量与预设说话人的预设表征向量之间的相似度未超过该临界值，则表明二者并不是同一个人。
[0126]
或者，另一种可选的实现方式是，本步骤s104的具体实现过程还可以包括下述步骤c1-c2：
[0127]
步骤c1：计算目标说话人的目标声纹特征向量与k个预设说话人的k个预设声纹特征向量之间的k个相似度；其中，k为大于1的正整数。
[0128]
在本实现方式中，当需要对目标说话人进行辨认，以识别出目标说话人是k(其中，k为大于1的正整数)个预设说话人中哪一个预设说话人时，在通过步骤s103得到目标说话人说出目标语音时具有的目标声纹特征向量后，进一步可以分别计算出目标说话人的目标声纹特征向量与这k个预设说话人的k个预设声纹特征向量之间的k个相似度，用以执行后续步骤c2。
[0129]
步骤c2：从k个相似度中选择出最大相似度，并确定目标说话人为最大相似度对应的预设说话人。
[0130]
在本实现方式中，通过步骤c1计算出目标说话人的目标声纹特征向量与k个预设说话人的k个预设表征向量之间的k个相似度后，进一步可以从这k个相似度中选择出最大相似度，并确定目标说话人为该最大相似度对应的预设说话人。
[0131]
举例说明：假设有三个预设说话人甲、乙、丙，且分别计算出目标说话人的目标声纹特征向量与预设说话人甲的预设声纹特征向量之间的相似度为0.1、目标说话人的目标声纹特征向量与预设说话人乙的预设声纹特征向量之间的相似度为0.89、目标说话人的目
标声纹特征向量与预设说话人丙的预设声纹特征向量之间的相似度为0.21，则可以从中确定最高相似度为0.89，且根据该最高相似度0.89，得到的识别结果为目标说话人的身份就是预设说话人乙。
[0132]
综上，本实施例提供的一种说话人识别方法，首先获取待识别的目标语音，并提取目标语音的声学特征，然后利用目标语音的声学特征，构建目标语音对应的声学特征语谱图，并按照预设窗长，将声学特征语谱图切分成n个语谱图片段；其中，n为大于0的正整数；接着，将n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；其中，说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的；进而可以根据目标声纹特征向量，对目标说话人进行识别，得到目标说话人的识别结果。
[0133]
可见，由于本技术是通过先使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练构建了说话人识别模型，有效提升了模型的声纹特征提取效果，从而在利用该说话人识别模型对目标语音的声学特征语谱图进行说话人识别时，可以有效提高提取的声纹特征结果的准确率，进而提高了最终说话人识别结果的准确率。
[0134]
第二实施例
[0135]
本实施例将对一种说话人识别装置进行介绍，相关内容请参见上述方法实施例。
[0136]
参见图4，为本实施例提供的一种说话人识别装置的组成示意图，该装置400包括：
[0137]
获取单元401，用于获取待识别的目标语音，并提取所述目标语音的声学特征；
[0138]
切分单元402，用于利用所述目标语音的声学特征，构建所述目标语音对应的声学特征语谱图，并按照预设窗长，将所述声学特征语谱图切分成n个语谱图片段；所述n为大于0的正整数；
[0139]
第一识别单元403，用于将所述n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；所述说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的；
[0140]
第二识别单元404，用于根据所述目标声纹特征向量，对所述目标说话人进行识别，得到所述目标说话人的识别结果。
[0141]
在本实施例的一种实现方式中，所述第一识别单元403包括：
[0142]
第一输入子单元，用于将所述n个语谱图片段按序逐个输入至预先构建的说话人识别模型，得到n个声纹特征向量；
[0143]
计算子单元，用于对所述n个声纹特征向量进行加权平均计算，并将得到的计算结果作为目标说话人的目标声纹特征向量。
[0144]
在本实施例的一种实现方式中，所述装置还包括：
[0145]
训练单元，用于利用样本语音和预设目标损失函数，对初始说话人识别模型进行跨域训练处理，得到训练后的说话人识别模型；
[0146]
更新单元，用于利用验证语音对所述训练后的说话人识别模型进行验证更新训练，得到更新后的所述说话人识别模型。
[0147]
在本实施例的一种实现方式中，所述初始说话人识别模型为主流声纹识别模型ecapa神经网络。
[0148]
在本实施例的一种实现方式中，所述训练单元包括：
[0149]
第一构建子单元，用于提取样本语音的声学特征，并利用所述样本语音的声学特征，构建所述样本语音对应的样本声学特征语谱图，并按照预设窗长，将所述样本声学特征语谱图切分成m个样本语谱图片段；所述m为大于0的正整数；
[0150]
谱增广子单元，用于对所述m个样本语谱图片段进行在线谱增广处理，得到经过谱增广之后的m个样本语谱图片段；
[0151]
第二输入子单元，用于将所述m个样本语谱图片段和所述谱增广之后的m个样本语谱图片段，成对输入初始说话人识别模型，分别得到m个样本声纹特征向量和m个谱增广样本声纹特征向量；
[0152]
第二构建子单元，用于利用所述m个样本声纹特征向量和m个谱增广样本声纹特征向量，构建原始声学特征域下的三元组声纹特征向量和谱增广特征域下的三元组声纹特征向量；以及构建不同声学特征域下的三元组声纹特征向量；
[0153]
训练子单元，用于根据所述原始声学特征域下的三元组声纹特征向量、所述增广特征域下的三元组声纹特征向量、所述不同声学特征域下的三元组声纹特征向量和预设目标损失函数，对所述初始说话人识别模型进行训练，得到训练后的说话人识别模型。
[0154]
在本实施例的一种实现方式中，所述预设目标损失函数包括第一目标损失函数、第二目标损失函数、第三目标损失函数；所述第一目标损失函数用于拉近相同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离；所述第二目标损失函数用于拉近不同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离；所述第三目标损失函数用于提升所述说话人识别模型识别结果的准确性。
[0155]
在本实施例的一种实现方式中，所述目标语音的声学特征为梅尔频率倒谱系数mfcc或滤波器组特征。
[0156]
进一步地，本技术实施例还提供了一种说话人识别设备，包括：处理器、存储器、系统总线；
[0157]
所述处理器以及所述存储器通过所述系统总线相连；
[0158]
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述说话人识别方法的任一种实现方法。
[0159]
进一步地，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述说话人识别方法的任一种实现方法。
[0160]
进一步地，本技术实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述说话人识别方法的任一种实现方法。
[0161]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本技术各个实施例或者实施例的某些部分所述的方法。
[0162]
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0163]
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0164]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种说话人识别方法，其特征在于，包括：获取待识别的目标语音，并提取所述目标语音的声学特征；利用所述目标语音的声学特征，构建所述目标语音对应的声学特征语谱图，并按照预设窗长，将所述声学特征语谱图切分成n个语谱图片段；所述n为大于0的正整数；将所述n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；所述说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的；根据所述目标声纹特征向量，对所述目标说话人进行识别，得到所述目标说话人的识别结果。2.根据权利要求1所述的方法，其特征在于，所述将所述n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量，包括：将所述n个语谱图片段按序逐个输入至预先构建的说话人识别模型，得到n个声纹特征向量；对所述n个声纹特征向量进行加权平均计算，并将得到的计算结果作为目标说话人的目标声纹特征向量。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用样本语音和预设目标损失函数，对初始说话人识别模型进行跨域训练处理，得到训练后的说话人识别模型；利用验证语音对所述训练后的说话人识别模型进行验证更新训练，得到更新后的所述说话人识别模型。4.根据权利要求3所述的方法，其特征在于，所述初始说话人识别模型为主流声纹识别模型ecapa神经网络。5.根据权利要求3所述的方法，其特征在于，所述利用样本语音和预设目标损失函数，对初始说话人识别模型进行跨域训练处理，得到训练后的说话人识别模型，包括：提取样本语音的声学特征，并利用所述样本语音的声学特征，构建所述样本语音对应的样本声学特征语谱图，并按照预设窗长，将所述样本声学特征语谱图切分成m个样本语谱图片段；所述m为大于0的正整数；对所述m个样本语谱图片段进行在线谱增广处理，得到经过谱增广之后的m个样本语谱图片段；将所述m个样本语谱图片段和所述谱增广之后的m个样本语谱图片段，成对输入初始说话人识别模型，分别得到m个样本声纹特征向量和m个谱增广样本声纹特征向量；利用所述m个样本声纹特征向量和m个谱增广样本声纹特征向量，构建原始声学特征域下的三元组声纹特征向量和谱增广特征域下的三元组声纹特征向量；以及构建不同声学特征域下的三元组声纹特征向量；根据所述原始声学特征域下的三元组声纹特征向量、所述增广特征域下的三元组声纹特征向量、所述不同声学特征域下的三元组声纹特征向量和预设目标损失函数，对所述初始说话人识别模型进行训练，得到训练后的说话人识别模型。6.根据权利要求5所述的方法，其特征在于，所述预设目标损失函数包括第一目标损失函数、第二目标损失函数、第三目标损失函数；所述第一目标损失函数用于拉近相同声学特
征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离；所述第二目标损失函数用于拉近不同声学特征域下的三元组声纹特征向量中锚点声纹特征向量和正例声纹特征向量之间的距离以及拉开锚点声纹特征向量和反例声纹特征向量之间的距离；所述第三目标损失函数用于提升所述说话人识别模型识别结果的准确性。7.根据权利要求1-6任一项所述的方法，其特征在于，所述目标语音的声学特征为梅尔频率倒谱系数mfcc或滤波器组特征。8.一种说话人识别装置，其特征在于，包括：获取单元，用于获取待识别的目标语音，并提取所述目标语音的声学特征；切分单元，用于利用所述目标语音的声学特征，构建所述目标语音对应的声学特征语谱图，并按照预设窗长，将所述声学特征语谱图切分成n个语谱图片段；所述n为大于0的正整数；第一识别单元，用于将所述n个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；所述说话人识别模型是同时使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练得到的；第二识别单元，用于根据所述目标声纹特征向量，对所述目标说话人进行识别，得到所述目标说话人的识别结果。9.一种说话人识别设备，其特征在于，包括：处理器、存储器、系统总线；所述处理器以及所述存储器通过所述系统总线相连；所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-7任一项所述的方法。

技术总结
本申请公开了一种说话人识别方法、装置、存储介质及设备，该方法包括：首先获取待识别的目标语音，并提取其声学特征，然后利用该声学特征，构建目标语音对应的声学特征语谱图，并按照预设窗长，将声学特征语谱图切分成N个语谱图片段；接着将N个语谱图片段输入至预先构建的说话人识别模型，识别得到目标说话人的目标声纹特征向量；进而根据目标声纹特征向量，对目标说话人进行识别，得到目标说话人的识别结果。由于本申请是通过先使用原始特征域和谱增广特征域下的声学特征，结合跨域特征信息共同训练构建了说话人识别模型，有效提升了模型的声纹特征提取效果，从而在利用该说话人识别模型进行说话人识别时，可以有效提高识别结果的准确率。结果的准确率。结果的准确率。


技术研发人员：李晋 高天 方昕 刘俊华 刘聪
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：2023.04.21
技术公布日：2023/7/20