语音隐私保护方法及存储介质

1.本发明涉及数据保护技术领域，具体涉及一种基于机器学习匿名方法的语音隐私数据保护方法及存储介质。


背景技术：

2.随着语音助手、智能音响等交互设备的发展，智能语音设备需要收集用户的语音数据用于分析预测。语音服务器在收集到用户语音数据后，除了合法的处理目的外，可能会出于恶意目的从语音记录中提取个人敏感信息，如说话内容、声纹、情绪和健康信息，将其传递给意图不明的其他方，这可能会使用户面临歧视、攻击性广告、勒索、身份盗窃、欺诈和其它的数据滥用风险。
3.语音隐私保护技术既要保护用户语音数据的隐私，又要保证数据具有较高的可用性，即需要保护用户语音数据中的副信息不被泄露，又要保证用户能享受到语音服务器带来的便利。
4.常用的语音隐私保护处理方法包括删除、隐私计算和匿名。对于删除方法，指的是利用声学传感器对环境声音进行干扰，缺点是有一个保护范围，若用户超出声学传感器的作用范围，则得不到保护。对于隐私计算方法，指的是使用传统的如安全多方计算、差分隐私等方法，转移运用到说话人语音处理领域，以解决上述的隐私泄露问题，缺点是计算成本过高，并不十分适用于语音数据传输场景。对于匿名方法，指的是利用机器学习模型产生对抗性干扰噪声从而保护用户的隐私。上述这些方案大都无法均衡数据效用与隐私保护，用户即需要充分享受服务，又需要自身隐私得到有效保护，这是人工智能语音数据隐私保护方面亟待解决的问题。


技术实现要素：

5.本发明提供的是一种基于机器学习匿名方法提出的语音隐私数据保护方法，该方案将语音中蕴含的声纹、情绪和健康特征进行分离，既充分保护了用户希望保护的隐私信息，又不影响数据的有效使用。
6.本发明的技术方案主要步骤如下：将训练好的特征分离器部署，通过离线第三方模型训练模块的方式分发到用户端，用户自定义设置需要保护的特征信息，特征分离器根据用户的设置，选择性的对用户的真实语音数据进行分离，将分离出的不包含隐私信息的特征信息，通过对称加密的方式传输给语音服务器，然后语音服务器收到加密特征值后进行解密分析，并推送相应的个性化服务。
7.其中所述特征分离器的构建包括以下步骤：
8.(1)将声学特征矢量通过rsfe卷积神经网络模型输出相应的语音特征矢量。
9.(2)将语音特征矢量输入至多头注意力机制中。
10.(3)用户在声纹、情绪、健康中选择需要分离的元素，特征分离器通过设置中间参数来控制语音分离的对象，通过在三个特征提取器之间加入互信息损失函数优化特征提取
器，降低提取到各特征之间的相关性与相互性，实现特征分离。
11.步骤(1)中的rsfe卷积神经网络模型可以选用通用的模型，也可以采用本发明提供的一个经优化后的模型，所述优化的rsfe卷积神经网络模型构建方法包括：
12.(a)rsfe卷积神经网络模型结构为13个卷积层、一个长短时记忆网络lstm、一个注意力层以及一个全连接层。
13.(b)卷积层的激活函数采用relu函数，池化层采用最大值池化方式，输入的特征通过第一层卷积后，与后12层卷积的结果进行contact连接。
14.(c)最后的全连接层选用softmax激活函数对所有的dropout层的输出进行回归得到相应的特征输出概率。
15.(d)对rsfe卷积神经网络模型进行分类任务训练，使用交叉熵损失函数训练出相应的特征提取器。
16.步骤(2)中所述多头注意力机制具体过程如下：
17.(a)将各语音特征提取模型的输出特征矢量输入至多头注意力机制的输入层。
18.(b)多头注意力层：将输入的特征矢量通过多头注意力机制进行特征提取，在多头注意力机制中，输入特征矢量被分为多个头部(head)，取head＝10，每个头部分别计算注意力分数，然后将所有头部的输出进行拼接，得到多头注意力机制的输出特征矢量。
19.(c)点线性变换层：将多头注意力层的输出特征矢量通过一个全连接的神经网络层，对特征进行非线性转换和提取，得到更加丰富特征表达的输出特征矢量。
20.(d)规范化层：将点线性变换层的输出特征矢量进行规范化处理，消除神经网络训练过程中可能出现的不稳定性以及不同维度特征之间的差异性。
21.(e)残差连接：将输入层和规范化层的输出特征矢量进行相加，得到多头注意力机制的最终输出特征矢量。该残差连接的设计可以提高模型的训练效果，避免深度网络中的梯度消失和梯度爆炸问题。
22.步骤(3)中，用户可以设置三种元素(情绪、声纹、健康)的保护程度，由特征分离模块根据用户的设置，加入互信息损失函数，优化特征提取器，降低三个特征提取器提取的特征之间的相关性，将用户希望得到保护的信息从语音数据中分离出去。本步骤中，将各语音提取器提取的语音特征矢量进行特征分离，具体实现方法如下：
23.(a)用户可以在声纹、情绪、健康中选择需要分离的元素，特征分离器会通过设置中间参数来控制语音分离的对象，以保护用户隐私的同时又不影响服务器的分类性能。
24.(b)特征分离主要是通过在三个特征提取器之间加入了互信息损失函数的方式，来对特征提取器进行优化，从而降低三个特征提取器提取的特征之间的相关性。其中互信息表达式如下：
25.i(u；v；w)＝h(u)+h(v)+h(w)-h(u,v)-h(u,w)-h(v,w)+h(u,v,w)；
26.其中，u、v和w分别表示三个离散随机变量，h(u,w)表示u和w的联合熵，h(
·
)表示熵。
27.本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上所述语音隐私数据保护方法的步骤。
28.本发明还提供了一种基于互信息估计的语音特征分离系统，包括如下模块：
29.特征提取模块：使用声纹、情绪、健康数据集分别训练出相应的特征提取器。该模
块功能如下：
30.分别利用声纹、情绪和健康数据集对特征提取器以分类任务进行训练，保存模型时删除最后的分类层并得到三种可以提取相应特征的特征提取器。
31.在三种语音特征提取模型中加入多头注意力机制以提高对语音特征提取的准确性。
32.用户设置模块：供用户设置对不同元素的保护程度。
33.特征分离模块：根据用户的设置，加入互信息损失函数，优化特征提取模块的特征提取器，进而分离语音中的包含的各元素特征。该模块功能如下：
34.可以根据用户的不同设置，控制特征分离程度与对象。
35.通过加入互信息损失函数的方式，降低特征之间的相关性，进而实现提取的特征中，只包含用户希望分享的信息。
36.本发明的技术特点及效果：
37.现有技术通常是通过加噪方式保护用户的隐私，其结果会影响到数据的效用。本发明给用户提供了多项选择，用户可以根据自身的需求自定义隐私保护策略，设计的特征分离器在用户端根据用户的设置对语音数据进行分离，从而在保证数据效用和隐私的情况下分享数据。
附图说明
38.图1是本发明中的语音特征分离方法整体框架图；
39.图2是本发明设计的语音特征提取器模型图。
具体实施方式
40.下面结合附图和实施案例对本发明做进一步详细地说明。
41.如图1所示，从语音识别软件和通过智能语音设备获得语音信息，分别通过语音特征提取器提取声纹特征矢量、情绪特征矢量和健康特征矢量，并在语音特征提取器中加入多头注意力机制，可以帮助神经网络模型更好地适应数据特征，从而提高模型的性能。根据用户设置，通过加入互信息损失函数，进而选择性的分离语音数据中的声纹、情绪和健康特征矢量。上述方案建立的步骤如下：
42.(1)模型训练使用的语音情绪、声纹和语音健康数据集收集。
43.(1.1)本案例对中国科学院自动化所录制的汉语情感数据集(casia)综合提取了六类语音情绪数据，以训练语音情绪特征提取器。casia数据集包含9600个不同的语音样本，由4个专业发音人(两男两女)录制而成，每个发音人都朗诵了300句相同的文本和100句不同的文本，每句文本都有六种情绪(生气，高兴，害怕，悲伤，惊讶和中性)的版本。
44.(1.2)使用爱丁堡大学语音技术研究中心(cstr)构建的vctk数据集训练声纹特征提取器，vctk数据集包含110位不同口音的英语使用者所发出的语音数据，每个演讲者朗读大约400个句子。
45.(1.3)使用匹兹堡大学和卡内基梅隆大学合作建立的dementiabank数据集，该数据集包含了117名阿尔兹海默症患者和93名健康人的语音样本，他们都是在描述一副图片。同时使用英国伦敦大学和剑桥大学合作建立的parkinson’s voice initiative数据集，其
中包含100000个发音样本，其中有5875个来自帕金森症患者，4125个来自正常人。
46.(2)特征提取模块的建立。
47.(2.1)输入数据为13维的mfcc特征值，分别利用数据集对卷积神经网络模型进行分类任务训练，分别得出声纹特征提取器、语音情绪特征提取器和语音健康特征提取器。具体模型结构如下：
48.a.特征提取器结构为13个卷积层、一个长短时记忆网络(lstm)、一个注意力层以及一个全连接层。
49.b.卷积层的激活函数采用relu函数，池化层采用最大值池化方式，输入的特征通过第一层卷积后，会与后12层卷积的结果进行contact连接。
50.c.最后的全连接层选用softmax激活函数对所有的dropout层的输出进行回归得到相应的特征输出概率。
51.d.对模型进行分类任务训练，使用交叉熵损失函数训练出相应的特征提取器。
52.(2.2)将步骤(2.1)中的特征提取器输出的特征矢量输入至多头注意力机制中，帮助神经网络模型更好地适应数据特征，从而提高模型的性能，具体如下：
53.a.多头注意力层：首先将输入的特征矢量通过多头注意力机制进行特征提取。在多头注意力机制中，输入特征矢量被分为多个头部(head)，每个头部分别计算注意力分数，然后将所有头部的输出进行拼接，得到多头注意力机制的输出特征矢量，这里取head＝10。
54.b.点线性变换层：将多头注意力层的输出特征矢量通过一个全连接的神经网络层，对特征进行非线性转换和提取，得到更加丰富的特征表达。
55.c.规范化层：将点线性变换层的输出特征矢量进行规范化处理，消除神经网络训练过程中可能出现的不稳定性，以及不同维度特征之间的差异性。
56.d.残差连接：将输入层和规范化层的输出特征矢量进行相加，得到多头注意力机制的最终输出特征矢量。
57.(3)用户设置模块，用户根据自身情况选择不希望被分享的元素，便于后期特征分离器有针对性的对用户语音数据进行特征分离。
58.(4)特征分离模块的建立。
59.(4.1)根据步骤(4)用户设置模块的自定义设置，对步骤(3)中所述的三种特征提取器之间加入互信息损失函数，如附图1所示。其中计算三个随机变量之间的互信息，表达式如下：
60.i(u；v；w)＝h(u)+h(v)+h(w)-h(u,v)-h(u,w)-h(v,w)+h(u,v,w)；
61.其中，u、v和w分别表示三个离散随机变量，h(u,w)表示u和w的联合熵，h(
·
)表示熵。
62.互信息损失函数的表达式如下：
[0063][0064]
其中f(xi,yi)表示输入数据x和y的互信息，ω是一个常数，n是输入数据的数量。
[0065]
(4.2)将互信息损失函数加入到总体损失函数中，具体来说，可以使用以下公式来
计算总体损失函数：l
loss
＝l
classification
+λ*l
mi
；其中，l
classification
是分类模型的交叉熵损失函数，λ是超参数，用于平衡分类损失和互信息损失的权重，l
mi
是互信息损失函数。

技术特征：
1.一种语音隐私数据保护方法，其特征在于，所述方法包括：将训练好的特征分离器部署，通过离线第三方模型训练模块的方式分发到用户端，用户自定义设置需要保护的特征信息，特征分离器根据用户的设置，选择性的对用户的真实语音数据进行分离，将分离出的不包含隐私信息的特征信息，通过对称加密的方式传输给语音服务器，然后语音服务器收到加密特征值后进行解密分析，并推送相应的个性化服务；所述特征分离器的构建包括以下步骤：(1)将声学特征矢量通过rsfe卷积神经网络模型输出相应的语音特征矢量；(2)将语音特征矢量输入至多头注意力机制中；(3)用户在声纹、情绪、健康中选择需要分离的元素，特征分离器通过设置中间参数来控制语音分离的对象，通过在三个特征提取器之间加入互信息损失函数优化特征提取器，实现特征分离。2.根据权利要求1所述的方法，其特征在于，所述rsfe卷积神经网络模型的构建包括以下步骤：(1)rsfe卷积神经网络模型结构为13个卷积层、一个长短时记忆网络lstm、一个注意力层以及一个全连接层；(2)卷积层的激活函数采用relu函数，池化层采用最大值池化方式，输入的特征通过第一层卷积后，与后12层卷积的结果进行contact连接；(3)最后的全连接层选用softmax激活函数对所有的dropout层的输出进行回归得到相应的特征输出概率；(4)对rsfe卷积神经网络模型进行分类任务训练，使用交叉熵损失函数训练出相应的特征提取器。3.一种非暂态计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1或2所述方法的步骤。

技术总结
本发明公开了一种语音隐私数据保护方法及存储介质，所述方法包括：将训练好的特征分离器部署，通过离线第三方模型训练模块的方式分发到用户端，用户自定义设置需要保护的特征信息，特征分离器根据用户的设置，选择性的对用户的真实语音数据进行分离，将分离出的不包含隐私信息的特征信息，通过对称加密的方式传输给语音服务器，然后语音服务器收到加密特征值后进行解密分析，并推送相应的个性化服务。现有技术通常是通过加噪方式保护用户的隐私，其结果会影响到数据的效用，本发明可以给用户提供多项选择，用户可以根据自身的需求自定义隐私保护策略，设计的特征分离器在用户端根据用户的设置对语音数据进行分离，从而在保证数据效用和隐私的情况下分享数据。据效用和隐私的情况下分享数据。据效用和隐私的情况下分享数据。


技术研发人员：刘忆宁 罗力
受保护的技术使用者：桂林电子科技大学
技术研发日：2023.03.23
技术公布日：2023/8/24