一种基于数字孪生的语音识别系统的制作方法

1.本发明涉及语音识别技术领域，更具体地说，本发明涉及一种基于数字孪生的语音识别系统。


背景技术：

2.语音识别指的是通过计算机将语音自动转换成文字的技术，它是一种基于语音的人与机器之间的交互方式，在生产和生活中有着非常广泛的应用。现在语音识别已经被广泛地应用于智能家居、智能车辆以及智能客服机器人方面，语音识别技术会深入到学习、生活和工作的每一个方面。而现有技术中常发生语音识别不准确的情况，对语音语音识别准确性进行评估，并分析对语音识别不准确的主要影响因素迫在眉睫。为了解决上述问题，现提供一种技术方案。


技术实现要素：

3.为了克服现有技术的上述缺陷，本发明的实施例提供一种基于数字孪生的语音识别系统，是通过梅尔频率倒谱系数(mfcc)法对语音信息进行特征提取，通过在虚拟环境中构建一个语音数字模型，将计算获得梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练，并且评估语音识别模型的性能，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：
5.一种基于数字孪生的语音识别系统，包括数据收集模块、数据处理模块、信息提取模块、数字孪生模型建立模块、模型评估模块以及系统维护模块，数据收集模块用于通过麦克风、声音传感器以及减加速传感器收集语音信息，并提取语音信息中的语种指标、环境指标、音色指标、声音检测质量以及语速，生成语音识别库；数据处理模块用于对语音信息进行预处理，包括降噪、滤波，对语音识别库进行归一化处理；信息提取模块通过梅尔频率倒谱系数法对语音信息进行特征提取；数字孪生模型建立模块用于在虚拟环境中构建一个语音数字模型，将梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练；模型评估模块用于评估语音识别模型的性能，并利用梅尔频率倒谱系数以及语音识别库中的数据建立语音识别准确性评估模型；系统维护模块用于实时更新数字孪生模型。
6.作为本发明进一步的方案，信息提取模块通过梅尔频率倒谱系数(mfcc)法对语音信息进行特征提取，对语音信息进行特征提取的步骤为：
7.步骤一，将语音信息分割成等时长的短时帧，通过滤波器对语音信号进行滤波，去除频率范围的低噪声成分；
8.步骤二，将加窗后的短时帧转换为较低的采样率，在降采样后的短时帧上应用预加重滤波器；
9.步骤三，将预加重后的短时帧通过梅尔滤波器组进行变换，利用梅尔频率域变换将语音信息从时域转换到梅尔频率域；
10.步骤四，对梅尔频率域变换后的信号进行离散余弦变换得到梅尔频率倒谱系数，作为语音识别中的特征向量。
11.作为本发明进一步的方案，数字孪生模型建立模块是构建一个基于深度学习的卷积神经网络模型用于学习语音特征与对应语音文本之间的映射关系，具体过程如下：
12.a.输入层：
13.输入数据：mfcc特征矩阵，维度为时间步长，mfcc系数数量；
14.输入数据预处理：对mfcc特征进行标准化处理，减去均值并除以标准差；
15.b.卷积层：
16.卷积操作：使用多个卷积核对输入数据进行卷积操作，卷积核的大小为(卷积核宽度，卷积核高度，输入通道数)；
17.卷积核参数：卷积核的权重参数和偏置项参数，通过随机初始化或预训练模型进行初始化；
18.激活函数：对卷积层的输出进行非线性变换，激活函数包括relu、leakyrelu；
19.c.池化层：
20.下采样操作：对卷积层的输出进行池化操作，使用最大池化或平均池化；
21.池化窗口大小和步幅：根据需求设置池化窗口的大小和步幅，以控制特征图的尺寸减小程度；
22.d.全连接层：
23.特征连接：将池化层输出的特征展开成一维向量，并连接到全连接层；
24.全连接层参数：全连接层的权重参数和偏置项参数，通过随机初始化或预训练模型进行初始化；
25.激活函数：对全连接层的输出进行非线性变换，激活函数包括relu、leakyrelu；
26.e.输出层：
27.softmax函数：将全连接层的输出通过softmax函数进行映射，将输出转化为各个类别的概率分布；
28.损失函数：选择交叉熵损失函数用于衡量预测结果与真实标签之间的差异。
29.作为本发明进一步的方案，数字孪生模型构建后将计算得到的mfcc特征以及语音识别库中的数据输入到语音数字模型中进行训练。包括以下过程：
30.输入数据：将标准化后的mfcc特征矩阵作为输入数据；
31.正向传播：将输入数据通过卷积层、池化层和全连接层，得到最终的输出结果；
32.损失计算：将模型的输出结果与真实标签进行比较，计算损失值；
33.反向传播：根据损失值，使用反向传播算法计算梯度并更新模型参数；
34.重复迭代：重复进行正向传播、损失计算和反向传播，直到达到指定的迭代次数或收敛条件。
35.将梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练，其中，语音数字模型训练过程的具体步骤为：
36.步骤s1，对梅尔频率倒谱系数以及语音识别库中的数据归为语音数据集，对语音数据集进行数据清洗，移除重复、不完整以及错误的数据；
37.步骤s2，将语音数据集划分为训练集、验证集和测试集，其中，训练集占70％，验证
集占20％，测试集占10％；
38.步骤s3，通过支持向量机模型选择对语音识别影响最大的特征；
39.步骤s4，通过贝叶斯优化选择模型的超参数，包括模型学习率、神经网络层数和大小；
40.步骤s5，将输入数据通过模型的各个层，预测输出数据。
41.作为本发明进一步的方案，模型评估模块用于评估语音识别模型的性能，具体过程如下：
42.a.选择评估指标：根据具体任务需求，选择评估指标来衡量模型的性能；常见的指标包括准确率、召回率、精确率、f1分数；
43.b.评估过程：使用独立于训练数据的评估数据集，将其输入已训练好的语音数字模型，根据模型的预测结果和真实标签计算评估指标；
44.测试集准备：将一部分数据集作为测试集，用于评估训练好的模型的性能；
45.输入数据：将测试集中的mfcc特征矩阵作为输入数据；
46.正向传播：将输入数据通过卷积层、池化层和全连接层，得到最终的输出结果；
47.预测结果：对输出结果进行后处理，使用softmax函数将输出转化为概率分布，并根据预测概率选择最终的预测类别；
48.真实标签：获取测试集中样本的真实标签；
49.性能指标计算：根据预测结果和真实标签，计算性能指标：准确率、精确率、召回率、f1值，用于评估模型的分类性能；
50.作为本发明进一步的方案，系统维护模块包括：
51.a.实时数据收集：系统实时收集语音识别的数据，包括输入语音和对应的识别结果；
52.b.分析与维护：通过对实时数据的分析，检测和识别语音识别的不准确情况，以便及时采取维护措施，提高系统的准确性和可靠性；
53.c.维护措施：根据实时数据分析的结果，确定针对识别不准确的情况采取的维护措施，包括调整模型参数、重新训练模型、更新语音识别库数据、优化特征提取方法；
54.d.维护周期：根据系统需求和性能要求，确定维护的周期性。可以是定期的维护，也可以是根据实时数据分析的结果进行自动化维护。
55.在进行语音识别准确性评估时，各项评估因子存在以下的数值变化规则：
56.情况一：梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，语速和标准语速差值的绝对值较小时，语音识别准确性数值较大，语速和标准语速差值的绝对值较大时，语音识别准确性较小；
57.情况二：语速和标准语速差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，梅尔频率倒谱系数和标准梅尔
频率倒谱系数差值的绝对值较小时，语音识别准确性数值较小，梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值较大时，语音识别准确性较大；
58.情况三：语速和标准语速差值的绝对值在设定的阈值范围内、梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，语种指标和患者标准语种指标差值的绝对值较小时，语音识别准确性数值较大，语种指标和患者标准语种指标差值的绝对值较大时，语音识别准确性较小；
59.情况四：语速和标准语速差值的绝对值在设定的阈值范围内、梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，环境指标和环境指标差值的绝对值较小时，语音识别准确性数值较小，环境指标和环境指标差值的绝对值较大时，语音识别准确性较大；
60.情况五：语速和标准语速差值的绝对值在设定的阈值范围内、梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，音色指标和标准音色指标差值的绝对值较小时，语音识别准确性数值较小，音色指标和标准音色指标差值的绝对值较大时，语音识别准确性较大；
61.情况五：语速和标准语速差值的绝对值在设定的阈值范围内、梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内，声音检测质量和标准声音检测质量差值的绝对值较小时，语音识别准确性数值较小，声音检测质量和标准声音检测质量差值的绝对值较大时，语音识别准确性较大。
62.作为本发明进一步的方案，模型评估模块利用训练后的梅尔频率倒谱系数以及语音识别库中的数据建立语音识别准确性评估模型，语音识别准确性评估模型的评估因子包括梅尔频率倒谱系数、语种指标、环境指标、音色指标、声音检测质量以及语速，其中，语音识别准确性与梅尔频率倒谱系数正相关，与语种指标负相关，与环境指标正相关，与音色指标正相关，与声音检测质量正相关，与语速负相关，语音识别准确性评估模型的评估机制为：
[0063][0064]
式中：wi为语音识别准确性，α为梅尔频率倒谱系数，qz为语种指标，qc为环境指标，qa为音色指标，qd为声音检测质量，q
t
为语速。
[0065]
作为本发明进一步的方案，语音识别准确性评估模型的环境指标根据设备性能指标、网络延迟指标以及背景噪声音量建立评估机制，评估公式为：
[0066][0067]
式中：ti为设备性能指标、tm为网络延迟指标，tn为背景噪声音量。
[0068]
本发明一种基于数字孪生的语音识别系统的技术效果和优点：
[0069]
本发明是通过梅尔频率倒谱系数法对语音信息进行特征提取，通过在虚拟环境中构建一个语音数字模型，将计算获得梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练，并且评估语音识别模型的性能，利用梅尔频率倒谱系数以及语音识别库中的数据建立语音识别准确性评估模型，通过实时收集数据帮助实现对语音识别不准确的分析，便于提前采取维护措施，降低识别不准确发生的概率和影响。并且有助于在识别过程中及时发现和解决问题，提高识别准确性。
附图说明
[0070]
图1为本发明一种基于数字孪生的语音识别系统的结构示意图。
具体实施方式
[0071]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0072]
一种基于数字孪生的语音识别系统，包括数据收集模块、数据处理模块、信息提取模块、数字孪生模型建立模块、模型评估模块以及系统维护模块，数据收集模块用于通过麦克风、声音传感器以及减加速传感器收集语音信息，并提取语音信息中的语种指标、环境指标、音色指标、声音检测质量以及语速，生成语音识别库；数据处理模块用于对语音信息进行预处理，包括降噪、滤波，对语音识别库进行归一化处理；信息提取模块通过梅尔频率倒谱系数法对语音信息进行特征提取；数字孪生模型构建：构建一个基于深度学习的卷积神经网络模型用于学习语音特征与对应语音文本之间的映射关系，具体过程如下：
[0073]
a.输入层：
[0074]
输入数据：mfcc特征矩阵，维度为时间步长，mfcc系数数量；
[0075]
输入数据预处理：对mfcc特征进行标准化处理，减去均值并除以标准差；
[0076]
b.卷积层：
[0077]
卷积操作：使用多个卷积核对输入数据进行卷积操作，卷积核的大小为(卷积核宽度，卷积核高度，输入通道数)；
[0078]
卷积核参数：卷积核的权重参数和偏置项参数，通过随机初始化或预训练模型进行初始化；
[0079]
激活函数：对卷积层的输出进行非线性变换，激活函数包括relu、leakyrelu；
[0080]
c.池化层：
[0081]
下采样操作：对卷积层的输出进行池化操作，使用最大池化或平均池化；
[0082]
池化窗口大小和步幅：根据需求设置池化窗口的大小和步幅，以控制特征图的尺寸减小程度；
[0083]
d.全连接层：
[0084]
特征连接：将池化层输出的特征展开成一维向量，并连接到全连接层；
[0085]
全连接层参数：全连接层的权重参数和偏置项参数，通过随机初始化或预训练模型进行初始化；
[0086]
激活函数：对全连接层的输出进行非线性变换，激活函数包括relu、leakyrelu；
[0087]
e.输出层：
[0088]
softmax函数：将全连接层的输出通过softmax函数进行映射，将输出转化为各个类别的概率分布；
[0089]
损失函数：选择交叉熵损失函数用于衡量预测结果与真实标签之间的差异；
[0090]
数字孪生模型构建后将计算得到的mfcc特征以及语音识别库中的数据输入到语音数字模型中进行训练：
[0091]
a.定义损失函数：交叉熵损失函数用于衡量模型输出与实际标签之间的差异；对于语音识别任务，假设有n个类别(例如n个不同的语音标签)，则交叉熵损失函数的计算公式为：
[0092][0093]
其中，y i表示实际标签的概率分布(one-hot编码)，而表示模型的预测概率分布；
[0094]
b.优化算法：使用随机梯度下降或adam优化算法，通过计算损失函数的梯度，更新模型的权重和参数，使其向着损失函数最小化的方向进行调整；
[0095]
c.反向传播：使用反向传播算法，从输出层到输入层计算每个参数的梯度，并更新参数的值；这个过程包括前向传播(计算损失)和反向传播(计算梯度和参数更新)两个步骤；
[0096]
d.迭代训练：将训练数据输入模型，进行多次迭代训练，直到达到预定的停止条件(如达到最大迭代次数或损失函数收敛)；
[0097]
模型评估模块用于评估语音识别模型的性能，并利用梅尔频率倒谱系数以及语音识别库中的数据建立语音识别准确性评估模型；
[0098]
系统维护模块用于实时更新数字孪生模型。
[0099]
本实施例中使用梅尔频率倒谱系数(mfcc)法对语音信息进行特征提取。mfcc是一种常用的语音特征表示方法，信息提取过程如下：
[0100]
a.对语音信号进行分帧：将语音信号分成短时帧，通常每帧持续时间为20-40毫秒；
[0101]
b.对每帧应用汉明窗口：对每帧的信号应用汉明窗口函数，以减少频谱泄漏的影响；
[0102]
c.进行快速傅里叶变换(fft)：对每帧信号进行fft变换，将时域信号转换为频域信号；
[0103]
d.计算功率谱密度：对每帧的频域信号取模的平方，得到功率谱密度；
[0104]
e.应用滤波器组：将功率谱密度与一组三角滤波器进行卷积运算，以提取梅尔频率特征；
[0105]
f.对数压缩：对每个滤波器组的能量值取对数，以减小幅度的动态范围；
[0106]
g.应用离散余弦变换(dct)：对每个滤波器组的对数能量值应用dct变换，得到mfcc特征系数。
[0107]
本实施例中的将梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练，其中，语音数字模型训练过程的具体步骤为：
[0108]
步骤s1，对梅尔频率倒谱系数以及语音识别库中的数据归为语音数据集，对语音数据集进行数据清洗，移除重复、不完整以及错误的数据；
[0109]
步骤s2，将语音数据集划分为训练集、验证集和测试集，其中，训练集占70％，验证集占20％，测试集占10％；
[0110]
步骤s3，通过支持向量机模型选择对语音识别影响最大的特征；
[0111]
步骤s4，通过贝叶斯优化选择模型的超参数，包括模型学习率、神经网络层数和大小；
[0112]
步骤s5，将输入数据通过模型的各个层，预测输出数据。
[0113]
本实施例中的模型评估模块用于评估语音识别模型的性能，模型评估模块用于评估语音识别模型的性能，具体过程如下：
[0114]
a.选择评估指标：根据具体任务需求，选择评估指标来衡量模型的性能；常见的指标包括准确率、召回率、精确率、f1分数；
[0115]
b.评估过程：使用独立于训练数据的评估数据集，将其输入已训练好的语音数字模型，根据模型的预测结果和真实标签计算评估指标；
[0116]
测试集准备：将一部分数据集作为测试集，用于评估训练好的模型的性能；
[0117]
输入数据：将测试集中的mfcc特征矩阵作为输入数据；
[0118]
正向传播：将输入数据通过卷积层、池化层和全连接层，得到最终的输出结果；
[0119]
预测结果：对输出结果进行后处理，使用softmax函数将输出转化为概率分布，并根据预测概率选择最终的预测类别；
[0120]
真实标签：获取测试集中样本的真实标签；
[0121]
性能指标计算：根据预测结果和真实标签，计算性能指标：准确率、精确率、召回率、f1值，用于评估模型的分类性能。
[0122]
本实施例中的系统维护模块包括：
[0123]
a.实时数据收集：系统实时收集语音识别的数据，包括输入语音和对应的识别结果；
[0124]
b.分析与维护：通过对实时数据的分析，检测和识别语音识别的不准确情况，以便及时采取维护措施，提高系统的准确性和可靠性；
[0125]
c.维护措施：根据实时数据分析的结果，确定针对识别不准确的情况采取的维护措施，包括调整模型参数、重新训练模型、更新语音识别库数据、优化特征提取方法；
[0126]
d.维护周期：根据系统需求和性能要求，确定维护的周期性。可以是定期的维护，也可以是根据实时数据分析的结果进行自动化维护。
[0127]
在进行语音识别准确性评估时，各项评估因子存在以下的数值变化规则：
[0128]
情况一：梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、环境指标和环
境指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，语速和标准语速差值的绝对值较小时，语音识别准确性数值较大，语速和标准语速差值的绝对值较大时，语音识别准确性较小；
[0129]
情况二：语速和标准语速差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值较小时，语音识别准确性数值较小，梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值较大时，语音识别准确性较大；
[0130]
情况三：语速和标准语速差值的绝对值在设定的阈值范围内、梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，语种指标和患者标准语种指标差值的绝对值较小时，语音识别准确性数值较大，语种指标和患者标准语种指标差值的绝对值较大时，语音识别准确性较小；
[0131]
情况四：语速和标准语速差值的绝对值在设定的阈值范围内、梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，环境指标和环境指标差值的绝对值较小时，语音识别准确性数值较小，环境指标和环境指标差值的绝对值较大时，语音识别准确性较大；
[0132]
情况五：语速和标准语速差值的绝对值在设定的阈值范围内、梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、声音检测质量和标准声音检测质量差值的绝对值在设定的阈值范围内，音色指标和标准音色指标差值的绝对值较小时，语音识别准确性数值较小，音色指标和标准音色指标差值的绝对值较大时，语音识别准确性较大；
[0133]
情况五：语速和标准语速差值的绝对值在设定的阈值范围内、梅尔频率倒谱系数和标准梅尔频率倒谱系数差值的绝对值在设定的阈值范围内、语种指标和患者标准语种指标差值的绝对值在设定的阈值范围内、环境指标和环境指标差值的绝对值在设定的阈值范围内、音色指标和标准音色指标差值的绝对值在设定的阈值范围内，声音检测质量和标准声音检测质量差值的绝对值较小时，语音识别准确性数值较小，声音检测质量和标准声音检测质量差值的绝对值较大时，语音识别准确性较大。
[0134]
本实施例中的模型评估模块利用训练后的梅尔频率倒谱系数以及语音识别库中的数据建立语音识别准确性评估模型，语音识别准确性评估模型的评估因子包括梅尔频率倒谱系数、语种指标、环境指标、音色指标、声音检测质量以及语速，其中，语音识别准确性与梅尔频率倒谱系数正相关，与语种指标负相关，与环境指标正相关，与音色指标正相关，与声音检测质量正相关，与语速负相关，语音识别准确性评估模型的评估机制为：
[0135][0136]
式中：wi为语音识别准确性，α为梅尔频率倒谱系数，qz为语种指标，qc为环境指标，qa为音色指标，qd为声音检测质量，q
t
为语速。
[0137]
本实施例中的语音识别准确性评估模型的环境指标根据设备性能指标、网络延迟指标以及背景噪声音量建立评估机制，评估公式为：
[0138][0139]
式中：ti为设备性能指标、tm为网络延迟指标，tn为背景噪声音量。
[0140]
综上所述，通过梅尔频率倒谱系数法对语音信息进行特征提取，通过在虚拟环境中构建一个语音数字模型，将计算获得梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练，并且评估语音识别模型的性能，利用梅尔频率倒谱系数以及语音识别库中的数据建立语音识别准确性评估模型，通过实时收集数据帮助实现对语音识别不准确的分析，便于提前采取维护措施，降低识别不准确发生的概率和影响，并且有助于在识别过程中及时发现和解决问题，提高识别准确性。
[0141]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种基于数字孪生的语音识别系统，包括数据收集模块、数据处理模块、信息提取模块、数字孪生模型建立模块、模型评估模块以及系统维护模块，其特征在于，数据处理模块用于对语音信息进行预处理，包括降噪、滤波，对语音识别库进行归一化处理；信息提取模块通过梅尔频率倒谱系数法对语音信息进行特征提取；数字孪生模型建立模块用于在虚拟环境中构建一个语音数字模型，将梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练；模型评估模块利用训练后的梅尔频率倒谱系数以及语音识别库中的数据建立语音识别准确性评估模型，语音识别准确性评估模型的评估因子包括梅尔频率倒谱系数、语种指标、环境指标、音色指标、声音检测质量以及语速，语音识别准确性评估模型的评估机制为：式中：w
i
为语音识别准确性，α为梅尔频率倒谱系数，q
z
为语种指标，q
c
为环境指标，q
a
为音色指标，q
d
为声音检测质量，q
t
为语速。2.根据权利要求1所述的一种基于数字孪生的语音识别系统，其特征在于，数字孪生模型建立模块是构建一个基于深度学习的卷积神经网络模型用于学习语音特征与对应语音文本之间的映射关系，具体过程如下：a.输入层：输入数据：mfcc特征矩阵，维度为时间步长，mfcc系数数量；输入数据预处理：对mfcc特征进行标准化处理，减去均值并除以标准差；b.卷积层：卷积操作：使用多个卷积核对输入数据进行卷积操作；卷积核参数：卷积核的权重参数和偏置项参数，通过随机初始化或预训练模型进行初始化；激活函数：对卷积层的输出进行非线性变换；c.池化层：下采样操作：对卷积层的输出进行池化操作，使用最大池化或平均池化；池化窗口大小和步幅：根据需求设置池化窗口的大小和步幅，以控制特征图的尺寸减小程度；d.全连接层：特征连接：将池化层输出的特征展开成一维向量，并连接到全连接层；全连接层参数：全连接层的权重参数和偏置项参数，通过随机初始化或预训练模型进行初始化；激活函数：对全连接层的输出进行非线性变换；e.输出层：softmax函数：将全连接层的输出通过softmax函数进行映射，将输出转化为各个类别的概率分布；损失函数：选择交叉熵损失函数用于衡量预测结果与真实标签之间的差异。3.根据权利要求1所述的一种基于数字孪生的语音识别系统，其特征在于，数据收集模块用于通过麦克风、声音传感器以及减加速传感器收集语音信息，并提取语音信息中的语
种指标、环境指标、音色指标、声音检测质量以及语速，生成语音识别库；信息提取模块通过梅尔频率倒谱系数法对语音信息进行特征提取，对语音信息进行特征提取的步骤为：步骤一，将语音信息分割成等时长的短时帧，通过滤波器对语音信号进行滤波，去除频率范围的低噪声成分；步骤二，将加窗后的短时帧转换为采样率，在降采样后的短时帧上应用预加重滤波器；步骤三，将预加重后的短时帧通过梅尔滤波器组进行变换，利用梅尔频率域变换将语音信息从时域转换到梅尔频率域；步骤四，对梅尔频率域变换后的信号进行离散余弦变换得到梅尔频率倒谱系数，作为语音识别中的特征向量。4.根据权利要求1所述的一种基于数字孪生的语音识别系统，其特征在于，将梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练，其中，语音数字模型训练过程的具体步骤为：步骤s1，对梅尔频率倒谱系数以及语音识别库中的数据归为语音数据集，对语音数据集进行数据清洗，移除重复、不完整以及错误的数据；步骤s2，将语音数据集划分为训练集、验证集和测试集，其中，训练集占70％，验证集占20％，测试集占10％；步骤s3，通过支持向量机模型选择对语音识别影响最大的特征；步骤s4，通过贝叶斯优化选择模型的超参数，包括模型学习率、神经网络层数和大小；步骤s5，将输入数据通过模型的各个层，预测输出数据。5.根据权利要求1所述的一种基于数字孪生的语音识别系统，其特征在于，模型评估模块用于评估语音识别模型的性能，具体过程如下：a.选择评估指标：根据具体任务需求，选择评估指标来衡量模型的性能；常见的指标包括准确率、召回率、精确率、f1分数；b.评估过程：使用独立于训练数据的评估数据集，将其输入已训练好的语音数字模型，根据模型的预测结果和真实标签计算评估指标；测试集准备：将一部分数据集作为测试集，用于评估训练好的模型的性能；输入数据：将测试集中的mfcc特征矩阵作为输入数据；正向传播：将输入数据通过卷积层、池化层和全连接层，得到最终的输出结果；预测结果：对输出结果进行后处理，使用softmax函数将输出转化为概率分布，并根据预测概率选择最终的预测类别；真实标签：获取测试集中样本的真实标签；性能指标计算：根据预测结果和真实标签，计算性能指标：准确率、精确率、召回率、f1值，用于评估模型的分类性能。6.根据权利要求1所述的一种基于数字孪生的语音识别系统，其特征在于，语音识别准确性评估模型的环境指标根据设备性能指标、网络延迟指标以及背景噪声音量建立评估机制，评估公式为：式中：t
i
为设备性能指标、t
m
为网络延迟指标，t
n
为背景噪声音量。
7.根据权利要求2所述的一种基于数字孪生的语音识别系统，其特征在于，数字孪生模型构建后将计算得到的mfcc特征以及语音识别库中的数据输入到语音数字模型中进行训练：a.定义损失函数：交叉熵损失函数用于衡量模型输出与实际标签之间的差异；对于语音识别任务，假设有n个类别，则交叉熵损失函数的计算公式为：其中，yi表示实际标签的概率分布，而表示模型的预测概率分布；b.优化算法：使用随机梯度下降或adam优化算法，通过计算损失函数的梯度，更新模型的权重和参数，使其向着损失函数最小化的方向进行调整；c.反向传播：使用反向传播算法，从输出层到输入层计算每个参数的梯度，并更新参数的值；这个过程包括前向传播和反向传播两个步骤；d.迭代训练：将训练数据输入模型，进行多次迭代训练，直到达到预定的停止条件。8.根据权利要求1所述的一种基于数字孪生的语音识别系统，其特征在于，系统维护模块用于实时更新数字孪生模型；系统维护模块包括：a.实时数据收集：系统实时收集语音识别的数据，包括输入语音和对应的识别结果；b.分析与维护：通过对实时数据的分析，检测和识别语音识别的不准确情况；c.维护措施：根据实时数据分析的结果，确定针对识别不准确的情况采取的维护措施，包括调整模型参数、重新训练模型、更新语音识别库数据、优化特征提取方法；d.维护周期：根据系统需求和性能要求，确定维护的周期性。

技术总结
本发明涉及语音识别技术领域，具体公开了一种基于数字孪生的语音识别系统，包括数据收集模块、数据处理模块、信息提取模块、数字孪生模型建立模块、模型评估模块以及系统维护模块；本发明通过梅尔频率倒谱系数法对语音信息进行特征提取，通过在虚拟环境中构建一个语音数字模型，将计算获得梅尔频率倒谱系数以及语音识别库中的数据输入至语音数字模型中进行训练，并且评估语音识别模型的性能，利用梅尔频率倒谱系数以及语音识别库中的数据建立语音识信息提取别准确性评估模型，通过实时收集数据帮助实现对语音识别不准确的分析，便于提前采取维护措施，降低识别不准确发生的概率和影响。影响。影响。


技术研发人员：盛华军 姜阳奇 杨立 沈驰峰 叶均 邹家辉
受保护的技术使用者：杭州萧山国际机场有限公司
技术研发日：2023.05.29
技术公布日：2023/9/14