一种针对语音合成垃圾电话的检测识别方法及装置

1.本发明属于通信技术领域，尤其涉及一种针对语音合成垃圾电话的检测识别方法及装置。


背景技术：

2.随着信息通信技术的发展，语音通信业务资费越来越低，这降低了人们工作和生活交流成本。因此，如何准确的识别并拦截垃圾骚扰电话对于维护清朗的网络空间和保护人民生命财产安全具有重要意义。
3.现有的公开技术方法一般是从通信行为和通信内容两个方面识别垃圾电话。在通信行为方面，主要是通过呼叫频次分析、来电号码标记等方法检测垃圾电话；在通信内容方面，主要是通过固定语音模板匹配、语音转文本后进行关键词匹配等方法检测垃圾电话。其中，基于呼叫频次分析的方法只能发现呼叫规律异常特征很明显的垃圾电话，其检测覆盖率较低，而基于来电号码标记的方法则依赖于接听者的主观判断，准确率较低；基于固定语音模板匹配和关键词匹配的方法，虽然具有较高的准确率，但是由于这类方法依赖于先验的目标样本，对于呼叫样本更新频繁、花样较多的垃圾电话显得力不从心，时效性较差。
4.尤其是语音合成技术的成熟化与工具化，使得不法分子可以更加方便的制作花样繁多的垃圾电话。基于语音合成技术，不法分子不仅可以节省大量的人力成本，还可以不断变换骚扰语音内容，以躲避现有的垃圾电话检测技术方法。


技术实现要素：

5.针对现有技术难以有效、及时地检测基于语音合成技术的垃圾骚扰电话的问题，本发明提供了一种针对语音合成垃圾电话的检测识别方法及装置，提高了垃圾电话识别的准确性和时效性。
6.为了实现上述目的，本发明采用以下技术方案：本发明一方面提出一种针对语音合成垃圾电话的检测识别方法，包括：步骤1：将合成语音和自然人语音分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；步骤2：对步骤1中的正、负样本分别提取自然度特征向量；步骤3：将所述自然度特征向量输入支持向量机svm中进行训练，得到合成语音检测模型；步骤4：将垃圾电话和正常电话分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；步骤5：对步骤4中的正、负样本分别提取通信行为特征向量；步骤6：将所述通信行为特征向量输入支持向量机svm中进行训练，得到异常呼叫检测模型；步骤7：基于合成语音检测模型对待检测的电话样本进行合成语音检测；
步骤8：基于合成语音检测模型的检测结果，利用异常呼叫检测模型对待检测的电话样本进行异常呼叫检测。
7.进一步地，所述步骤7包括：对待检测的电话样本提取自然度特征向量，将提取的自然度特征向量输入训练好的合成语音检测模型，输出该电话样本的合成语音检测结果；如果输出结果为合成语音，则执行步骤8；否则结束检测流程。
8.进一步地，所述步骤8包括：对步骤7检测结果为合成语音的样本，提取其通信行为特征向量，输入训练好的异常呼叫检测模型，输出该电话样本的最终检测结果；如果输出结果是异常呼叫，则判定该电话样本为基于语音合成技术生成的垃圾电话；否则，结束检测流程。
9.本发明另一方面提出一种针对语音合成垃圾电话的检测识别装置，包括：第一数据集划分模块，用于将合成语音和自然人语音分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；第一特征提取模块，用于对第一数据集划分模块中的正、负样本分别提取自然度特征向量；第一模型训练模块，用于将所述自然度特征向量输入支持向量机svm中进行训练，得到合成语音检测模型；第二数据集划分模块，将垃圾电话和正常电话分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；第二特征提取模块，用于对第二数据集划分模块中的正、负样本分别提取通信行为特征向量；第二模型训练模块，用于将所述通信行为特征向量输入支持向量机svm中进行训练，得到异常呼叫检测模型；第一样本检测模块，用于基于合成语音检测模型对待检测的电话样本进行合成语音检测；第二样本检测模块，用于基于合成语音检测模型的检测结果，利用异常呼叫检测模型对待检测的电话样本进行异常呼叫检测。
10.进一步地，所述第一样本检测模块具体用于：对待检测的电话样本提取自然度特征向量，将提取的自然度特征向量输入训练好的合成语音检测模型，输出该电话样本的合成语音检测结果；如果输出结果为合成语音，则执行第二样本检测模块；否则结束检测流程。
11.进一步地，所述第二样本检测模块具体用于：对第一样本检测模块检测结果为合成语音的样本，提取其通信行为特征向量，输入训练好的异常呼叫检测模型，输出该电话样本的最终检测结果；如果输出结果是异常呼叫，则判定该电话样本为基于语音合成技术生成的垃圾电话；否则，结束检测流程。
12.与现有技术相比，本发明具有的有益效果：1、本发明利用自然度特征检测电话是否为合成语音，不依赖于先验的通话内容特征，即使不法分子不停地变换垃圾电话的话音内容，本发明也能实现有效检测，与基于固定语音模板匹配和关键词匹配的技术方法相比，具有一定的先进性，更加适用于检测识别语
音合成垃圾电话。
13.2、本发明利用通信行为特征检测垃圾电话，无需对通话内容特征进行深度分析，计算复杂度低，有利于实现对垃圾电话的快速识别。
14.3、通常情况下，正常电话不会采用合成语音进行呼叫。本发明首先进行合成语音检测，能够快速过滤掉大部分正常电话，大大降低后续的垃圾电话检测计算量，尤其适用于大规模电话呼叫实时检测的应用场景。
15.4、本发明整体技术方案包括训练和测试两个阶段，训练阶段可以离线执行，测试阶段可以在线执行。使用训练好的检测模型，能够快速高效地实施垃圾电话的检测识别，适用于在线检测业务场景，也能够实现垃圾电话的在线拦截功能。
附图说明
16.图1为本发明实施例一种针对语音合成垃圾电话的检测识别方法的流程图；图2为本发明实施例合成语音检测模型训练过程示意图；图3为本发明实施例异常呼叫检测模型训练过程示意图；图4为本发明实施例待检测的电话样本检测流程图；图5为本发明实施例一种针对语音合成垃圾电话的检测识别装置的结构示意图。
具体实施方式
17.下面结合附图和具体的实施例对本发明做进一步的解释说明：如图1所示，本发明的一种针对语音合成垃圾电话的检测识别方法，包括两个阶段：训练阶段和测试阶段。如虚线左侧所示的训练阶段，首先对合成语音样本和自然人语音样本分别提取自然度特征参数，然后训练生成合成语音检测模型；其次，对垃圾电话样本和正常电话样本分别提取通信行为特征参数，训练生成异常呼叫检测模型。如虚线右侧所示的测试阶段，首先对待检测电话提取自然度特征，并进行合成语音检测；如果判定该电话不是合成语音，则结束流程，否则进一步提取该电话的通信行为特征，进行异常呼叫检测；如果判定该电话不是异常呼叫电话，则结束流程，否则判定其为基于语音合成技术生成的垃圾电话。
18.该方法具体包括：步骤1：将合成语音和自然人语音分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；步骤2：对步骤1中的正、负样本分别提取自然度特征向量；步骤3：将所述自然度特征向量输入支持向量机svm中进行训练，得到合成语音检测模型；步骤4：将垃圾电话和正常电话分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；步骤5：对步骤4中的正、负样本分别提取通信行为特征向量；步骤6：将所述通信行为特征向量输入支持向量机svm中进行训练，得到异常呼叫检测模型；步骤7：基于合成语音检测模型对待检测的电话样本进行合成语音检测；
步骤8：基于合成语音检测模型的检测结果，利用异常呼叫检测模型对待检测的电话样本进行异常呼叫检测。
19.进一步地，所述步骤7包括：对待检测的电话样本提取自然度特征向量，将提取的自然度特征向量输入训练好的合成语音检测模型，输出该电话样本的合成语音检测结果；如果输出结果为合成语音，则执行步骤8；否则结束检测流程。
20.进一步地，所述步骤8包括：对步骤7检测结果为合成语音的样本，提取其通信行为特征向量，输入训练好的异常呼叫检测模型，输出该电话样本的最终检测结果；如果输出结果是异常呼叫，则判定该电话样本为基于语音合成技术生成的垃圾电话；否则，结束检测流程。
21.作为一种可实施方式，该方法具体包括：实施步骤（一）：将合成语音和自然人语音分别标记为正、负样本，构成样本数据集，从样本数据集中随机选取一定比例（如70%）的正负样本作为训练集，剩余样本作为测试集；实施步骤（二）：参考国际电信联盟推荐的话音质量单端评价方法p.563算法[l. malfait, j. berger and m. kastner, "p.563—the itu-t standard forsingle-ended speech quality assessment," in ieee transactions on audio, speech, and language processing, vol. 14, no. 6, pp. 1924-1934, nov. 2006, doi:10.1109/tasl.2006.883177.]，对步骤（一）中的正、负样本分别提取20个常用的语音自然度特征参数，具体包括8个声道参数consistentarttracker、vtpmaxtubesection、finalvtpaverage、vtppeaktracker、artaverage、vtpvadoverlap、pitchcrosscorreloffset、pitchcrosspower，6个机器性参数framerepeats、framerepeatsmean、ubeeps、ubeepsmeandistsamp、robotisation，以及6个高阶统计参数cepadev、cepskew、cepcurt、lpccurt、lpcskew、lpcskewabs；最终得到自然度特征向量；实施步骤（三）：将正、负样本的自然度特征向量输入支持向量机svm中进行训练，最终得到可用于检测合成语音的合成语音检测模型参数（即得到了合成语音检测模型）；合成语音检测模型训练过程可参照图2；实施步骤（四）：将垃圾电话和正常电话分别标记为正、负样本，构成样本数据集，从样本数据集中随机选取一定比例（如70%）的正、负样本作为训练集，剩余样本作为测试集；实施步骤（五）：分别提取步骤（四）中正、负样本的6维通信行为特征向量，具体包括主叫有效话音占空比、被叫有效话音占空比、主叫有效话音最大连续时长、被叫有效话音最大连续时长、主叫话音过零率、被叫话音过零率；实施步骤（六）：将正、负样本的通信行为特征向量输入支持向量机svm中进行训练，最终得到可用于检测异常呼叫的异常呼叫检测模型参数（即得到了异常呼叫检测模型）；异常呼叫检测模型训练过程可参照图3；实施步骤（七）：对待检测的电话样本提取20维自然度特征向量，输入训练好的合成语音检测模型，输出该电话样本的合成语音检测结果；如果输出结果为合成语音，则执行步骤（八）；否则结束检测流程。
[0022]
实施步骤（八）：对步骤（七）检测结果为合成语音的样本，提取其6维通信行为特征向量，输入训练好的异常呼叫检测模型，输出该电话样本的最终检测结果；如果输出结果是异常呼叫，则判定该电话样本为基于语音合成技术生成的垃圾电话；否则，结束检测流程；待检测的电话样本检测流程可参照图4。
[0023]
值得说明的是，实施步骤（二）中提取的语音自然度特征参数和步骤（五）中提取的通信行为特征参数，只是一种举例，分别用于检测合成语音和垃圾骚扰电话。如果换成其他的合成语音检测特征或垃圾电话检测特征，同样适用于本专利提出的算法框架。
[0024]
在上述实施例的基础上，如图5所示，本发明还提出一种针对语音合成垃圾电话的检测识别装置，包括：第一数据集划分模块，用于将合成语音和自然人语音分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；第一特征提取模块，用于对第一数据集划分模块中的正、负样本分别提取自然度特征向量；第一模型训练模块，用于将所述自然度特征向量输入支持向量机svm中进行训练，得到合成语音检测模型；第二数据集划分模块，将垃圾电话和正常电话分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；第二特征提取模块，用于对第二数据集划分模块中的正、负样本分别提取通信行为特征向量；第二模型训练模块，用于将所述通信行为特征向量输入支持向量机svm中进行训练，得到异常呼叫检测模型；第一样本检测模块，用于基于合成语音检测模型对待检测的电话样本进行合成语音检测；第二样本检测模块，用于基于合成语音检测模型的检测结果，利用异常呼叫检测模型对待检测的电话样本进行异常呼叫检测。
[0025]
进一步地，所述第一样本检测模块具体用于：对待检测的电话样本提取自然度特征向量，将提取的自然度特征向量输入训练好的合成语音检测模型，输出该电话样本的合成语音检测结果；如果输出结果为合成语音，则执行第二样本检测模块；否则结束检测流程。
[0026]
进一步地，所述第二样本检测模块具体用于：对第一样本检测模块检测结果为合成语音的样本，提取其通信行为特征向量，输入训练好的异常呼叫检测模型，输出该电话样本的最终检测结果；如果输出结果是异常呼叫，则判定该电话样本为基于语音合成技术生成的垃圾电话；否则，结束检测流程。
[0027]
综上，本发明通过提取语音的自然度特征参数检测电话是否为合成语音，不需要分析通话的内容特征，既保护了个人通信隐私，也具有很好的普适性。即使不法分子不停地变换垃圾电话的话音内容，本发明也能实现有效检测。本发明通过提取通信行为特征检测垃圾电话，无需对通话内容特征进行深度分析，既保护了个人通信隐私，也具有较低的计算复杂度，有利于实现对垃圾电话的快速识别。本发明采用合成语音、异常呼叫的两级检测模型，能够快速筛选出大量的正常电话，大大降低了垃圾电话检测的整体计算量，适用于大规
模电话呼叫实时检测的应用场景。本发明采用预先训练好的分类模型进行合成语音检测和异常呼叫检测，处理效率较高，适用于垃圾电话的在线检测与实时处置业务场景。
[0028]
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种针对语音合成垃圾电话的检测识别方法，其特征在于，包括：步骤1：将合成语音和自然人语音分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；步骤2：对步骤1中的正、负样本分别提取自然度特征向量；步骤3：将所述自然度特征向量输入支持向量机svm中进行训练，得到合成语音检测模型；步骤4：将垃圾电话和正常电话分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；步骤5：对步骤4中的正、负样本分别提取通信行为特征向量；步骤6：将所述通信行为特征向量输入支持向量机svm中进行训练，得到异常呼叫检测模型；步骤7：基于合成语音检测模型对待检测的电话样本进行合成语音检测；步骤8：基于合成语音检测模型的检测结果，利用异常呼叫检测模型对待检测的电话样本进行异常呼叫检测。2.根据权利要求1所述的一种针对语音合成垃圾电话的检测识别方法，其特征在于，所述步骤7包括：对待检测的电话样本提取自然度特征向量，将提取的自然度特征向量输入训练好的合成语音检测模型，输出该电话样本的合成语音检测结果；如果输出结果为合成语音，则执行步骤8；否则结束检测流程。3.根据权利要求2所述的一种针对语音合成垃圾电话的检测识别方法，其特征在于，所述步骤8包括：对步骤7检测结果为合成语音的样本，提取其通信行为特征向量，输入训练好的异常呼叫检测模型，输出该电话样本的最终检测结果；如果输出结果是异常呼叫，则判定该电话样本为基于语音合成技术生成的垃圾电话；否则，结束检测流程。4.一种针对语音合成垃圾电话的检测识别装置，其特征在于，包括：第一数据集划分模块，用于将合成语音和自然人语音分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；第一特征提取模块，用于对第一数据集划分模块中的正、负样本分别提取自然度特征向量；第一模型训练模块，用于将所述自然度特征向量输入支持向量机svm中进行训练，得到合成语音检测模型；第二数据集划分模块，将垃圾电话和正常电话分别标记为正、负样本，随机选取一定比例的正、负样本作为训练集，剩余样本作为测试集；第二特征提取模块，用于对第二数据集划分模块中的正、负样本分别提取通信行为特征向量；第二模型训练模块，用于将所述通信行为特征向量输入支持向量机svm中进行训练，得到异常呼叫检测模型；第一样本检测模块，用于基于合成语音检测模型对待检测的电话样本进行合成语音检测；
第二样本检测模块，用于基于合成语音检测模型的检测结果，利用异常呼叫检测模型对待检测的电话样本进行异常呼叫检测。5.根据权利要求4所述的一种针对语音合成垃圾电话的检测识别装置，其特征在于，所述第一样本检测模块具体用于：对待检测的电话样本提取自然度特征向量，将提取的自然度特征向量输入训练好的合成语音检测模型，输出该电话样本的合成语音检测结果；如果输出结果为合成语音，则执行第二样本检测模块；否则结束检测流程。6.根据权利要求5所述的一种针对语音合成垃圾电话的检测识别装置，其特征在于，所述第二样本检测模块具体用于：对第一样本检测模块检测结果为合成语音的样本，提取其通信行为特征向量，输入训练好的异常呼叫检测模型，输出该电话样本的最终检测结果；如果输出结果是异常呼叫，则判定该电话样本为基于语音合成技术生成的垃圾电话；否则，结束检测流程。

技术总结
本发明公开一种针对语音合成垃圾电话的检测识别方法及装置，该方法包括：首先对合成语音样本和自然人语音样本分别提取自然度特征参数，训练生成合成语音检测模型；然后，对垃圾电话样本和正常电话样本分别提取通信行为特征参数，训练生成异常呼叫检测模型；其次，对待检测电话提取自然度特征，并进行合成语音检测；如果判定该电话不是合成语音，则结束流程，否则进一步提取该电话的通信行为特征，进行异常呼叫检测；如果判定该电话不是异常呼叫电话，则结束流程，否则判定其为基于语音合成技术生成的垃圾电话。本发明将合成语音检测模型和异常呼叫检测模型相结合，能够快速筛选出大量的正常电话，大大降低了垃圾电话检测的整体计算量。计算量。计算量。


技术研发人员：李星 王凯 刘树新 何赞园 李英乐 朱宇航 王庚润 巩小锐
受保护的技术使用者：中国人民解放军战略支援部队信息工程大学
技术研发日：2022.11.21
技术公布日：2023/7/11