基于电网频率谐波信息融合的音频取证方法

1.本发明属于信号处理的技术领域，尤其涉及一种基于电网频率谐波信息融合的音频取证方法。


背景技术：

2.随着科学和技术的发展，如今的社会高度互联，各种多媒体内容通过网络传播，影响着本发明日常方方面面的生活。多媒体技术日新月异的发展，使得其应用越发普及。大量数字信息以音频、视频等常见的方式被记录下来，给人们的生活带来了很大的便利与乐趣。然而，数字多媒体给人们带来便利的同时，也存在着给人们带来安全隐患的风险。由于记录的数字内容是可以进行编辑的，比如可以切除音频中的片段，或者插入外来的音频片段，这样的多媒体内容如果被用作为法庭、案件和侦查的证据，将造成非常恶劣的影响。因此，多媒体的取证是为了保护公民权益和社会安全而进行的一项非常重要的工作。
3.电网频率是电网工作过程中自然产生的一种随机频率波动，在中国电网中，保持在50hz左右波动。由于电网频率在互连系统中的整个电网中表现出相同的波动，因此可以从网络中的任何电源插座获取参考电网频率。电网频率的波动嵌入在存在电源电磁场或声学电源嗡嗡声的录音中，因此，可以提取出音频文件中的电网频率信号。利用电网频率的随机性，在电网频率参考数据库中进行匹配，得到相关系数最高的一段参考信号，这段参考信号对应的时间，就认为是音频录制的时间。以上内容说明的就是音频的时间戳验证的原理。时间戳验证是当前最流行的取证技术之一。
4.时间戳验证要求匹配的电网频率比较精准，否则容易得到错误的匹配结果。然而一般的音频文件总是包含其他大量的频率信息，比如环境的噪声、人的说话声等，这使得提取出的电网频率信号经常被噪声污染。此外，由于部分录音设备会自动剔除100hz以下的频率信号，因此电网频率的基频信号无法被提取出来。幸运的是，电网频率的谐波可以提供更多有用的信息。然而，现有的技术大部分仅针对电网频率的某一阶谐波进行提取处理，没有充分利用其他谐波提供的信息。因此，亟需一种方法来融合多个谐波中的有用信息，得到更逼近参考信号的电网频率信号。


技术实现要素：

5.为了解决上述问题，本发明的目的在于提供一种基于电网频率谐波信息融合的音频取证方法，该方法能够解决从音频中获取更加准确电网频率的问题。
6.本发明主要利用基于电网频率谐波信息融合的音频取证方法。该方法利用电网频率的多阶谐波，尤其是2到7阶谐波的有用信息进行融合，得到更加逼近参考信号的电网频率信号。此外，本发明在音频取证，如：时间戳验证、篡改检测等中具有准确的结果，可以有效地解决数字多媒体取证中存在的安全隐患问题。
7.本发明提供的技术方案如下：
8.一种基于电网频率谐波信息融合的音频取证方法，包括以下步骤：
9.步骤1:从目标音频中提取电网频率的至少两阶的多阶谐波的样本数据；
10.步骤2:对步骤1的样本数据进行预处理，包括：增强、短时傅立叶变换(short time fourier transform，stft)并去掉噪声片段；
11.步骤3:计算各个谐波的去片段率，并确定主谐波和可选谐波；
12.步骤4:确定主谐波的可补区间；
13.步骤5:在每个可补区间，判断可选谐波是否存在片段；若存在，则记下可补谐波的可补范围；若不存在，则记为空；
14.步骤6:计算每个可补区间的最长可补片段，并拼接到主谐波上；
15.步骤7:将谐波融合后的信号与参考数据库中的电网频率信号进行匹配，选出相关系数最大的一段参考信号，其对应的时间认为是目标音频的录制时间。
16.进一步的，步骤1中采用梳状滤波器对读取的音频进行滤波，具体实现方式如下，
17.对于目标的音频文件，首先进行读取，获取音频文件的样本数据y和采样率fs。通常音频文件的采样率为8000hz和44100hz，为了减少计算量，用一个较低的采样频率fs进行下采样。电网频率的基波频率在50hz左右，为了获取他的多阶阶谐波，本发明设置fs为800hz，下采样后的样本数据记为y
′
。最后，考虑到电网频率及其谐波是窄带信号，带外的噪声会影响发明的效果，因此利用梳状滤波器对y
′
进行滤波，其中梳状滤波器的长度为256，幅值响应具有相同的带通宽度。滤波后得到多阶谐波的时域样本数据input。
18.进一步，所述步骤1中，多阶谐波包括2到7阶谐波。
19.进一步的，步骤2中采用增强算法对滤波后的时域样本数据input进行增强，并利用去除噪声片段的算法对增强后的数据进行处理，具体实现方式如下，
20.由于时域样本数据input不仅保留了谐波分量还保留了带内噪声，因此直接进行谐波融合效果并不好，需要对样本数据input进行预处理，具体步骤如下：
21.首先利用hrfa对样本数据input进行增强，减少噪声的干扰。接着，进行stft转换，从时域的数据input得到多阶谐波频域的信号f
e_n
，n为阶数。接着，基于电网频率的噪声检测方法是一种非常有效的剔除噪声片段的算法。利用这个算法，将噪声片段的值置为0，得到多阶谐波去片段后的结果f
d_n
。
22.进一步的，步骤3中采用去片段率作为衡量标准，选出主谐波和可选谐波，具体实现方式如下，
23.对于步骤2得到的结果f
d_n
，n为阶数，本发明设计一个参数——去片段率raten＝length(f
d_n_e
)/length(f
d_n
)，其中，raten代表第n阶谐波的去片段率，length(f
d_n_e
)代表第n阶谐波的有效片段长度，length(f
d_n
)代表第n阶谐波的总长度。本发明用去片段率用来衡量谐波质量的优良，认为去片段率更低的谐波所保留下来的有效片段更逼近参考信号的电网频率，拥有更少的噪声。
24.对于多阶谐波，分别计算每一阶谐波的去片段率，并将去片段率最低的谐波指定为主谐波，记录下主谐波的阶数cs_hm。同时，将其他5个谐波中去片段率低于0.9的阶数记录下来，保留在数组choose中，作为可选谐波。
25.进一步的，步骤4中计算主谐波的可补区间，具体实现包括如下子步骤，
26.步骤4.1，根据主谐波每个时刻点的频率值找到所有频率为0的时刻点记录在数组
t中，t的值为时刻点值，设其包含x(x≥0)个时刻点，且均为整数。定义t(i)为第i个0频率点对应的时刻点值，i＝1，2，3
…
，i的总个数为x。
27.步骤4.2，设置数组main_index用来记录每个可补区间的开始和结束坐标。
28.步骤4.3，当数组x≠0时，将其第一个值t(1)作为第一个可补区间的开始坐标，记录到数组main_index中；当x＝1时，将t(1)再次记入main_index中，作为第一个可补区间的结束坐标；当x＞1时，执行步骤4.4。
29.步骤4.4，当x＞1时，从数组t第2个数据开始遍历到t的最后一个数据。在第i(i＝1
…
x一1)次循环中，进行判断：t(i+1)＝＝t(i)+1，判断结果若是等于，则进入下一次循环；判断结果若不等于，则将t(i)和t(i+1)的值记入main_index。退出循环后将最后一个时刻点值t(x)记入main_index。
30.进一步的，步骤5中，计算每个可选谐波在每个可补区间内的可补范围，具体实现包括以下子步骤，
31.步骤5.1，确定可补区间的个数num＝length(main_index)/2，其中，num代表可补区间的个数，length(main_index)代表数组main_index的长度。
32.步骤5.2，遍历可选谐波数组choose，对每个可选谐波进行步骤4的判断，条件是频率点不为0，找出每个可选谐波的所有有效片段区间hm_index，hm∈choose。
33.步骤5.3，设置可补范围数组cp_index，大小为num
×
6。遍历所有可补区间，在第i(i＝1
…
num)个循环中，遍历数组choose，判断每个可选谐波在可补区间内是否存在片段。若存在，则将该谐波对于第i个可补区间的可补范围记录在cp_index中；否则记为空。
34.进一步的，步骤6中，对主谐波进行谐波融合，具体实现方式如下，
35.遍历可补区间，判断对于每一个可补区间，找出可补范围最大的可选谐波，并将对应的可选谐波片段融合到主谐波上。循环结束后就得到了谐波融合后的主谐波，记为f
p
。
36.进一步的，步骤7中，利用最大互相关系数来进行时间戳验证，具体实现包括如下子步骤，
37.步骤7.1，获取主谐波的长度l
p
和参考数据库fr的长度lr。
38.步骤7.2，设置数组c用来保存互相关系数。以步长为1秒，将主谐波在参考数据库中进行遍历，对于第i(i＝1
…
l
r-l
p
+1)个循环，计算主谐波与当前对应的参考信号的归一化互相关系数c(i)。
39.步骤7.3，得到c的最大值c
max
，以及最大值所对应的下标lag。lag即为目标音频的录制时刻(单位为秒)。
40.更进一步的，所述步骤7.2中，归一化互相关系数c(i)的计算方法如下：
41.设对应的当前参考数据片段为fi＝fr[i，i+l
p-1]，
[0042]
c(i)的计算公式如下：
[0043][0044]
其中fi(k)表示当前参考数据片段fi的第k个数据点对应的频率值，表示当前参考数据片段fi的所有数据点对应频率值的均值，f
p
(k)表示主谐波第k个数据点对应的频率
值，表示主谐波所有数据点对应的频率值的平均值。
[0045]
本发明的有益效果如下：
[0046]
本发明通过目标音频中的电网频率谐波信息，对其进行预处理、融合等操作，能够使融合后的信号更加贴近参考信号，以更准确地判断在给定时间区间内目标音频的录制时刻，从而在音频取证上获得更加准确的结果。本发明可以应用于音频取证领域，如：时间戳验证、篡改检测等，为音频取证提供了一种新的思路和方法。
附图说明
[0047]
图1是本发明总体过程的流程图；
[0048]
图2是本发明所提的谐波融合的过程图；
[0049]
图3到图5是本发明用一段音频验证发明效果的结果，分别是步骤1、2、6所提取的电网频率信号和参考信号的实验结果对比图；
具体实施方式
[0050]
以下参照附图，对本发明的技术方案和效果作进一步的详细说明。
[0051]
参照图1的流程，本发明提供的一种基于电网频率谐波信息融合的音频取证方法，步骤如下：
[0052]
步骤1：从目标音频中提取电网频率的2到7阶谐波的样本数据。
[0053]
具体步骤如下：
[0054]
如图1所示，流程开始对目标的音频文件，首先进行读取，获取音频文件的样本数据y和音频文件的采样率fs。
[0055]
接着，通常音频文件的采样率为8000hz和44100hz，为了减少计算量，用一个较低的采样频率fs进行下采样。由于电网频率的基波频率在50hz左右，为了获取多阶谐波，本发明设置fs为800hz，下采样后的样本数据记为y
′
。本实施例以2-7阶谐波进行说明。
[0056]
最后，考虑到电网频率及其谐波是窄带信号，带外的噪声会影响发明的效果，因此利用梳状滤波器对y
′
进行滤波，其中梳状滤波器的长度为256，幅值响应具有相同的带通宽度。滤波后得到2到7阶谐波的时域样本数据input。步骤1完成后直接对电网频率信号进行提取的效果如图3所示。
[0057]
步骤2：对样本数据进行预处理，包括增强、stft转换和去片段处理。
[0058]
具体步骤如下：
[0059]
由于时域样本数据input不仅保留了谐波分量还保留了带内噪声，因此直接进行谐波融合效果并不好，需要对样本数据input进行预处理，如图1示：
[0060]
首先利用hrfa对样本数据input进行增强，减少噪声的干扰。
[0061]
接着，进行stft转换，从时域的数据input得到2到7阶谐波频域的信号f
e_n
，n＝2
…
7。
[0062]
最后，基于电网频率的噪声检测方法是一种非常有效的剔除噪声片段的算法。利用这个算法，将噪声片段的值置为0，得到2到7阶谐波去片段后的结果f
d_n
，n＝2
…
7。步骤2完成后直接对电网频率信号进行提取的效果如图4所示。
[0063]
步骤3：计算各个谐波的去片段率，并确定主谐波和可选谐波。
[0064]
具体步骤如下：
[0065]
对于步骤2得到的结果f
d_n
，n＝2
…
7，本发明设计一个参数——去片段率raten＝length(f
d_n_e
)/length(f
d_n
)，其中，n＝2
…
7，raten代表第n阶谐波的去片段率，length(f
d_n_e
)代表第n阶谐波的有效片段长度，length(f
d_n
)代表第n阶谐波的总长度。
[0066]
本发明用去片段率来衡量谐波的质量好坏，认为去片段率更低的谐波所保留下来的有效片段更逼近参考信号的电网频率，拥有更少的噪声。
[0067]
如图1和图2所示，对于2到7阶谐波，分别计算每一阶谐波的去片段率，并将去片段率最低的谐波指定为主谐波，记录下主谐波的阶数cs_hm。同时，将其他5个谐波中去片段率低于0.9的阶数记录下来，保留在数组choose中，作为可选谐波。
[0068]
步骤4：确定主谐波的可补区间。
[0069]
具体步骤如下：
[0070]
如图1和图2所示。首先根据2到7阶谐波去片段后的结果f
d_n
，n＝2
…
7，和主谐波阶数cs_hm，获取该阶数去片段的主谐波f
d_cs_hm
。
[0071]
接着，根据主谐波每个时刻点的频率值，找到所有频率为0的时刻点，记录在数组t中，t的值为时刻点值，设其包含x(x≥0)个时刻点，且均为整数。定义t(i)为第i个0频率点对应的时刻点值，i＝1，2，3
…
，i的总个数为x。设置数组main_index用来记录每个可补区间的开始和结束坐标。
[0072]
然后，判断x的大小。当x＝0时，结束步骤4；当x≠0时，将数组t的第一个值t(1)作为第一个可补区间的开始坐标，记录到数组main_index中；当x＝1时，将t(1)再次记入main_index中，作为第一个可补区间的结束坐标，结束步骤4；当x＞1时，从数组t第2个数据开始遍历到t的最后一个数据。在第i(i＝1
…
x-1)次循环中，进行判断：t(i+1)＝＝t(i)+1，判断结果若是等于，则进入下一次循环；判断结果若不等于，则将t(i)和t(i+1)的值记入main_index。退出循环后将最后一个时刻点值t(x)记入main_index。
[0073]
最终得到了所有可补区间的坐标，并记录在main_index中。
[0074]
步骤5：在每个可补区间，判断可选谐波是否存在片段。若存在，则记下可补谐波的可补范围；若不存在，则记为空。
[0075]
具体步骤如下：
[0076]
如图1和图2所示，首先根据步骤4获得的可补区间的坐标main_index，确定可补区间的个数num＝length(main_index)/2，其中，num代表可补区间的个数，length(main_index)代表数组main_index的长度。
[0077]
接着遍历数组choose，对每个可选谐波进行步骤4的处理，条件是频率不为0，获得每个可选谐波的所有有效片段区间hm_index，hm∈choose。
[0078]
然后，设置可补范围数组cp_index，大小为num
×
6，初始值为全空。遍历所有可补区间，在第i(i＝1
…
num)个循环中，遍历数组choose，判断每个可选谐波在可补区间内是否存在片段。若存在，则将该谐波对于第i个可补区间的可补范围记录在cp_index中；否则记为空。
[0079]
步骤6：计算每个可补区间的最长可补片段，并拼接到主谐波上。
[0080]
具体步骤如下：
[0081]
遍历可补区间，对于每一个可补区间，找出可补范围最大的可选谐波，并将对应的片段融合到主谐波上。而若可补范围为空，则不进行融合。循环结束后就得到了谐波融合后的主谐波，记为fp。步骤6完成后提取的enf信号如图5所示。
[0082]
步骤7：将进行谐波融合后的信号与参考数据库中的电网频率信号进行匹配，选出相关系数最大的一段参考信号，其对应的时间认为是目标音频的录制时间。
[0083]
具体步骤如下：
[0084]
首先获取主谐波的长度l
p
和参考数据库fr，其长度为lr。
[0085]
接着，设置数组c用来保存相关系数。以步长为1秒，将主谐波在参考数据库中进行遍历，对于第i(i＝1
…
l
r-l
p
+1)个循环，设对应的当前参考数据片段为fi＝fr[i，i+l
p-1]，利用公式：
[0086][0087]
其中fi(k)表示当前参考数据片段fi的第k个数据点对应的频率值，表示当前参考数据片段fi的所有数据点对应频率值的均值，f
p
(k)表示主谐波第k个数据点对应的频率值，表示主谐波所有数据点对应的频率值的平均值。计算主谐波与当前对应的参考信号的归一化互相关系数c(i)。
[0088]
最后，得到c的最大值c
max
，以及最大值所对应的数组的索引lag。lag即为目标音频的录制时刻(单位为秒)。如图5所示，经过实验验证，利用本发明流程提取的电网频率信号能够在时间戳验证中获得准确的结果。
[0089]
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
[0090]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
[0091]
以上所述，仅为本发明较佳的具体实施方式，但本发明保护的范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内所做的任何修改，等同替换和改进等，均应包含在发明的保护范围之内。

技术特征：
1.一种基于电网频率谐波信息融合的音频取证方法，其特征在于，包括以下步骤：步骤1:从目标音频中提取电网频率的至少两阶的多阶谐波的样本数据；步骤2:对样本数据进行预处理，包括增强、短时傅立叶变换stft以及去噪处理；步骤3:计算各个谐波的去片段率，并确定主谐波和可选谐波；步骤4:确定主谐波的可补区间；步骤5:在每个可补区间，判断可选谐波是否存在片段；若存在，则记下可补谐波的可补范围；反之，则记为空；步骤6:计算每个可补区间的最长可补片段，并拼接到主谐波上；步骤7:将进行谐波融合后的信号与参考数据库中的参考信号进行匹配，选出相关系数最大的一段参考信号，其对应的时间认为是目标音频的录制时间。2.根据权利要求1所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤1的方法如下：对于目标的音频文件，首先进行读取，获取音频文件的样本数据y和采样率fs；以采样频率fs进行下采样，下采样后的样本数据记为y
′
；最后，利用梳状滤波器对y
′
进行滤波，滤波后得到多阶谐波的时域样本数据input。3.根据权利要求1或2所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤1中，多阶谐波包括2到7阶谐波。4.根据权利要求1所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤2的方法如下：首先利用谐波鲁棒滤波算法对样本数据input进行增强，减少噪声的干扰；然后进行stft转换，从时域的数据input得到多阶谐波频域的信号f
e_n
,n为阶数；接着，基于电网频率的噪声检测方法，将不准确的片段的值置为0，得到多阶阶谐波去片段后的结果f
d_
。5.根据权利要求1所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤3的步骤如下：对于步骤2得到的结果f
d_
，n为阶数；采用去片段率rate
n
来衡量谐波的质量，去片段率低的谐波质量更高，rate
n
＝length(f
d_n_e
)/length(f
d_n
)，其中，rate
n
代表第n阶谐波的去片段率，length(f
d_n_e
)代表第n阶谐波的有效片段长度，length(f
d_n
)代表第n阶谐波的总长度；对于多阶谐波，分别计算每一阶谐波的去片段率，并将去片段率最低的谐波指定为主谐波，记录下主谐波的阶数cs_hm；同时，将其他谐波中去片段率低于0.9的阶数记录下来，保留在数组choose中，作为可选谐波。6.根据权利要求1所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤4的步骤如下：步骤4.1，根据主谐波每个时刻点的频率值，找到所有频率为0的时刻点，记录在数组t中，t的值为时刻点值，设其包含x个时刻点且均为整数，其中x≥0；t(i)为第i个0频率点对应的时刻点值，i＝1，2，3
···
，i的总个数为x；步骤4.2，设置数组main_index用来记录每个可补区间的开始和结束坐标；步骤4.3，当数组x≠0时，将其第一个值t(1)作为第一个可补区间的开始坐标，记录到数组main_index中；当x＝1时，将t(1)再次记入main_index中，作为第一个可补区间的结束
坐标；当x>1时，执行步骤4.4；步骤4.4，当x>1时，从数组t第2个数据开始遍历到t的最后一个数据，在第i(i＝1...x-1)次循环中，进行判断：t(i+1)＝＝t(i)+1，判断结果若是等于，则进入下一次循环；判断结果若不等于，则将t(i)和t(i+1)的值记入main_index；退出循环后将最后一个时刻点值t(x)记入main_index。7.根据权利要求1所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤5的步骤如下：步骤5.1，确定可补区间的个数num＝length(main_index)/2，其中，num代表可补区间的个数，length(main_index)代表数组main_index的长度；步骤5.2，遍历可选谐波数组choose，对每个可选谐波进行步骤4的判断，条件是频率不为0，找出每个可选谐波的所有有效片段区间hm_index,hm∈choose；步骤5.3，设置可补范围元胞数组cp_index，大小为num
×
6；遍历所有可补区间，在第i个循环中，i＝1...num，遍历数组choose，判断每个可选谐波在可补区间内是否存在片段；若存在，则将该谐波对于第i个可补区间的可补范围记录在cp_index中；否则记为空。8.根据权利要求1所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤6的步骤如下：遍历可补区间，判断对于每一个可补区间，找出可补范围最大的可选谐波，并将对应的可选谐波片段融合到主谐波上；循环结束后就得到了谐波融合后的主谐波，记为f
p
。9.根据权利要求1所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤7的步骤如下：步骤7.1，获取主谐波的长度l
p
和参考数据库f
r
的长度为l
r
；步骤7.2，设置数组c用来保存互相关系数；以步长为1秒，将主谐波在参考数据库中进行遍历，对于第i个循环，i＝1...l
r-l
p
+1，计算主谐波与当前对应的参考信号的归一化互相关系数c(i)；步骤7.3，得到c的最大值c
max
，以及最大值所对应的数组的索引lag；lag即为目标音频的录制时刻。10.根据权利要求9所述的基于电网频率谐波信息融合的音频取证方法，其特征在于，所述步骤7.2中，归一化互相关系数c(i)的计算方法如下：设对应的当前参考数据片段为f
i
＝f
r
[i，i+l
p-1]，c(i)的计算公式如下：其中f
i
(k)表示当前参考数据片段f
i
的第k个数据点对应的频率值，表示当前参考数据片段f
i
的所有数据点对应频率值的均值，f
p
(k)表示主谐波第k个数据点对应的频率值，表示主谐波所有数据点对应的频率值的平均值。

技术总结
本发明公开了一种基于电网频率谐波信息融合的音频取证方法，步骤如下：其主要步骤包括：1)从目标音频中提取电网频率的多阶谐波的样本数据；2)对步骤1的样本数据进行预处理；3)计算各个谐波的去片段率，并确定主谐波和可选谐波；4)确定主谐波的可补区间；5)在每个可补区间，判断可选谐波是否存在片段；6)计算每个可补区间的最长可补片段，并拼接到主谐波上；7)将上一步得到的结果与参考数据库中的真实电网频率信号进行匹配，选出相关系数最大的一段参考信号，其对应的时间认为是目标音频的录制时间。本发明通过电网谐波带来的更多电网频率信息，能够使融合后的信号更加贴近参考信号，从而在音频取证上获得更加准确的结果。从而在音频取证上获得更加准确的结果。从而在音频取证上获得更加准确的结果。


技术研发人员：张海剑 左世玉 方建 吴思瑾
受保护的技术使用者：武汉大学
技术研发日：2023.05.25
技术公布日：2023/8/21