基于人脸关键点图建模的换脸视频篡改检测方法及装置

1.本发明涉及数字视频的篡改检测技术领域，尤其涉及一种基于人脸关键点图建模的换脸视频篡改检测方法及装置。


背景技术：

2.随着计算机视觉领域中人工智能和深度学习技术的快速发展，视频换脸的技术逐渐变得简易化，换脸技术的合成效果逐渐逼真化，换脸视频越来越大众化，时常出现在各流行媒体传播平台当中，换脸技术在为人类业余生活带来娱乐的同时，也给公共安全以及舆论传播造成一定的消极影响，民众对数字隐私安全性的担忧逐步升高，因此针对换脸视频篡改检测技术的研究具有重要的意义。
3.现有技术中的换脸视频篡改检测技术主要通过设计深度神经网络，融合各域特征来检测换脸视频。虽然基于深度神经网络的这些检测技术在所训练的数据库中有着高达90％以上检测准确率，但是其在现实场景中的应用却有着不小的缺陷：现有技术的特征工程大多单一依赖于视频或者图像空域内容进行研究，一旦这些内容遭到人为后处理攻击，扰动其原本的数据构成或是降低其内容质量，这些技术的检测性能将大打折扣。而人脸关键点能较好“躲避”这类攻击的影响，虽有部分工作以人脸关键点为线索进行视频换脸检测，但现有方法仅将关键点视为单独独立个体而忽略了其内部之间的联系，都将人脸关键点视为点阵来应用，而忽视了其中潜在的内联性来进行人脸动作建模的潜力。


技术实现要素：

4.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于人脸关键点图建模的换脸视频篡改检测方法及装置。
5.本发明所采用的技术方案是：
6.一种基于人脸关键点图建模的换脸视频篡改检测方法，包括以下步骤：
7.获取换脸视频数据，根据换脸视频数据获取训练集和测试集；
8.构建基于人脸关键点图建模的篡改检测模型；
9.采用训练集对篡改检测模型进行训练；
10.采用测试集对训练后的篡改检测模型进行测试；
11.其中，所述篡改检测模型包括前端人脸关键点提取模块、关键点拓扑图特征生成模块、并行图注意力神经网络模块、后端循环神经网络模块以及判决输出模块；
12.所述前端人脸关键点提取模块用于对人脸图片进行关键点提取，得到单帧图片多个关键点坐标集和；
13.所述关键点拓扑图特征生成模块用于生成单帧人脸关键点拓扑图特征；
14.所述并行图注意力神经网络模块由n条并行图注意力神经网络gat支路构成，每条gat支路对生成的单帧人脸关键点拓扑图特征进行计算，并拓展为高维几何特征，n条支路共生成n个人脸关键点高维几何特征，使用时域特征生成函数构建n-1个帧间拓扑差异特
征，最终组成时域序列特征；
15.所述后端循环神经网络模块用于对时域序列特征进行计算，得到最终的判决向量；
16.所述判决输出模块用于根据判决向量预测真假标签。
17.进一步地，所述前端人脸关键点提取模块包含一个不参与训练以及参数更新的级联残差回归树gdbt网络；
18.所述关键点拓扑图特征生成模块包含一个参数固定的邻接矩阵以及单帧面部拓扑邻边特征计算函数；
19.所述后端循环神经网络模块包含一个深层双向循环神经网络；
20.所述判决输出模块包含两层全连接层以及两个真假判别节点。
21.进一步地，所述关键点拓扑图特征生成模块中的固定参数的邻接矩阵形式如下：
[0022][0023]
其中，start_index代表所构成关键点拓扑边的起点序列，end_index代表所构成关键点拓扑边的终点序列。
[0024]
进一步地，所述关键点拓扑图特征生成模块中的单帧面部拓扑邻边特征计算函数形式如下：
[0025][0026][0027]
构建的邻边特征矩阵形式如下：
[0028][0029]
其中，xs代表第i条边的起点横坐标，ys代表第i条边的起点纵坐标，xe代表第i条边的终点横坐标，ye代表第i条边的终点纵坐标。
[0030]
进一步地，所述并行图注意力神经网络模块包含n条支路，每条支路包含一个图注意力神经网络gat学习关键点拓扑图节点的高维几何特征，n为人为设定参数，代表输入连续n帧图片。所述并行图注意力神经网络模块的计算步骤如下：
[0031]
单帧人脸关键点拓扑图特征的表达式为
[0032]
feature＝[lm,edge_index,edge_fea]
[0033]
式中，lm表示人脸关键点矩阵，edge_index表示固定参数的邻接矩阵，edge_fea表示邻边特征矩阵；
[0034]
将单帧人脸关键点拓扑图特征输入gat网络；得到关键点拓扑图节点的高维几何特征：
[0035]
deep_feai＝f
gat
(feature),i∈(1,n)
[0036]
deep_fea的格式为n
×
n，代表每个关键点的特征更新至n维，至此将得到n个高维
几何特征，进一步构建时域帧间拓扑差异特征，形式如下：
[0037]
diffei＝deep_fea
i+1-deep_feai,i∈(1,n-1)
[0038]
最终拼接组合得到时域特征序列:
[0039]
t＝[diffe1,diffe2,...,diffe
n-1
]。
[0040]
进一步地，所述后端循环神经网络模块包含门控循环单元，用于计算时域特征序列t，其输出单元数量设置为n，得到判决向量的维度为1
×
n：
[0041]
vec＝f
rnn
(t)。
[0042]
进一步地，所述所述判决输出模块中的两层全连接层的节点数分别为64和32，并由最终的真假判别节点输出预测概率，最终的预测标签由softmax函数计算。
[0043]
进一步地，所述换脸视频篡改检测方法还包括对测试集进行预处理的步骤：
[0044]
对测试集中的图片进行攻击处理，其中攻击处理包括平均滤波攻击、椒盐噪声攻击、伽马矫正攻击或者jpeg压缩攻击中至少一种。
[0045]
进一步地，所述采用训练集对篡改检测模型进行训练，包括：
[0046]
对篡改检测模型进行网络初始化；
[0047]
设置网络参数：设置gat网络的节点特征数和输出特征维度数；
[0048]
设置训练参数，采用随机梯度下降法进行优化；
[0049]
加载训练样本对模型进行训练，根据网络输出得到的预测概率，使用交叉熵损失函数进行代价计算，并反向更新梯度，更新网络参数，使损失值逐渐降低达到收敛。
[0050]
本发明所采用的另一技术方案是：
[0051]
一种基于人脸关键点图建模的换脸视频篡改检测装置，包括：
[0052]
至少一个处理器；
[0053]
至少一个存储器，用于存储至少一个程序；
[0054]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0055]
本发明的有益效果是：本发明通过对人脸关键点进行拓扑图建模，并使用图注意力神经网络提取关键点拓扑图节点的高维几何特征，进一步丰富单帧人脸的特征表示，提升了模型的鲁棒性与检测准确性。
附图说明
[0056]
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0057]
图1是本发明实施例中一种基于人脸关键点图建模的换脸视频篡改检测方法的流程图；
[0058]
图2是本发明实施例中人脸关键点拓扑图；
[0059]
图3是本发明实施例中篡改检测模型的结构图；
[0060]
图4是本发明实施例中人脸关键点检测示意图。
具体实施方式
[0061]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0062]
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0063]
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0064]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0065]
如图1所示，本实施例提供一种基于人脸关键点图建模的换脸视频篡改检测方法，通过对人脸关键点进行拓扑图建模，并使用图注意力神经网络提取关键点拓扑图节点的高维几何特征，进一步丰富单帧人脸的特征表示。并且构建时域帧间拓扑差异特征，通过使用深层双向循环神经网络来学习时域几何特征表达，进行更鲁棒的篡改人脸检测。该方法具体包括以下步骤：
[0066]
s1、获取换脸视频数据，根据换脸视频数据获取训练集和测试集；
[0067]
s2、构建基于人脸关键点图建模的篡改检测模型；
[0068]
s3、采用训练集对篡改检测模型进行训练；
[0069]
s4、采用测试集对训练后的篡改检测模型进行测试。
[0070]
其中，所述篡改检测模型包括前端人脸关键点提取模块、关键点拓扑图特征生成模块、并行图注意力神经网络模块、后端循环神经网络模块以及判决输出模块。所述前端人脸关键点提取器模块由固定参数的级联残差回归树gdbt网络组成，用于对输入人脸68个关键点的提取，得到单帧图片68个关键点坐标集和。所述关键点拓扑图生成模块由一个参数固定的邻接矩阵以及单帧面部拓扑邻边特征计算函数构成，用于生成单帧人脸关键点拓扑图特征。所述并行图注意力神经网络由n条并行图注意力神经网络gat支路构成，每条支路计算先前生成的单帧人脸关键点拓扑图特征，将其拓展为高维几何特征，n条支路共生成n个人脸关键点高维几何特征，然后使用时域特征生成函数构建n-1个帧间拓扑差异特征，最终组成时域序列特征。所述后端循环神经网络由一个深层双向循环神经网络构成，用于计算时域序列特征，并得到最终的判决向量。所述判决输出模块由两层全连接层以及两个真假判别节点构成，用于计算判决向量预测真假标签。
[0071]
先使用前端人脸特征提取模块提取人脸关键点集合，然后使用关键点拓扑图生成模块生成单帧关键点拓扑图特征，再使用并行图注意力神经网络提取人脸关键点高维几何
特征并构建帧间拓扑差异特征合成时域序列特征，最后通过循环神经网络与判决输出模块进行真假脸判决。在篡改检测模型训练完成后，可将篡改检测模型应用于实际场景中。
[0072]
以下结合附图及具体实施例对上述方法进行详细解释说明。
[0073]
在本实施例中，以在faceforensics++(ff++)(c0)数据库上进行训练，在ff++(c0&c23&c40)数据库上进行库内测试以及四种后处理攻击库(平均滤波攻击(滤波核大小设置为5
×
5)、椒盐噪声攻击(椒盐噪声值设置为500)、伽马矫正攻击(伽马校正值设置为0.5)以及jpeg压缩攻击(jpeg压缩值设置成60)上进行鲁棒测试为例，详细介绍本实例实施过程。实验在ubuntu 18.04系统上进行，使用3.7版本的python语言和1.8.1版本的pytorch人工神经网络库，cuda版本为10.1，cudnn版本为7.6.5。
[0074]
步骤1、数据集预处理，具体方式如下：
[0075]
首先对ff++数据库进行划分，以7：2：1的比例分为训练集、验证集和测试集。该实施例中，对于训练集v＝{v1,v2,...,vm}中每一个视频vi，其中n表示训练集视频的个数，进行视频帧抽样，得到fi＝{f
i1
,f
i2
,...,f
ik
}，其中k为抽取的视频帧数量，i＝1,2,...,m，使用dlib库中的卷积神经网络选取人脸框。
[0076]
对于每个视频vi，在fi上根据人脸框位置裁剪出部分区域图片，得到训练集图片为ii＝{i
i1
,i
i2
,...,i
ik
}，根据给定设置参数n选取连续n张图片(n《k){i
i1
,i
i2
,...,i
in
}作为输入。
[0077]
本实施例中裁剪图片区域为1.3倍人脸，输入图片统一类型为“jpg”文件、统一的图片尺寸为“256x256”。
[0078]
步骤2、人脸关键点图建模的篡改检测网络搭建，具体步骤如下：
[0079]
如图3所示，整体网络架构由n个前端人脸关键点提取器、n个关键点拓扑图生成模块、并行图注意力神经网络、后端循环神经网络以及判决输出模块构成。其中前端人脸关键点提取器由一个不参与训练以及参数更新的级联残差回归树gdbt网络构成。
[0080]
如图3所示，整体网络架构由n个前端人脸关键点提取器、n个关键点拓扑图生成模块、并行图注意力神经网络、后端循环神经网络以及判决输出模块构成。其中前端人脸关键点提取器由一个不参与训练以及参数更新的级联残差回归树gdbt网络构成。
[0081]
对于输入的n张图片{i
i1
,i
i2
,...,i
in
}，所搭建的预训练好的人脸提取器模型(shape_predictor_68_face_landmarks.dat)将提取每张人脸图片的68个关键点，并将其坐标构建成矩阵形式：
[0082][0083]
进而得到n个人脸关键点坐标矩阵{lm
i1
,lm
i2
,...,lm
in
}，图4是具体单张人脸的68关键点提取示意图；
[0084]
如图2所示，每个人脸关键点坐标矩阵lm
ij
，j＝1,2,...,n，将由所搭建的关键点拓扑图生成模块中的固定参数的邻接矩阵构建相应的关键点拓扑图，其中邻接矩阵表示如下：
[0085][0086]
start_index代表所构成关键点拓扑边的起点序列，具体形式如下：
[0087][0088]
end_index代表所构成关键点拓扑边的终点序列，具体形式如下：
[0089][0090]
每条邻边特征将由面部拓扑邻边特征计算函数求得，计算函数形式如下：
[0091][0092][0093]
因此，根据关键点集合lm以及邻接矩阵能够计算52条邻边特征矩阵形式如下：
[0094][0095]
其中，xs代表第i条边的起点横坐标，ys代表第i条边的起点纵坐标，xe代表第i条边的终点横坐标，ye代表第i条边的终点纵坐标。
[0096]
至此，对于每一个人脸关键点矩阵lm，能够整体特征形式如下：
[0097]
feature＝[lm,edge_index,edge_fea]
[0098]
因此，经过关键点拓扑图生成模块计算得到n个关键点拓扑特征集合{feature
i1
,feature
i2
,...,feature
in
}。
[0099]
将每个关键点拓扑特征feature
i1
输入所搭建的并行图注意力神经网络gat中，gat网络由两个gatconv层以及一个relu层构成，gatconv层输入输出维度分别是2和16，以及32和64。从而得到n个关键点拓扑图节点的高维几何特征：
[0100]
deep_feai＝f
gat
(feature),iε(1,n)
[0101]
进一步构建时域帧间拓扑差异特征，形式如下：
[0102]
diffei＝deep_fea
i+1-deep_feai,i∈(1,n-1)
[0103]
最终拼接组合得到时域特征序列:
[0104]
t＝[diffe1,diffe2,...,diffe
n-1
]
[0105]
将所得到的时域特征序列t，输入所搭建的深层双向循环网络rnn，所搭建的后端循环神经网络模块包含门控循环单元，其输出单元数量设置为64，因此得到判决向量的维度为1
×
64：
[0106]
vec＝f
rnn
(t)
[0107]
搭建的后端判决输出模块包含两层全连接层以及两个真假判别节点，其中两层全连接层的节点数分别为64和32，最终得到真假预测概率p
real
和p
fake
：
[0108]
p
real
，p
fake
＝f
fc
(vec)
[0109]
步骤3、模型训练阶段，具体步骤如下：
[0110]
步骤3.1、网络初始化：gat网络、rnn网络、以及全连接层网络参数都采用均值为0、方差为0.02的高斯分布进行初始化。
[0111]
步骤3.2、设置网络参数：采用随机梯度下降法优化，权重衰减系数为1e-4，动量为0.9。初始学习率设置为1e-3，并采用固定步长衰减方式，每2个epoch衰减为原来的0.85。采用早停策略训练，设定阈值为10，表示再10个训练轮次后验证集准确率仍没有突破，则保存最优模型停止训练。
[0112]
步骤3.3、设置损失函数：交叉熵损失：loss＝-[ylogp+(1-y)log(1-p)]其中y是真实标签，真脸值为1，假脸值为0，p是预测概率值。
[0113]
步骤3.4、加载训练集数据到网络。
[0114]
步骤3.5、对模型进行训练：对图3所示检测网络进行迭代训练，将选定连续n帧图{i
i1
,i
i2
,...,i
in
}输入网络(n＝7)，依次计算得到：
[0115]
n个人脸关键点坐标矩阵：
[0116]
{lm
i1
,lm
i2
,...,lm
in
}，
[0117]
n个关键点拓扑特征集合：
[0118]
{feature
i1
,feature
i2
,...,feature
in
}
[0119]
n个关键点拓扑图节点的高维几何特征：
[0120]
deep_feai＝f
gat
(feature),i∈(1,n)
[0121]
计算组合得到时域特征序列:
[0122]
t＝[diffe1,diffe2,...,diffe
n-1
]
[0123]
计算判决向量：
[0124]
vec＝f
rnn
(t)
[0125]
计算预测概率：
[0126]
p
real
，p
fake
＝f
fc
(vec)
[0127]
然后进行交叉熵损失的计算，之后进行梯度反传，更新网络参数，使损失逐渐减小至收敛。
[0128]
步骤4、模型测试阶段，具体步骤如下：
[0129]
步骤4.1、读取预处理后测试集数据。
[0130]
步骤4.2、将选定连续n帧图{i
i1
,i
i2
,...,i
in
}输入网络(n＝7)，依次计算得到：
[0131]
n个人脸关键点坐标矩阵：
[0132]
{lm
i1
,lm
i2
,...,lm
in
}，
[0133]
n个关键点拓扑特征集合：
[0134]
{feature
i1
,feature
i2
,...,feature
in
}
[0135]
n个关键点拓扑图节点的高维几何特征：
[0136]
deep_feai＝f
gat
(feature),i∈(1,n)
[0137]
计算组合得到时域特征序列:
[0138]
t＝[diffe1,diffe2,...,diffe
n-1
]
[0139]
计算判决向量：
[0140]
vec＝f
rnn
(t)
[0141]
计算预测概率：
[0142]
p
real
，p
fake
＝f
fc
(vec)
[0143]
通过softmax函数计算预测标签：
[0144]yp
＝f
softmax
(p
real
，p
fake
)
[0145]
最终通过统计预测标签与真实标签匹配率得到准确率acc。
[0146]
本发明实现了一种基于人脸关键点图建模的换脸视频篡改检测方法，提出了对人脸关键点进行拓扑图建模的特征构建方法，定义了关键点之间的邻边构成，并通过构建其间的邻边特征，学习更高维的几何特征表达。充分利用了人脸关键点之间的内联性，挖掘了利用关键点拓扑图对人脸动作分析建模的潜在应用空间。本实施例在ff++数据库上进行试验。将训练好的网络对ff++数据库测试集进行不同后处理攻击下的检测，然后通过计算检测准确率acc的方法来定量衡量现实场景应用鲁棒性。在不同后处理攻击下能保持更高的准确率代表具有更优良的鲁棒性。从表1中可以看出，本技术具有较优的鲁棒性。
[0147]
表1
[0148][0149]
综上所述，本发明与现有技术相比，至少具有如下优点和有益效果：
[0150]
(1)本发明提出了对人脸关键点进行拓扑图建模的特征构建方法，定义了关键点之间的邻边构成，并通过构建其间的邻边特征，学习更高维的几何特征表达。充分利用了人脸关键点之间的内联性，挖掘了利用关键点拓扑图对人脸动作分析建模的潜在应用空间。
[0151]
(2)本发明提出的并行图神经网络架构以及构建后续的帧间拓扑差异特征方式，更好地学习了时域上的几何特征表示，充分利用了单帧几何信息以及多帧时域上的特征差异信息，提升了模型的鲁棒性与检测准确性。
[0152]
(3)本发明在检测过程中使用的特征设计具有较低参数量，所使用的算法具有较低的复杂度，能在普通计算机上便捷地完成换脸视频篡改检测模型的训练与测试，具有较好的现实场景应用性。
[0153]
本发明还包括一种基于人脸关键点图建模的换脸视频篡改检测装置，包括：
[0154]
至少一个处理器；
[0155]
至少一个存储器，用于存储至少一个程序；
[0156]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
[0157]
本实施例的一种基于人脸关键点图建模的换脸视频篡改检测装置，可执行本发明
方法实施例所提供的一种基于人脸关键点图建模的换脸视频篡改检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0158]
本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0159]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0160]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0161]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0162]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0163]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的
介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0164]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0165]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0166]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0167]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，包括以下步骤：获取换脸视频数据，根据换脸视频数据获取训练集和测试集；构建基于人脸关键点图建模的篡改检测模型；采用训练集对篡改检测模型进行训练；采用测试集对训练后的篡改检测模型进行测试；其中，所述篡改检测模型包括前端人脸关键点提取模块、关键点拓扑图特征生成模块、并行图注意力神经网络模块、后端循环神经网络模块以及判决输出模块；所述前端人脸关键点提取模块用于对人脸图片进行关键点提取，得到单帧图片多个关键点坐标集和；所述关键点拓扑图特征生成模块用于生成单帧人脸关键点拓扑图特征；所述并行图注意力神经网络模块由n条并行图注意力神经网络gat支路构成，每条gat支路对生成的单帧人脸关键点拓扑图特征进行计算，并拓展为高维几何特征，n条支路共生成n个人脸关键点高维几何特征，使用时域特征生成函数构建n-1个帧间拓扑差异特征，最终组成时域序列特征；所述后端循环神经网络模块用于对时域序列特征进行计算，得到最终的判决向量；所述判决输出模块用于根据判决向量预测真假标签。2.根据权利要求1所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述前端人脸关键点提取模块包含一个不参与训练以及参数更新的级联残差回归树gdbt网络；所述关键点拓扑图特征生成模块包含一个参数固定的邻接矩阵以及单帧面部拓扑邻边特征计算函数；所述后端循环神经网络模块包含一个深层双向循环神经网络；所述判决输出模块包含两层全连接层以及两个真假判别节点。3.根据权利要求2所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述关键点拓扑图特征生成模块中的固定参数的邻接矩阵形式如下：其中，start_index代表所构成关键点拓扑边的起点序列，end_index代表所构成关键点拓扑边的终点序列。4.根据权利要求2所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述关键点拓扑图特征生成模块中的单帧面部拓扑邻边特征计算函数形式如下：征在于，所述关键点拓扑图特征生成模块中的单帧面部拓扑邻边特征计算函数形式如下：构建的邻边特征矩阵形式如下：
adj
i
＝[eud(x
s
,x
e
,y
s
,y
e
),cos(x
s
,x
e
,y
s
,y
e
)],i∈(1,52)其中，x
s
代表第i条边的起点横坐标，y
s
代表第i条边的起点纵坐标，x
e
代表第i条边的终点横坐标，y
e
代表第i条边的终点纵坐标。5.根据权利要求1所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述并行图注意力神经网络模块的计算步骤如下：单帧人脸关键点拓扑图特征的表达式为feature＝[lm,edge_index,edge_fea]式中，lm表示人脸关键点矩阵，edge_index表示固定参数的邻接矩阵，edge_fea表示邻边特征矩阵；将单帧人脸关键点拓扑图特征输入gat网络；得到关键点拓扑图节点的高维几何特征：deep_fea
i
＝f
gat
(feature),i∈(1,n)deep_fea的格式为n
×
n，代表每个关键点的特征更新至n维，至此将得到n个高维几何特征，进一步构建时域帧间拓扑差异特征，形式如下：diffe
i
＝deep_fea
i+1-deep_fea
i
,i∈(1,n-1)最终拼接组合得到时域特征序列:t＝[diffe1,diffe2,...,diffe
n-1
]。6.根据权利要求1所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述后端循环神经网络模块包含门控循环单元，用于计算时域特征序列t，其输出单元数量设置为n，得到判决向量的维度为1
×
n：vec＝f
rnn
(t)。7.根据权利要求2所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述所述判决输出模块中的两层全连接层的节点数分别为64和32，并由最终的真假判别节点输出预测概率，最终的预测标签由softmax函数计算。8.根据权利要求1所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述换脸视频篡改检测方法还包括对测试集进行预处理的步骤：对测试集中的图片进行攻击处理，其中攻击处理包括平均滤波攻击、椒盐噪声攻击、伽马矫正攻击或者jpeg压缩攻击中至少一种。9.根据权利要求1所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述采用训练集对篡改检测模型进行训练，包括：对篡改检测模型进行网络初始化；设置网络参数：设置gat网络的节点特征数和输出特征维度数；设置训练参数，采用随机梯度下降法进行优化；加载训练样本对模型进行训练，根据网络输出得到的预测概率，使用交叉熵损失函数进行代价计算，并反向更新梯度，更新网络参数，使损失值逐渐降低达到收敛。10.一种基于人脸关键点图建模的换脸视频篡改检测装置，其特征在于，包括：至少一个处理器；
至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-9任一项所述发方法。

技术总结
本发明公开了一种基于人脸关键点图建模的换脸视频篡改检测方法及装置，其中方法包括：获取换脸视频数据，根据换脸视频数据获取训练集和测试集；构建基于人脸关键点图建模的篡改检测模型；采用训练集对篡改检测模型进行训练；采用测试集对训练后的篡改检测模型进行测试；其中，所述篡改检测模型包括前端人脸关键点提取模块、关键点拓扑图特征生成模块、并行图注意力神经网络模块、后端循环神经网络模块以及判决输出模块。本发明通过对人脸关键点进行拓扑图建模，并使用图注意力神经网络提取关键点拓扑图节点的高维几何特征，进一步丰富单帧人脸的特征表示，提升了模型的鲁棒性与检测准确性。本发明可广泛应用于数字视频的篡改检测技术领域。检测技术领域。检测技术领域。


技术研发人员：曾凯 刘琲贝 余翔宇
受保护的技术使用者：华南理工大学
技术研发日：2023.03.10
技术公布日：2023/7/19