基于人脸关键点图建模的换脸视频篡改检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于人脸关键点图建模的换脸视频篡改检测方法及装置，其中方法包括：获取换脸视频数据，根据换脸视频数据获取训练集和测试集；构建基于人脸关键点图建模的篡改检测模型；采用训练集对篡改检测模型进行训练；采用测试集对训练后的篡改检测模型进行测试；其中，所述篡改检测模型包括前端人脸关键点提取模块、关键点拓扑图特征生成模块、并行图注意力神经网络模块、后端循环神经网络模块以及判决输出模块。本发明专利技术通过对人脸关键点进行拓扑图建模，并使用图注意力神经网络提取关键点拓扑图节点的高维几何特征，进一步丰富单帧人脸的特征表示，提升了模型的鲁棒性与检测准确性。本发明专利技术可广泛应用于数字视频的篡改检测技术领域。检测技术领域。检测技术领域。

【技术实现步骤摘要】
基于人脸关键点图建模的换脸视频篡改检测方法及装置


[0001]本专利技术涉及数字视频的篡改检测
，尤其涉及一种基于人脸关键点图建模的换脸视频篡改检测方法及装置。

技术介绍

[0002]随着计算机视觉领域中人工智能和深度学习技术的快速发展，视频换脸的技术逐渐变得简易化，换脸技术的合成效果逐渐逼真化，换脸视频越来越大众化，时常出现在各流行媒体传播平台当中，换脸技术在为人类业余生活带来娱乐的同时，也给公共安全以及舆论传播造成一定的消极影响，民众对数字隐私安全性的担忧逐步升高，因此针对换脸视频篡改检测技术的研究具有重要的意义。
[0003]现有技术中的换脸视频篡改检测技术主要通过设计深度神经网络，融合各域特征来检测换脸视频。虽然基于深度神经网络的这些检测技术在所训练的数据库中有着高达90％以上检测准确率，但是其在现实场景中的应用却有着不小的缺陷：现有技术的特征工程大多单一依赖于视频或者图像空域内容进行研究，一旦这些内容遭到人为后处理攻击，扰动其原本的数据构成或是降低其内容质量，这些技术的检测性能将大打折扣。而人脸关键点能较好“躲避”这类攻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，包括以下步骤：获取换脸视频数据，根据换脸视频数据获取训练集和测试集；构建基于人脸关键点图建模的篡改检测模型；采用训练集对篡改检测模型进行训练；采用测试集对训练后的篡改检测模型进行测试；其中，所述篡改检测模型包括前端人脸关键点提取模块、关键点拓扑图特征生成模块、并行图注意力神经网络模块、后端循环神经网络模块以及判决输出模块；所述前端人脸关键点提取模块用于对人脸图片进行关键点提取，得到单帧图片多个关键点坐标集和；所述关键点拓扑图特征生成模块用于生成单帧人脸关键点拓扑图特征；所述并行图注意力神经网络模块由N条并行图注意力神经网络GAT支路构成，每条GAT支路对生成的单帧人脸关键点拓扑图特征进行计算，并拓展为高维几何特征，N条支路共生成N个人脸关键点高维几何特征，使用时域特征生成函数构建N
‑
1个帧间拓扑差异特征，最终组成时域序列特征；所述后端循环神经网络模块用于对时域序列特征进行计算，得到最终的判决向量；所述判决输出模块用于根据判决向量预测真假标签。2.根据权利要求1所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述前端人脸关键点提取模块包含一个不参与训练以及参数更新的级联残差回归树GDBT网络；所述关键点拓扑图特征生成模块包含一个参数固定的邻接矩阵以及单帧面部拓扑邻边特征计算函数；所述后端循环神经网络模块包含一个深层双向循环神经网络；所述判决输出模块包含两层全连接层以及两个真假判别节点。3.根据权利要求2所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述关键点拓扑图特征生成模块中的固定参数的邻接矩阵形式如下：其中，Start_index代表所构成关键点拓扑边的起点序列，End_index代表所构成关键点拓扑边的终点序列。4.根据权利要求2所述的一种基于人脸关键点图建模的换脸视频篡改检测方法，其特征在于，所述关键点拓扑图特征生成模块中的单帧面部拓扑邻边特征计算函数形式如下：征在于，所述关键点拓扑图特征生成模块中的单帧面部拓扑邻边特征计算函数形式如下：构建的邻边特征矩阵形式如下：
Adj
i
＝[Eud(x
s
,x
e
,y
s
,y
e
),Cos(x
s
,x
e
,y
s
,y
e
)],i∈(1,52)其中，X
s
代表第i条边的起点横坐标，Y
s
代表第i条边的起点纵坐标，X
e
代表第i条边的终点横坐标，Y
e
代表第i条边的终点纵坐标。5.根据权利要...

【专利技术属性】
技术研发人员：曾凯，刘琲贝，余翔宇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：