人脸图像真伪的检测方法技术

本发明专利技术公开了一种人脸图像真伪的检测方法，包括：在视频帧中裁切人脸图像；对人脸图像进行编码得到潜编码，再根据潜编码对人脸进行粗糙重建；提取人脸图像中的外形几何细节并进行编码并将该编码与步骤2得到的潜编码进行结合生成位移图；在原始人脸图像和步骤3得到的位移图对比的不断逼近下优化编码器

【技术实现步骤摘要】
人脸图像真伪的检测方法


[0001]本专利技术属于互联网的
，具体涉及一种人脸图像真伪的检测方法。

技术介绍

[0002]随着互联网的迅速普及，人工智能在现实生活中发挥着越来越重要的作用。深度合成技术作为人工智能内容合成技术的一种，引入了对抗生成网络、变分自动编码器等深度学习技术。这种技术，能够将源对象的人脸替换到目标对象的人脸上，并能使其随之作出视频中目标对象在做的表情。在国内外内容平台、社交平台上，深度合成内容呈现“量质齐升”的效果，不仅能够欺骗人眼，也为欺骗一些人脸核验机制，提供了可能性。这意味着，深度合成技术正在改变信息传播内容信任链的底层逻辑和复杂程度，风险隐患在迅速加大。一方面，“眼见为实”的定义发生改变。尽管公众对照片等静态信息易被篡改已有认知，但对视频、声音等动态信息仍持有较高信任度，深度合成技术再次瓦解了“眼见为实”的信任逻辑。二是短视频的广泛传播，使深度合成技术的滥用产生了较大范围的影响力和破坏力。
[0003]目前，深度伪造模型的构造主要基于GAN实现，由编码器(encoder)和解码器(decoder)构成：编码器用于提取人脸图像的潜在特征，解码器则用于重构人脸图像。为了实现换脸操作，模型需要两个编码器/解码器对(编码器A/解码器A,编码器B/解码器B)，分别基于已收集的源对象人脸和目标对象人脸的图像集进行训练，其中编码器A和编码器B具有相同的编码网络(即参数共享),编码器的统一性能够保证模型学习到两组图像面部结构之间的相似性(如五官特征)。待模型训练完成之后，通过将模型训练中源对象人脸和目标对象人脸的解码器互换,进而构建新的编码器/解码器对(编码器A/解码器B，编码器B/解码器A)，然后选取源对象人脸的一张图像作为源图像，在编码器A编码完成之后，基于解码器B进行解码，从而生成载有源对象面部、目标对象身体的深度伪造(换脸)图像。
[0004]为了应对深度合成技术带来的社会风险和挑战，使用传统的图片篡改技术，如复制粘贴检测、拼接检测、移除检测，无法很好地检测神经网络产生的伪影，因为这些方法往往假设篡改图像使用的技术是诸如这样的传统技术，故需要开发一种新的人脸图像真伪的检测方法，以补充神经网络在检测深度伪造人脸上的不足。

技术实现思路

[0005]本专利技术的目的在于针对现有技术的不足之处，提供一种人脸图像真伪的检测方法，该方法解决了Deepfake人脸伪造攻击的检测问题，有效提高了神经网络模型在分辨deepfake人脸的准确性，实现对基于Deepfake多媒体内容攻击的检测和防御。
[0006]为解决上述技术问题，本专利技术采用如下技术方案：
[0007]一种人脸图像真伪的检测方法，其特征在于，包括如下步骤：
[0008]步骤1，从视频中提取包含人脸的视频帧，并对视频帧中的人脸进行裁切；
[0009]步骤2，对裁切的人脸图像采用卷积神经网络进行编码得到潜编码，再根据潜编码对人脸进行粗糙3D重建；
[0010]步骤3，提取人脸图像中的外形几何细节，并使用卷积神经网络对提取的几何细节进行再次编码，将该编码与步骤2得到的潜编码进行结合生成位移图，从而得到精细重建的3D人脸图片；
[0011]步骤4，根据原始人脸图像和步骤3重建生成的位移图对比的不断逼近来优化编码器
‑
解码器，以使编码器
‑
解码器能够独立地对输入的人脸图像生成独特位移图，将其作为辨别人脸深度伪造的鉴别特征；
[0012]步骤5，将人脸图片输入到步骤4优化后的编码器
‑
解码器中生成独特位移图，再将独特位移图与人脸图像组合形成特征图，输入到残差神经网络中获得卷积后的特征图像；
[0013]步骤6，将步骤5得到的卷积后的特征图像输入到transformer中进行分割处理，从而得到patch
‑
embedding向量序列，再在transformer中对patch
‑
embedding向量序列进行更进一步的处理和运算，最后输出为人脸图像真假预测的概率值。
[0014]进一步地，步骤1中裁切的方法为：获取视频，对视频进行处理，提取出一帧帧的视频帧，运用基于cuda的face_recognition函数，定位视频帧中人脸的坐标位置，通过缩放裁切出人脸图片。
[0015]进一步地，步骤2中对人脸进行粗糙3D重建的方法为：
[0016]构建卷积神经网络ResNet50，并将步骤1裁切得到的人脸图像输入卷积神经网络ResNet50中，输出对应的向量并进行编码从而获得一段潜编码，再使用BFM头部纹理模型、FLAME头部外形模型、Spherical Harmonics光照模型对潜编码进行运用，分别得到UV人头纹理图、头部外形网格和场景光照，最后通过可差分渲染得到人脸的粗糙3D重建。
[0017]进一步地，步骤2中的潜编码包括人脸重建过程中的相机位置、光照情况、人面部的皮肤纹理、人脸的基本外形、人脸外形的位置和人脸外形的表情。
[0018]进一步地，步骤4中采用反向传播法不断优化生成位移图的编码器
‑
解码器。
[0019]进一步地，步骤5具体包括如下子步骤：
[0020]步骤5.1，将人脸图像输入到步骤4优化后的编码器
‑
解码器中生成独特位移图，再使用concatenate操作，将独特位移图与人脸图像拼接在一起，让两者在通道层面形成堆叠得到组合而成的特征图；
[0021]步骤5.2，构建残差神经网络，采用残差神经网络对组合而成的特征图进行卷积运算处理，将运算得到的特征向量作为提取出的抽象特征细节，从而得到卷积后的特征图像。
[0022]进一步地，步骤6具体包括如下子步骤：
[0023]步骤6.1，将步骤5得到的卷积后的特征图像输入到transformer进行分割处理，Transformer将输入的特征图像进行patch
‑
embedding分割，特征图像被分割成n个向量从而得到n个patch
‑
embedding向量序列；
[0024]步骤6.2，使用N个transformer模块的网络结构对每个batch的特征图像patch
‑
embedding向量序列进行处理，获得每个模块的处理结果；
[0025]步骤6.3，按照步骤6.2中的方法进行前一个模块的运算后，结果输入到下一个同类模块中进行同样的运算，如此连续运算N次之后，输出高维特征向量，将输出的高维特征向量输入到一个全连接层中用以调整向量的维度，最后再处理为人脸图像真伪预测的概率值。
[0026]与现有技术相比，本专利技术的有益效果为：
[0027]1)本专利技术通过从3D人脸重建的角度出发，提取出人脸面部的几何细节，从而提取Deepfake人脸的伪造线索，助力Deepfake的检测，可以提高神经网络模型在分辨deepfake人脸的准确性，实现对基于Deepfake多媒体内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像真伪的检测方法，其特征在于，包括如下步骤：步骤1，从视频中提取包含人脸的视频帧，并对视频帧中的人脸进行裁切；步骤2，对裁切的人脸图像采用卷积神经网络进行编码得到潜编码，再根据潜编码对人脸进行粗糙3D重建；步骤3，提取人脸图像中的外形几何细节，并使用卷积神经网络对提取的几何细节进行再次编码，将该编码与步骤2得到的潜编码进行结合生成位移图，从而得到精细重建的3D人脸图片；步骤4，在原始人脸图像和步骤3重建生成的位移图对比的不断逼近下优化编码器
‑
解码器，以使编码器
‑
解码器能够独立地对输入的人脸图像生成独特位移图，将其作为辨别人脸深度伪造的鉴别特征；步骤5，将人脸图像输入到步骤4优化后的编码器
‑
解码器中生成独特位移图，再将独特位移图与人脸图像组合形成特征图，输入到残差神经网络中获得卷积后的特征图像；步骤6，将步骤5得到的卷积后的特征图像输入到transformer中进行分割处理，从而得到patch
‑
embedding向量序列，再在transformer中对patch
‑
embedding向量序列进行更进一步的处理和运算，最后输出为人脸图像真假预测的概率值。2.根据权利要求1所述的人脸图像真伪的检测方法，其特征在于，步骤1中裁切的方法为：获取视频，对视频进行处理，提取出一帧帧的视频帧，运用基于cuda的face_recognition函数，定位视频帧中人脸的坐标位置，通过缩放裁切出人脸图像。3.根据权利要求1所述的人脸图像真伪的检测方法，其特征在于，步骤2中对人脸进行粗糙3D重建的方法为：构建卷积神经网络ResNet50，并将步骤1裁切的人脸图像输入卷积神经网络ResNet50中，输出对应的向量并进行编码从而获得一段潜编码，再使用BFM头部纹理模型、FLAME头部外形模型、Spherical Harmonics光照模型对潜编码进行运用...

【专利技术属性】
技术研发人员：沈志东，李文韬，
申请(专利权)人：武汉大学，
类型：发明
国别省市：