【技术实现步骤摘要】
本专利技术涉及深度伪造检测，具体涉及一种基于身份脸型特征的深度伪造检测方法。
技术介绍
1、近年来深度伪造技术不断发展，一些开源方法导致普通大众也可以改变图像的身份，并且在普通人看来难以区分真假。一方面利用深度伪造可以用于娱乐和影视制作等项目，另一方面它被滥用于恶意传播、网络诈骗等非法目的，导致了十分恶劣的影响。
2、传统的深度伪造检测方法直接将深度伪造检测问题作为二分类问题，使用骨干网络直接对真假图像进行分类，检测性能表现一般。后来的方法大多精心设计模块捕捉生成器遗留的伪造痕迹，但是这些方法的泛化性表现较差，模型拟合与特定方法，在实际应用中对于未知伪造方式生成的人脸检测性能急剧下降。
技术实现思路
1、本专利技术为了克服以上技术的不足，提供了一种检测人脸具有更强的针对性的基于身份脸型特征的深度伪造检测方法。
2、本专利技术克服其技术问题所采用的技术方案是：
3、一种基于身份脸型特征的深度伪造检测方法，包括如下步骤：
4、a)获取视频，得到训练集和测试集，从训练集中提取张量xtrain，从测试集中提取张量x′test和x′ref；
5、b)将张量xtrain输入到身份编码器中，输出得到人脸身份特征
6、c)建立身份特征一致性网络，身份特征一致性网络由3d重建编码器、身份脸型一致性提取网络、融合单元构成；
7、d)将张量xtrain输入到身份特征一致性网络的3d重建编码器中，输出得到脸型特征fshap
8、e)将特征fshape及人脸身份特征fid输入到身份特征一致性网络的身份脸型一致性提取网络中，输出得到身份脸型一致性特征fisc；
9、f)将人脸身份特征fid与身份脸型一致性特征fisc输入到身份特征一致性网络的融合单元中进行融合得到特征fic；
10、g)计算损失函数l，利用损失函数l对身份特征一致性网络进行训练，得到优化后的身份特征一致性网络；
11、h)将张量x′test输入到优化后的身份特征一致性网络中，输出得到特征f′ic，将x′ref输入到优化后的身份特征一致性网络中，输出得到特征f″ic，通过公式s＝δ(f′ic,f″ic)计算得到相似度值s，式中δ(·,·)为余弦相似度计算函数，当相似度值s大于等于阈值τ时判定视频中的人脸为真实人脸，当相似度值s小于τ时判定视频中的人脸为伪造人脸。
12、进一步的，步骤a)包括如下步骤：
13、a-1)从面部伪造数据集faceforensics++中选择n个视频作为训练集vtrain，选择m个视频作为测试集vtest，vtrain＝vf+vr＝{v1,v2,...,vn,...,vn}，训练集中包含nf个伪造视频和nr个真实视频，nf+nr＝n，vf为伪造视频集，vr为真实视频集，vn为第n个视频，n∈{1,...,n}，第n个视频vn具有l个图像帧构成，vn＝{x1,x2,...,xj,...,xl}，xj为第j个图像帧，j∈{1,...,l}，xj的类型标签为yj，第j个图像帧xj为真实图像时，xj取值为0，第j个图像帧xj为伪造图像时，xj取值为1，第j个图像帧xj的源身份标签为测试集vtest＝v′f+v′r＝{v1,v2,...,vm,...,v′m}，测试集中包含mf个伪造视频和mr个真实视频，mf+mr＝m，v′f为伪造视频集，v′r为真实视频集，v′m为第m个视频，m∈{1,...,m}；
14、a-2)使用opencv包中的videoreader类逐帧读取训练集中第n个视频vn后随机提取第n个视频vn中t个连续的视频帧作为训练视频vtrain，通过mtcnn算法检测训练视频vtrain中每个视频帧的人脸关键点并标正人脸图像，将标正的人脸图像截取后得到人脸图像矩阵x′train；
15、a-3)使用opencv包中的videoreader类逐帧读取测试集中的伪造视频集v′f的第m个视频v′m后随机提取第m个视频v′m中t个连续的视频帧作为测试视频vtest_1，使用opencv包中的videoreader类逐帧读取测试集中的真实视频集v′r的第m个视频v′m后随机提取第m个视频v′m中两组t个连续的视频帧，第一组连续的视频帧为测试视频vtest_2，第二组连续的视频帧为参考视频vref，通过公式vtest＝vtest_1+vtest_2计算得到测试视频vtest，通过mtcnn算法检测测试视频vtest中每个视频帧的人脸关键点并标正人脸图像，将标正的人脸图像截取后得到人脸图像矩阵x′test，通过mtcnn算法检测参考视频vref中每个视频帧的人脸关键点并标正人脸图像，将标正的人脸图像截取后得到人脸图像矩阵x′ref；
16、a-4)利用pytorch中的totensor()函数将人脸图像矩阵x′train转化为张量xtrain，xtrain∈rt×c×h×w，将人脸图像矩阵x′test转化为张量xtest，xtest∈rt×c×h×w，将人脸图像矩阵x′ref转化为张量xref，xref∈rt×c×h×w，r为实数空间，c为图像帧通道数，h为图像帧高度，w为图像帧高度。
17、进一步的，步骤b)中身份编码器由arcface人脸识别模型构成，将张量xtrain输入到身份编码器中，输出得到训练集中的第n个视频vn的身份特征f′id，f′id∈rt×512，将身份特征f′id通过pytorch中的tensor.transpose()函数转换得到训练集中的第n个视频vn的人脸身份特征n∈{1,...,n}。
18、进一步的，步骤d)包括如下步骤：
19、d-1)身份特征一致性网络的3d重建编码器由预训练的deep3dfacerecon网络构成；
20、d-2)将张量xtrain输入到3d重建编码器中，输出得到3dmm身份特征f′shape；d-3)将3dmm身份特征f′shape利用pytorch中的tensor.transpose()函数转换得到脸型特征fshape，fshape∈r257×t。
21、进一步的，步骤e)包括如下步骤：
22、e-1)身份特征一致性网络的身份脸型一致性提取网络由脸型一致性自注意力模块、身份引导脸型一致性注意力模块构成；
23、e-2)身份脸型一致性提取网络的脸型一致性自注意力模块由时间卷积块、第一残差卷积块、第二残差卷积块、第三残差卷积块、第一自注意力块、第二自注意力块、第三自注意力块、第四自注意力块构成；
24、e-3)脸型一致性自注意力模块的时间卷积块由1d卷积层、layernorm层、leakeyrelu函数构成，将脸型特征fshape输入到1d卷积层中，输出得到特征将特征输入到layernorm层中，输出得到特征将特征输入到leakeyrelu函数中，输出得到特征e-4)脸型一致性自注意力模块的第一残差卷积块、第二残差卷积块、第三残本文档来自技高网...
【技术保护点】
1.一种基于身份脸型特征的深度伪造检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于身份脸型特征的深度伪造检测方法，其特征在于，步骤a)包括如下步骤：
3.根据权利要求2所述的基于身份脸型特征的深度伪造检测方法，其特征在于:步骤b)中身份编码器由ArcFace人脸识别模型构成，将张量Xtrain输入到身份编码器中，输出得到训练集中的第n个视频Vn的身份特征F′id，F′id∈RT×512，将身份特征F′id通过PyTorch中的tensor.transpose()函数转换得到训练集中的第n个视频Vn的人脸身份特征n∈{1,...,N}。
4.根据权利要求3所述的基于身份脸型特征的深度伪造检测方法，其特征在于，步骤d)包括如下步骤：
5.根据权利要求3所述的基于身份脸型特征的深度伪造检测方法，其特征在于，步骤e)包括如下步骤：
6.根据权利要求5所述的基于身份脸型特征的深度伪造检测方法，其特征在于：步骤e-3)中时间卷积块的1D卷积层的卷积核大小为1、步长为2、填充为0；步骤e-4)中第一残差卷积块、第二残
7.根据权利要求3所述的基于身份脸型特征的深度伪造检测方法，其特征在于，步骤f)包括如下步骤：
8.根据权利要求2所述的基于身份脸型特征的深度伪造检测方法，其特征在于，步骤g)包括如下步骤：
9.根据权利要求8所述的基于身份脸型特征的深度伪造检测方法，其特征在于：
10.根据权利要求1所述的基于身份脸型特征的深度伪造检测方法，其特征在于：步骤h)中τ∈(0,1)。
...【技术特征摘要】
1.一种基于身份脸型特征的深度伪造检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于身份脸型特征的深度伪造检测方法，其特征在于，步骤a)包括如下步骤：
3.根据权利要求2所述的基于身份脸型特征的深度伪造检测方法，其特征在于:步骤b)中身份编码器由arcface人脸识别模型构成，将张量xtrain输入到身份编码器中，输出得到训练集中的第n个视频vn的身份特征f′id，f′id∈rt×512，将身份特征f′id通过pytorch中的tensor.transpose()函数转换得到训练集中的第n个视频vn的人脸身份特征n∈{1,...,n}。
4.根据权利要求3所述的基于身份脸型特征的深度伪造检测方法，其特征在于，步骤d)包括如下步骤：
5.根据权利要求3所述的基于身份脸型特征的深度伪造检测方法，其特征在于，步骤e)包括如下步骤：
6.根据权利要求5所述的基于身份脸型特征的深度伪造检测方法，其特征在于：步骤e-3)中时间卷积块的1d卷积层的卷积核大小为1、步长为2、填充为0；步骤e-4)中第一残差卷积块、第二残差卷积块、第三残差卷积块的1d卷积层的卷积核大小均为1、步长均为2、填充均为0；...
【专利技术属性】
技术研发人员：舒明雷，李浩然，徐鹏摇，周书旺，刘照阳，朱喆，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。