基于多相关帧注意力机制的人脸伪造视频检测方法技术

本发明专利技术公开了一种基于多相关帧注意力机制的人脸伪造视频检测方法，对一个视频，采用多流结构，多帧作为输入。设计一种帧间注意力机制，计算各帧特征流之间的动态关联信息，与目标帧的帧内静态特征与帧间的动态特征融合，作为预测的依据，从视频整体角度判断是否存在人脸篡改。能够提升对伪造视频的检测精度，同时对画质下降、新的篡改方式具备鲁棒性。

【技术实现步骤摘要】
基于多相关帧注意力机制的人脸伪造视频检测方法
本专利技术涉及伪造视频检测
，尤其涉及一种基于多相关帧注意力机制的人脸伪造视频检测方法。
技术介绍
随着深度学习尤其是GAN(生成式对抗网络)等技术的发展，最近产生了许多视频人脸篡改的方法及程序，这些程序可以将视频中原有人物的脸部替换为其他人的脸部，或对人物的表情进行篡改，同时保持视频的视觉真实性。这类程序操作简单，制作的视频效果逼真，一般人难以分辨，如果被恶意使用，会产生法律和道德的不良后果，因此，当前迫切需要有效的伪造视频检测方法。现有针对人脸的伪造视频检测技术主要分为两类：(1)基于视频中单帧图像的方法，但是，该方法不考虑视频的时域信息，将视频的分类问题转化为图像的分类问题，将大量真实视频与伪造视频解成帧图像，作为训练数据集，设计各种网络结构对真假图像进行训练，得到二分类器，待检测视频抽取若干帧，分别给出预测结果。(2)基于帧序列的方法，该方法中，将视频若干帧送入网络，使用RNN、LSTM等手段对各帧特征进行融合，给出二分类结果。上述现有方法取得了一些基本效果，但存在一些问题：方本文档来自技高网...

【技术保护点】
1.一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，包括：/n对于待检测视频，解码为帧序列，并提取出每一帧的脸部图像；/n选择一帧作为目标帧，并在目标帧前后各选出N个参考帧，对于2N+1帧中的脸部图像进行特征提取，分别计算目标帧的图像特征与每一参考帧的图像特征之间的帧间注意力信息，对于目标帧前后的帧间注意力信息分别计算平均值，从而得到目标帧的帧前注意力信息和帧后注意力信息，再将目标帧的图像特征与目标帧的帧前注意力信息及帧后注意力信息融合；/n基于融合结果进行预测，从而基于整个视频角度的预测结果判断待检测视频是否为人脸伪造视频。/n

【技术特征摘要】
1.一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，包括：
对于待检测视频，解码为帧序列，并提取出每一帧的脸部图像；
选择一帧作为目标帧，并在目标帧前后各选出N个参考帧，对于2N+1帧中的脸部图像进行特征提取，分别计算目标帧的图像特征与每一参考帧的图像特征之间的帧间注意力信息，对于目标帧前后的帧间注意力信息分别计算平均值，从而得到目标帧的帧前注意力信息和帧后注意力信息，再将目标帧的图像特征与目标帧的帧前注意力信息及帧后注意力信息融合；
基于融合结果进行预测，从而基于整个视频角度的预测结果判断待检测视频是否为人脸伪造视频。


2.根据权利要求1所述的一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，在目标帧Ft前后各选出N个参考帧分别记为{Fb1,Fb2,…,FbN}与{Fa1,Fa2,…,FaN}；
对2N+1帧中的脸部图像的进行特征提取，记为Vt、{Vb1,Vb2,…,VbN}与{Va1,Va2,…,VaN}；
分别计算每一参考帧中提取出的图像特征，与目标帧Ft中提取的图像特征Vt之间的相似性矩阵；每一参考帧利用其自身的图像特征与相应的相似性矩阵，计算出注意力图，进而得到帧间注意力信息。


3.根据权利要求2所述的一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，
相似性矩阵的计算公式为：



其中，Vmn表示一个参考帧中提取出的图像特征，m＝a,b，n＝1,2,…,N；W为权重参数矩阵；
计算注意力图：
Zmn＝VmnAmn
每一注意力图经过卷积层并使用softmax归一化后，得到帧间注意力信息：



其中，各自为处理注意力图的卷积层的权重、偏置；K表示卷积层中的卷积...

【专利技术属性】
技术研发人员：张勇东，胡梓珩，谢洪涛，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34