基于时空域预测像素级篡改概率值的换脸视频检测方法及系统技术方案

本发明专利技术公开了一种基于时空域预测像素级篡改概率值的换脸视频检测方法及系统，该方法包括下述步骤：视频预处理，根据人脸关键点构建篡改掩膜，对篡改掩膜随机采样得到多个像素点的坐标位置以及对应的篡改值，对人脸图像进行空域特征和多层次时域特征提取得到时空特征，基于双注意力机制计算得到时空不一致特征，将时空不一致特征与像素点的坐标通道进行拼接，基于像素级位置篡改概率值重建进行辅助监督，对时空不一致特征进行二分类得到换脸视频篡改检测结果。本发明专利技术能够使时空特征更具全局性，能够根据坐标定位预测出该像素点的篡改概率值，在不同数据库均获得较好的准确率，其跨库检测性能优于现有算法，具有较好的域泛化性和通用性。性和通用性。性和通用性。

【技术实现步骤摘要】
基于时空域预测像素级篡改概率值的换脸视频检测方法及系统


[0001]本专利技术涉及数字视频的篡改检测
，具体涉及一种基于时空域预测像素级篡改概率值的换脸视频检测方法及系统。

技术介绍

[0002]随着人脸伪造方法的快速发展，出现越来越多开源的换脸软件(如DeepFakes、DeepFaceLab2.0)，很容易被大众获取去制作各种换脸视频，换脸软件的滥用引起了公众的广泛关注，因此迫切需要开发出有效的换脸篡改视频的检测技术；
[0003]目前大多数基于图像分割思想的Deepfake检测算法将换脸视频视为特殊的拼接篡改问题，认为篡改图像最具区分性的特征是局部的，而不是全局的，更多利用流行的神经分割网络，如堆积大量卷积层和转置卷积层的全卷积网络模型生成大尺度篡改区域预测图，去检测局部的篡改痕迹，而不是从全局上从不同层面收集全局统计特征。但最新的换脸技术制作的伪造人脸质量都非常的高，往往很难从图像局部上提取出细微的篡改信息，只从局部提取篡改特征的检测算法容易出现跨库性能急剧下降的域泛化不足的问题。所以应该从全局取证角度，借助背景和脸部区域不一致性检测真伪。除此之外，全卷积网络模型大多参数较大，模型计算复杂度较高，并且网络容易出现过拟合。

技术实现思路

[0004]为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于时空域预测像素级篡改概率值的换脸视频检测方法及系统，本专利技术采用多层次时空特征提取网络和双注意力机制的模型进行时空不一致特征提取，从时间多分辨率的角度提取出时空不一致特征，并对篡改掩膜通过采样构建多组坐标位置
‑
篡改值对(x坐标，y坐标，篡改值)，将时空不一致特征与随机采样的若干个像素点的xy轴坐标进行拼接，通过坐标位置重建得到该像素点的篡改概率预测值，进行像素级篡改概率值的辅助监督，在库内和跨库测试中均具有很好的检测性能，具有良好的泛化性。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]本专利技术提供一种基于时空域预测像素级篡改概率值的换脸视频检测方法，包括下述步骤：
[0007]将待测视频进行分帧，对每一帧图像进行人脸框检测提取；
[0008]根据人脸关键点构建篡改掩膜；
[0009]对待检测图像的篡改掩膜进行随机采样，得到多个像素点的坐标位置以及对应的篡改值；
[0010]基于DenseNet模块构建浅层的卷积层模块，对输入的人脸图像进行空域特征提取，输出空域特征；
[0011]基于ConvLSTM构建多层次时域特征提取模块，将空域特征输入多层次时域特征提
取模块输出时空特征，对应不同时间分辨率；
[0012]构建双注意力机制模块，所述双注意力机制模块设有时空注意力机制和时域分辨率注意力机制，在时空注意力机制中生成三维概率注意力图，对多个时空特征进行特征增强，在时域分辨率注意力机制中输入特征增强后的时空特征，计算多个时空特征之间的时域关联性，自适应计算不同时空特征的权重值，加权求得时空不一致特征；
[0013]将时空不一致特征与像素点的坐标通道进行拼接，经多层卷积层后生成像素坐标位置对应的篡改概率预测值，将篡改值通道作为篡改值标签，对比像素级篡改概率预测值和篡改值标签计算交叉熵损失函数；
[0014]设定阈值，基于设定阈值对时空不一致特征进行二分类，得到换脸视频篡改检测结果。
[0015]作为优选的技术方案，所述根据人脸关键点构建篡改掩膜，具体步骤包括：
[0016]根据人脸关键点的点集生成一个凸多边形作为篡改区域构建篡改掩膜，所述篡改掩膜设有二值化0或1的值，当判定假脸图像在人脸轮廓区域被篡改过时，人脸轮廓区域内均设为1值，背景区域均设为0值；当判定真脸图像在整张图像中均未被篡改过时，整张掩膜均设为0值；
[0017]根据人脸框位置裁剪出人脸区域图片,并采用双线性插值对图片重采样成统一的预设分辨率作为图像输入。
[0018]作为优选的技术方案，所述在时空注意力机制中生成三维概率注意力图，对多个时空特征进行特征增强，具体步骤包括：
[0019]在时空注意力机制中，将时空特征沿着不同的输入特征方向轴使用最大池化和平均池化操作得到两个三维的注意力图，将两个三维的注意力图拼揍后经过3D卷积和Sigmoid函数生成三维概率特征图，将三维概率特征图与时空特征逐元素相乘，得到特征增强后的时空特征。
[0020]作为优选的技术方案，所述在时空注意力机制中生成三维概率注意力图，对多个时空特征进行特征增强，具体表示为：
[0021][0022][0023][0024][0025]其中，表示逐元素相乘，σ表示Sigmoid函数，Conv3d表示3D卷积层，ST
t,C,H,W
表示时空特征输入，表示沿着输入特征方向的最大池化输出值，表示沿着输入特征方向的平均池化输出值，表示特征增强后的时空特征，t0表示图像第t0帧，N表示图像总帧数，C、H、W分别表示图像的通道、高度和宽度。
[0026]作为优选的技术方案，所述在时域分辨率注意力机制中输入特征增强后的时空特
征，计算多个时空特征之间的时域关联性，自适应计算不同时空特征的权重值，具体步骤包括：
[0027]特征增强后的时空特征经过三维的最大池化和三维的平均池化操作，得到最大池化特征和平均池化特征，将最大池化特征和平均池化特征分别输入多层感知器，自适应生成权重向量，提取时空特征在不同时间分辨率下的时域关联。
[0028]作为优选的技术方案，所述在时域分辨率注意力机制中输入特征增强后的时空特征，计算多个时空特征之间的时域关联性，自适应计算不同时空特征的权重值，加权求得时空不一致特征，具体表示为：
[0029][0030][0031][0032][0033]其中，表示逐元素相乘，C、H、W分别表示图像的通道、高度和宽度，表示特征增强后的时空特征，表示最大池化特征，表示平均池化特征，MLP表示多层感知器，F
STW
表示Softmax函数输出的概率特征向量，ST
STW
表示多尺度时域关联的时空特征，t0表示图像第t0帧，N表示图像总帧数。
[0034]作为优选的技术方案，所述对比像素级篡改概率预测值和篡改值标签计算交叉熵损失函数，具体计算公式表示为：
[0035][0036]其中，p
′
表示篡改概率预测值，p表示篡改值标签，p
c
表示篡改值标签的集合。
[0037]作为优选的技术方案，所述基于设定阈值对时空不一致特征进行二分类，具体步骤包括：
[0038]将时空不一致特征平铺展开为一维特征，输入到两层全连接层的分类器，输出待检测帧的篡改概率值，将篡改概率值与设定阈值进行比较，高于设定阈值则判定人脸图像为篡改图像，低于设定阈值则判定人脸图像为真实图像。
[0039]作为优选的技术方案，还包括网络训练损失函数构建步骤，所述网络训练损失函数包括二分类真假预测与真本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，包括下述步骤：将待测视频进行分帧，对每一帧图像进行人脸框检测提取；根据人脸关键点构建篡改掩膜；对待检测图像的篡改掩膜进行随机采样，得到多个像素点的坐标位置以及对应的篡改值；基于DenseNet模块构建浅层的卷积层模块，对输入的人脸图像进行空域特征提取，输出空域特征；基于ConvLSTM构建多层次时域特征提取模块，将空域特征输入多层次时域特征提取模块输出时空特征，对应不同时间分辨率；构建双注意力机制模块，所述双注意力机制模块设有时空注意力机制和时域分辨率注意力机制，在时空注意力机制中生成三维概率注意力图，对多个时空特征进行特征增强，在时域分辨率注意力机制中输入特征增强后的时空特征，计算多个时空特征之间的时域关联性，自适应计算不同时空特征的权重值，加权求得时空不一致特征；将时空不一致特征与像素点的坐标通道进行拼接，经多层卷积层后生成像素坐标位置对应的篡改概率预测值，将篡改值通道作为篡改值标签，对比像素级篡改概率预测值和篡改值标签计算交叉熵损失函数；设定阈值，基于设定阈值对时空不一致特征进行二分类，得到换脸视频篡改检测结果。2.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，所述根据人脸关键点构建篡改掩膜，具体步骤包括：根据人脸关键点的点集生成一个凸多边形作为篡改区域构建篡改掩膜，所述篡改掩膜设有二值化0或1的值，当判定假脸图像在人脸轮廓区域被篡改过时，人脸轮廓区域内均设为1值，背景区域均设为0值；当判定真脸图像在整张图像中均未被篡改过时，整张掩膜均设为0值；根据人脸框位置裁剪出人脸区域图片,并采用双线性插值对图片重采样成统一的预设分辨率作为图像输入。3.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，所述在时空注意力机制中生成三维概率注意力图，对多个时空特征进行特征增强，具体步骤包括：在时空注意力机制中，将时空特征沿着不同的输入特征方向轴使用最大池化和平均池化操作得到两个三维的注意力图，将两个三维的注意力图拼揍后经过3D卷积和Sigmoid函数生成三维概率特征图，将三维概率特征图与时空特征逐元素相乘，得到特征增强后的时空特征。4.根据权利要求1或3所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，所述在时空注意力机制中生成三维概率注意力图，对多个时空特征进行特征增强，具体表示为：
其中，表示逐元素相乘，σ表示Sigmoid函数，Conv3d表示3D卷积层，ST
t,C,H,W
表示时空特征输入，表示沿着输入特征方向的最大池化输出值，表示沿着输入特征方向的平均池化输出值，表示特征增强后的时空特征，t0表示图像第t0帧，N表示图像总帧数，C、H、W分别表示图像的通道、高度和宽度。5.根据权利要求1所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，所述在时域分辨率注意力机制中输入特征增强后的时空特征，计算多个时空特征之间的时域关联性，自适应计算不同时空特征的权重值，具体步骤包括：特征增强后的时空特征经过三维的最大池化和三维的平均池化操作，得到最大池化特征和平均池化特征，将最大池化特征和平均池化特征分别输入多层感知器，自适应生成权重向量，提取时空特征在不同时间分辨率下的时域关联。6.根据权利要求1或5所述的基于时空域预测像素级篡改概率值的换脸视频检测方法，其特征在于，所述在时域分辨率注意力机制中输入特征增强后的时空特征，计算多个时空特征之间的时域关联性，自适应计算不同时空特征的权重值，加权求得时空不一致特征，具体表示为：为：为：为：其中，表示逐元素相...

【专利技术属性】
技术研发人员：卓思超，胡永健，刘琲贝，余翔宇，赵鸿杰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：