一种面向换脸视频检测的视频运动增强方法技术

本发明专利技术公开了一种面向换脸视频检测的视频运动增强方法，构建形态‑纹理特征编码模型、形态特征差异增强模型、增强形态特征与纹理特征融合重建模型；编码模型是权值共享的一对卷积神经网络，对视频中的相邻帧进行特征提取并通过双流卷积输出图像的纹理特征以及形态特征；增强模型接收编码模型输出的前后帧的形态特征并作差，利用一个放大因子乘以前后帧形态差异并叠加到前帧的形态特征中；重建模型接收编码模型输出的后帧纹理特征以及增强模型输出的增强形态特征，将两种特征叠加并利用一系列卷积层进行图像重建，得到以放大因子为倍数的运动增强帧。本发明专利技术充分挖掘了伪造人脸视频中残留的运动不一致性的瑕疵，能有效提高检测模型的的精度。

【技术实现步骤摘要】
一种面向换脸视频检测的视频运动增强方法
本专利技术涉及模式识别
，尤其涉及一种面向换脸视频检测的视频运动增强方法。
技术介绍
目前，视频作为通信的重要内容，在人们的生活中起着重要的作用。同时，视频也能够作为法庭中的证据。然而近年来，由于深度学习等技术的发展，针对视频的伪造技术已经达人脸作为身份认证的重要信息，具有的先天的便利性与唯一性。然而随着人工智能技术的快速发展，使用深度学习模型伪造的人脸假视频在社交媒体上广泛传播。一些现有的手机应用如DeepfaceLab，Deep-FaceSwap和myFakeApp等为没有编程或图像处理基础的人提供了方便的换脸技术。不法分子可能利用假脸视频技术，制造虚假新闻，恶意视频，色情视频等，会严重损害了公众对大众传媒的信任度，扰乱社会治安，破坏国家安全。伪造人脸视频技术对社会的威胁已引起了学术界和工业界的广泛关注，国内外学者和机构均已展开有关检测伪造人脸视频的算法研究。目前所提出的检测方法既有基于传统手工特征，也有基于深度学习网络。但总体看来，现有伪造人脸检测技术仅处于初级阶段，各种算法通常在特定的数据库上具有良好效果，但泛化性能较差，跨库检测性能下降严重，而现有伪造算法多种多样，因此亟需解决假脸视频检测技术通用性不足的短板。尽管如今已经有大量的基于深度学习的伪造人脸检测研究方法被提出，但是还存在一些明显的缺陷与不足。主要存在以下几方面的问题：(1)仅从图像层面进行考虑。大多数针对伪造人脸视频的检测算法将视频分解成独立的帧，在帧内进行伪造检测。这类方法只考虑了基于图像的伪造瑕疵，而伪造算法在生成人脸视频时，并没有引入时域信息，因此在时间尺度上残留了大量可以用来区分真假人脸的特征。然而大部分检测方法只关注了帧级别的篡改痕迹，而没有关注到时间域上的篡改痕迹。(2)考虑的篡改特征比较单一。现有的基于特征的篡改方法均是从单一的角度进行检测，例如基于眨眼的方法，基于嘴型的方法，基于呼吸频率的方法与基于相机噪声的方法。其他基于图像瑕疵的方法大多直接利用深度学习模型，无法直观的提取真假人脸的差异，也难以结合其他方面的篡改特征。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种面向换脸视频检测的视频运动增强方法，通过该方法可以增强视频中的面部运动幅度，暴露出伪造人脸与真实人脸在运动细节上的差异，为检测器提供高精度且可解释的特征。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种面向换脸视频检测的视频运动增强方法，包括如下步骤：(1)构建运动增强模型，包括三个部分的卷积神经网络：编码模型、增强模型和重建模型；构建训练数据以及监督信息并训练模型，得到训练后的运动增强模型；(2)将待运动增强的人脸视频进行逐帧分解，得到一系列帧序列，提取帧序列中的人脸图像并构造帧图像对(fi,fi+1)，fi,fi+1分别为第i,i+1帧人脸图像；(3)将帧图像对(fi,fi+1)输入编码模型，编码模型分别对输入帧对中的帧图像提取特征，输出两帧图像的形态特征与纹理特征；(4)将编码模型输出的两帧形态特征输入增强模型，增强模型对两个形态特征图直接求差，得到前后帧的形态特征差异，该形态差异乘以放大因子后与前一帧的形态特征相加，得到增强后的形态特征；(5)将步骤(3)所得后一帧的纹理特征以及步骤(4)所得的增强形态特征输入重建模型，重建模型将这两种特征融合并重建得到预测的第i+1帧的运动增强帧。进一步的，所述步骤(1)，构建运动增强模型，包括三个部分的卷积神经网络：编码模型、增强模型和重建模型；具体如下：所述编码模型为权值共享的一对卷积神经网络，前后帧分别作为该对卷积神经网络的输入，分别经过一个7×7、3×3的卷积和三个残差模块后分成两个分支，每个分支都包含一个3×3卷积和两个残差模块，其中一支输出形态特征，另一支输出纹理特征，最终分别输出前后两帧图像的形态特征与纹理特征；所述增强模型接收编码模型输出的两帧形态特征并作差，对形态差异经过一个3×3的卷积后乘以放大倍数，随后再利用一个3×3卷积和残差模块进行处理，将得到的特征与前帧的形态特征叠加得到增强形态特征；所述重建模型接收编码模型输出的后帧的纹理特征并进行上采样，与增强形态特征叠加后经过9个残差模块、2个3×3卷积，通过7×7卷积复原到原始输入图像的尺寸；上述三个模型中的每个卷积后都跟随着一个ReLU激活函数层；由于这三个模型间的连接是可微的，因此在训练时可以端到端地利用反向传播以及随机梯度下降对网络参数进行更新。该运动增强模型可以实现将连续图像中的物体的运动幅度按照指定倍数进行放大。进一步的，所述步骤(1)，构建运动增强模型的训练数据以及监督信息的方法如下：(1.1)从背景图像数据集MS-COCO中随机选择n帧图像作为训练样本的背景图像；从前景物体数据集PASCAL-VOC中随机选取m个物体作为训练样本的前景物体；(1.2)对所选的m个前景物体的尺寸以及角度作随机扰动；(1.3)将一个前景物体随机粘贴在一帧背景图像上作为模型输入的前一帧，对该图像中的前景物体向任意角度进行随机距离的位移，得到的图像作为模型输入的后一帧；(1.4)以与步骤(1.3)同样的角度重复前景物体的位移，但位移距离放大一定倍数，模拟运动增强的实际效果(groud-truth)，得到的实际运动增强图像作为模型输出的监督信息；(1.5)为了使模型只学习噪声引起的变化，保持样本图像的背景不变，重复步骤(1.3)～(1.4)，直至所选的m个前景物体全部处理完成，得到m个训练样本以及监督信息；(1.6)对所选择的n帧背景图像，重复步骤(1.3)～(1.5)，得到运动增强模型的训练数据以及监督信息。进一步的，所述步骤(1.3)，确保运动增强模型学习到全局的运动特征，保持前景物体的位置不变，对样本图像的背景进行位移，得到的图像作为模型输入的后一帧；保持位移角度不变，放大背景的位移距离得到实际运动增强图像。进一步的，所述步骤(1.3)，确保编码模型提取到的纹理特征对比度满足预期，将样本图像的背景进行高斯模糊滤波以降低图像背景与前景的边缘对比度；保持前景物体的位置不变，对样本图像的背景进行位移，得到的图像作为模型输入的后一帧；保持位移角度不变，放大背景的位移距离得到实际运动增强图像。进一步的，高斯模糊滤波中使用的计算公式如下：其中，G(u,v)表示高斯模糊滤波器中的元素值，u,v分别表示滤波器的宽与高，σ表示正态分布的标准差。进一步的，所述步骤(2)，提取帧序列中的人脸图像，方法如下：(2.1)对原始帧图像进行直方图均衡化和高斯滤波平滑预处理；(2.2)对预处理后的图像进行颜色空间转换，用肤色模型检测图像中的皮肤像素；(2.3)对检测到的肤色区域进行形态学处理；(2.4)标定出图像中最大块的肤色区域，作为人脸的候选区域；(2.5)定位出所检测到的人脸区域。进本文档来自技高网...

【技术保护点】
1.一种面向换脸视频检测的视频运动增强方法，其特征在于：包括如下步骤：/n(1)构建运动增强模型，包括三个部分的卷积神经网络：编码模型、增强模型和重建模型；构建训练数据以及监督信息并训练模型，得到训练后的运动增强模型；/n(2)将待运动增强的人脸视频进行逐帧分解，得到一系列帧序列，提取帧序列中的人脸图像并构造帧图像对(f

【技术特征摘要】
1.一种面向换脸视频检测的视频运动增强方法，其特征在于：包括如下步骤：
(1)构建运动增强模型，包括三个部分的卷积神经网络：编码模型、增强模型和重建模型；构建训练数据以及监督信息并训练模型，得到训练后的运动增强模型；
(2)将待运动增强的人脸视频进行逐帧分解，得到一系列帧序列，提取帧序列中的人脸图像并构造帧图像对(fi,fi+1)，fi,fi+1分别为第i,i+1帧人脸图像；
(3)将帧图像对(fi,fi+1)输入编码模型，编码模型分别对输入帧对中的帧图像提取特征，输出两帧图像的形态特征与纹理特征；
(4)将编码模型输出的两帧形态特征输入增强模型，增强模型对两个形态特征图直接求差，得到前后帧的形态特征差异，该形态差异乘以放大因子后与前一帧的形态特征相加，得到增强后的形态特征；
(5)将步骤(3)所得后一帧的纹理特征以及步骤(4)所得的增强形态特征输入重建模型，重建模型将这两种特征融合并重建得到预测的第i+1帧的运动增强帧。


2.根据权利要求1所述的一种面向换脸视频检测的视频运动增强方法，其特征在于：所述步骤(1)，构建运动增强模型，包括三个部分的卷积神经网络：编码模型、增强模型和重建模型；具体如下：
所述编码模型为权值共享的一对卷积神经网络，前后帧分别作为该对卷积神经网络的输入，分别经过一个7×7、3×3的卷积和三个残差模块后分成两个分支，每个分支都包含一个3×3卷积和两个残差模块，其中一支输出形态特征，另一支输出纹理特征，最终分别输出前后两帧图像的形态特征与纹理特征；
所述增强模型接收编码模型输出的两帧形态特征并作差，对形态差异经过一个3×3的卷积后乘以放大倍数，随后再利用一个3×3卷积和残差模块进行处理，将得到的特征与前帧的形态特征叠加得到增强形态特征；
所述重建模型接收编码模型输出的后帧的纹理特征并进行上采样，与增强形态特征叠加后经过9个残差模块、2个3×3卷积，通过7×7卷积复原到原始输入图像的尺寸；
上述三个模型中的每个卷积后都跟随着一个ReLU激活函数层；在训练运动增强模型时端到端地利用反向传播以及随机梯度下降对网络参数进行更新。


3.根据权利要求1所述的一种面向换脸视频检测的视频运动增强方法，其特征在于：所述步骤(1)，构建运动增强模型的训练数据以及监督信息的方法如下：
(1.1)从背景图像数据集MS-COCO中随机选择n帧图像作为训练样本的背景图像；从前景物体数据集PASCAL-VOC中随机选取m个物体作为训练样本的前景物体；
(1.2)对所选的m个前景物体的尺寸以及角度作随机扰动；
(1.3)将一个前景物体随机粘贴在一帧背景图像上作为模型输入的前一帧，对该图像中的前景物体向任意角度进行随机距离的位移，得到的图像作为模型输入的后一帧；
(1.4)以与步骤(1.3)同样的角度重复前景物体的位移，但位移距离放大一定倍数，模拟运动增强的实际效果，得到的实际运动增强图像作为模型输出的监督信息；
(1.5)保持样本图像的背景不变...

【专利技术属性】
技术研发人员：夏志华，费建伟，顾飞，余佩鹏，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32