基于多特征融合的伪造人脸视频检测方法及系统技术方案

本发明专利技术涉及一种基于多特征融合的伪造人脸视频检测方法及系统，涉及目标检测技术领域，方法包括：对待检测人脸视频进行帧分解，以得到多张连续待检测人脸图像；将待检测人脸图像输入至空间特征提取网络，以得到融合特征图；将多张融合特征图输入至时序注意力网络，以确定人脸视频类型。空间特征提取网络包括第一伪造特征支路、第二伪造特征支路、跨模态交互模块和特征融合模块；跨模态交互模块用于提取所述第一伪造特征支路与所述第二伪造特征支路之间的图像特征互补信息，并将所述图像特征互补信息对应输入至所述第一伪造特征支路和所述第二伪造特征支路。本发明专利技术提高了伪造人脸视频检测的准确性。脸视频检测的准确性。脸视频检测的准确性。

【技术实现步骤摘要】
基于多特征融合的伪造人脸视频检测方法及系统


[0001]本专利技术涉及目标检测
，特别是涉及一种基于多特征融合的伪造人脸视频检测方法及系统。

技术介绍

[0002]随着深度学习为代表的人工智能技术的发展，深度伪造人脸技术得到了突破，篡改或生成高度逼真且难以甄别的伪造人脸成为可能。一方面深度伪造人脸技术在教育、文创、娱乐等领域具有其积极价值，另一方面深度伪造人脸技术的滥用可能给国防安全以及民生安全等多方面带来全新的挑战。
[0003]现阶段，对于人脸伪造视频的防御，大多从被动式检测的视角出发，从人脸视频自身获取信息或提取特征，对伪造人脸视频进行鉴别。若将伪造视频检测任务转换成一个二分类任务，根据伪造机理的不同，可以概括为以下五类：1)基于纹理级的检测方法，这类方法侧重于对伪造人脸噪声的差异进行检测。2)基于属性级的检测方法，这类方法在人脸空域上进行检测，侧重于人脸的细节。3)基于对象级的检测方法，此类方法专注提取局部
‑
全局多尺度伪造特征。4)基于结构级的检测方法，此类方法主要提取帧内跨尺度一致性特征。5)基于视频帧级的检测，此类方法利用了伪造视频帧间的不一致特征。
[0004]虽然现有基于深度学习技术的伪造人脸检测技术相比基于人工设计的检测技术具有更好的检测性能和应用潜力，但是其仍然存在以下不足：1)对伪造人脸视频帧高频信号和内容细节的预处理过于简单，对伪造人脸视频帧内高频细节缺乏有效地增强。考虑到深度视频伪造算法更多是对图像中低频信号的合成，难以兼顾视频内容细节的模拟，和基于相机成像物理原理的真实视频噪声分布。2)绝大多数检测方法都只利用帧内或帧间的不一致性，没有很好地将这两类重要的伪造特征结合起来。

技术实现思路

[0005]本专利技术的目的是提供一种基于多特征融合的伪造人脸视频检测方法及系统，提高伪造人脸视频检测的准确性。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]本专利技术提供的一种基于多特征融合的伪造人脸视频检测方法，包括：
[0008]对待检测人脸视频进行帧分解，以得到多张连续待检测人脸图像；
[0009]将所述待检测人脸图像输入至空间特征提取网络，以得到融合特征图；
[0010]将多张所述融合特征图输入至时序注意力网络，以确定人脸视频类型；所述人脸视频类型包括正常人脸视频和伪造人脸视频；
[0011]其中，所述空间特征提取网络包括第一伪造特征支路、第二伪造特征支路、跨模态交互模块和特征融合模块；所述第一伪造特征支路用于对所述待检测人脸图像进行特征提取，以得到第一特征图；所述第二伪造特征支路用于对所述待检测人脸图像依次进行高通预处理和特征提取，以得到第二特征图；
[0012]所述跨模态交互模块设置在所述第一伪造特征支路与所述第二伪造特征支路之间，所述跨模态交互模块用于提取所述第一伪造特征支路与所述第二伪造特征支路之间的图像特征互补信息，并将所述图像特征互补信息对应输入至所述第一伪造特征支路和所述第二伪造特征支路；
[0013]所述特征融合模块的输入端分别与所述第一伪造特征支路的输出端、所述第二伪造特征支路的输出端连接，所述特征融合模块用于将所述第一特征图和所述第二特征图进行特征融合，以得到融合特征图。
[0014]可选地，所述第一伪造特征支路包括依次连接的第一特征提取模块和第三特征提取模块；所述第二伪造特征支路包括依次连接的高通预处理模块、第二特征提取模块和第四特征提取模块；
[0015]所述第一特征提取模块用于对所述待检测人脸图像进行RGB域空间特征提取，以得到第一子特征图；所述高通预处理模块用于对所述待检测人脸图像进行高频噪声提取，以得到第一噪声图；所述第二特征提取模块用于对所述第一噪声图进行特征提取，以得到第二子特征图；
[0016]所述第一特征提取模块的输出端还与所述跨模态交互模块的第一输入端连接；所述第二特征提取模块的输出端还与所述跨模态交互模块的第二输入端连接；
[0017]所述跨模态交互模块的第一输出端与所述第三特征提取模块的输入端连接；所述跨模态交互模块的第二输出端与所述第四特征提取模块的输入端连接；所述跨模态交互模块用于对所述第一子特征图和所述第二子特征图进行交互，提取第一互补信息和第二互补信息，然后将所述第一互补信息输入至所述第三特征提取模块，将所述第二互补信息发送至所述第四特征提取模块；所述第一互补信息为所述第二子特征图相对于所述第一子特征图的区别特征信息；所述第二互补信息为所述第一子特征图相对于所述第二子特征图的区别特征信息；
[0018]所述第三特征提取模块用于根据所述第一子特征图和所述第一互补信息，确定第一特征图；所述第四特征提取模块用于根据所述第二子特征图和所述第二互补信息确定第二特征图；
[0019]所述第三特征提取模块的输出端和所述第四特征提取模块的输出端均与所述特征融合模块的输入端连接。
[0020]可选地，所述跨模态交互模块包括第一拼接子模块、卷积子模块、最大池化子模块、平均池化子模块、第二拼接子模块和卷积激活子模块；
[0021]所述第一拼接子模块的第一输入端与所述第一特征提取模块的输出端连接，所述第一拼接模块的第二输入端与所述第二特征提取模块的输出端连接；
[0022]所述第一拼接子模块的输出端与所述卷积子模块的输入端连接；所述卷积子模块的第一输出端与所述最大池化子模块的输入端连接，所述卷积子模块的第二输出端与所述平均池化子模块的输入端连接；
[0023]所述最大池化子模块的输出端与所述第二拼接子模块的第一输入端连接，所述平均池化子模块的输出端与所述第二拼接子模块的第二输入端连接；所述第二拼接子模块的输出端与所述卷积激活子模块的输入端连接；
[0024]所述卷积激活子模块的第一输出端与所述第三特征提取模块的输入端连接，所述
卷积激活子模块的第二输出端与所述第四特征提取模块的输入端连接。
[0025]可选地，所述空间特征提取网络的训练过程，具体包括：
[0026]根据训练集和损失函数，对标定深度卷积网络进行训练，以得到空间特征提取网络；所述训练集包括初始人脸图像和所述初始人脸图像对应的标签信息；所述标签信息为所述初始人脸图像中的人脸面部特征；所述标定深度卷积网络包括第一标定伪造特征支路、第二标定伪造特征支路、标定跨模态交互模块、标定特征融合模块和标定分类模块；
[0027]所述第一标定伪造特征支路的输入端用于输入所述初始人脸图像；所述第一标定伪造特征支路的输出端与所述标定特征融合模块的第一输入端连接；
[0028]所述第二标定伪造特征支路的输入端用于输入所述初始人脸图像；所述第二标定伪造特征支路的输出端与所述标定特征融合模块的第二输入端连接；
[0029]所述标定跨模态交互模块设置在所述第一标定伪造特征支路与所述第二标定伪造特征支路之间；
[0030]所述标定融合模块的输出端与所述标定分类模块的输入端连接；所述标定分类模块的输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的伪造人脸视频检测方法，其特征在于，所述伪造人脸视频检测方法包括：对待检测人脸视频进行帧分解，以得到多张连续待检测人脸图像；将所述待检测人脸图像输入至空间特征提取网络，以得到融合特征图；将多张所述融合特征图输入至时序注意力网络，以确定人脸视频类型；所述人脸视频类型包括正常人脸视频和伪造人脸视频；其中，所述空间特征提取网络包括第一伪造特征支路、第二伪造特征支路、跨模态交互模块和特征融合模块；所述第一伪造特征支路用于对所述待检测人脸图像进行特征提取，以得到第一特征图；所述第二伪造特征支路用于对所述待检测人脸图像依次进行高通预处理和特征提取，以得到第二特征图；所述跨模态交互模块设置在所述第一伪造特征支路与所述第二伪造特征支路之间，所述跨模态交互模块用于提取所述第一伪造特征支路与所述第二伪造特征支路之间的图像特征互补信息，并将所述图像特征互补信息对应输入至所述第一伪造特征支路和所述第二伪造特征支路；所述特征融合模块的输入端分别与所述第一伪造特征支路的输出端、所述第二伪造特征支路的输出端连接，所述特征融合模块用于将所述第一特征图和所述第二特征图进行特征融合，以得到融合特征图。2.根据权利要求1所述的基于多特征融合的伪造人脸视频检测方法，其特征在于，所述第一伪造特征支路包括依次连接的第一特征提取模块和第三特征提取模块；所述第二伪造特征支路包括依次连接的高通预处理模块、第二特征提取模块和第四特征提取模块；所述第一特征提取模块用于对所述待检测人脸图像进行RGB域空间特征提取，以得到第一子特征图；所述高通预处理模块用于对所述待检测人脸图像进行高频噪声提取，以得到第一噪声图；所述第二特征提取模块用于对所述第一噪声图进行特征提取，以得到第二子特征图；所述第一特征提取模块的输出端还与所述跨模态交互模块的第一输入端连接；所述第二特征提取模块的输出端还与所述跨模态交互模块的第二输入端连接；所述跨模态交互模块的第一输出端与所述第三特征提取模块的输入端连接；所述跨模态交互模块的第二输出端与所述第四特征提取模块的输入端连接；所述跨模态交互模块用于对所述第一子特征图和所述第二子特征图进行交互，提取第一互补信息和第二互补信息，然后将所述第一互补信息输入至所述第三特征提取模块，将所述第二互补信息发送至所述第四特征提取模块；所述第一互补信息为所述第二子特征图相对于所述第一子特征图的区别特征信息；所述第二互补信息为所述第一子特征图相对于所述第二子特征图的区别特征信息；所述第三特征提取模块用于根据所述第一子特征图和所述第一互补信息，确定第一特征图；所述第四特征提取模块用于根据所述第二子特征图和所述第二互补信息确定第二特征图；所述第三特征提取模块的输出端和所述第四特征提取模块的输出端均与所述特征融合模块的输入端连接。3.根据权利要求2所述的基于多特征融合的伪造人脸视频检测方法，其特征在于，所述
跨模态交互模块包括第一拼接子模块、卷积子模块、最大池化子模块、平均池化子模块、第二拼接子模块和卷积激活子模块；所述第一拼接子模块的第一输入端与所述第一特征提取模块的输出端连接，所述第一拼接模块的第二输入端与所述第二特征提取模块的输出端连接；所述第一拼接子模块的输出端与所述卷积子模块的输入端连接；所述卷积子模块的第一输出端与所述最大池化子模块的输入端连接，所述卷积子模块的第二输出端与所述平均池化子模块的输入端连接；所述最大池化子模块的输出端与所述第二拼接子模块的第一输入端连接，所述平均池化子模块的输出端与所述第二拼接子模块的第二输入端连接；所述第二拼接子模块的输出端与所述卷积激活子模块的输入端连接；所述卷积激活子模块的第一输出端与所述第三特征提取模块的输入端连接，所述卷积激活子模块的第二输出端与所述第四特征提取模块的输入端连接。4.根据权利要求1所述的基于多特征融合的伪造人脸视频检测方法，其特征在于，所述空间特征提取网络的训练过程，具体包括：根据训练集和损失函数，对标定深度卷积网络进行训练，以得到空间特征提取网络；所述训练集包括初始人脸图像和所述初始人脸图像对应的标签信息；所述标签信息为所述初始人脸图像中的人脸面部特征；所述标定深度卷积网络包括第一标定伪造特征支路、第二标定伪造特征支路、标定跨模态交互模块、标定特征融合模块和标定分类模块；所述第一标定伪造特征支路的输入端用于输入所述初始人脸图像；所述第一标定伪造特征支路的输出端与所述标定特征融合模块的第一输入端连接；所述第二标定伪造特征支路的输入端用于输入所述初始人脸图像；所述第二标定伪造特征支路的输出端与所述标定特征融合模块的第二输入端连接；所述标定跨模态交互模块设置在所述第一标定伪造特征支路与所述第二标定伪造特征支路之间；所述标定融合模块的输出端与所述标定分类模块的输入端连接；所述标定分类模块的输出端用于输出所述初始人脸图像的面部特征。5.根据权利要求2所述的基于多特征融合的伪造人脸视频检测方法，其特征在于，所述跨模态交互模块包括第一交互子模块、第二交互子模块和第三交互子模块；所述第一伪造特征支路还包括第一特征提取子模块和第三特征提取子模块；所述第二伪造特...

【专利技术属性】
技术研发人员：刘熙尧，邹晓强，张健，贺建飚，张伟，方辉，
申请(专利权)人：中南大学，
类型：发明
国别省市：