一种基于多频域融合的人脸伪造检测方法技术

本发明专利技术公开一种基于多频域融合的人脸伪造检测方法，包括：判断输入数据的类型；若输入数据为视频，则对输入的视频序列由起始帧起进行人脸检测、跟踪，识别出同一人脸后存储为序列，输入多频域模型检测对识别出的同一人脸的序列视频逐帧进行检测，输出视频序列中人脸的真伪检测结果；若输入数据为图像，则对输入的图像数据人脸检测，将检测出人脸的图像数据预处理后，输入多频域模型检测，输出图像中人脸真伪检测结果。本发明专利技术将多频域融合的卷积方法融入Deepfake图像检测，提升了Deepfake伪造人脸鉴别精度。脸鉴别精度。脸鉴别精度。

【技术实现步骤摘要】
一种基于多频域融合的人脸伪造检测方法


[0001]本专利技术涉及人脸伪造检测
，特别是涉及一种基于多频域融合的人脸伪造检测方法。

技术介绍

[0002]人脸伪造视频检测技术，是由输入设备(本地摄像头、Web摄像头等)将数据(包括视频流媒体、图像序列、图像、视频等)输入到训练好的人脸检测器中，利用训练好的人脸检测器对输入数据进行逐帧人脸检测，提取每帧图像中的人脸面部区域；将提取到的人脸面部区域输入到二分类卷积网络中(Real/Fake)，由面部伪造鉴别模型对输入的人脸面部区域进行真伪判别。
[0003]伪造检测和安全性防范系统中，需要对视频流中的人脸进行伪造检测以识别其中的人脸的真伪，以满足用户对人脸伪造视频甄别的要求。
[0004]随着GAN生成网络技术的不断发展，生成的面部伪造图像越来越逼真，现有上述的常规的人脸伪造视频检测技术已难以适应检测要求，现有人脸伪造检测技术尚有待进一步提高，以进一步的满足检测的需要。

技术实现思路

[0005]本专利技术的目的是针对现有技术中存在的技术缺陷，而提供一种基于多频域融合的人脸伪造检测方法，其将多频域融合的卷积方法融入Deepfake图像检测中，用以提升Deepfake伪造人脸鉴别的精度。
[0006]为实现本专利技术的目的所采用的技术方案是：
[0007]一种基于多频域融合的人脸伪造检测方法，包括以下步骤：
[0008]判断输入数据的类型；
[0009]若输入数据为视频，则对输入的视频序列由起始帧起进行人脸检测、跟踪，识别出同一人脸后存储为序列，输入多频域模型检测对识别出的同一人脸的序列视频逐帧进行检测，输出视频序列中人脸真伪检测结果；
[0010]若输入数据为图像，则对输入的图像数据进行人脸检测，将检测出人脸的图像数据预处理后，输入多频域模型检测，输出图像中人脸真伪检测结果；
[0011]所述多频域模型从融合特征图中分别提取高频特征与低频特征进行融合后输入全连接层，由全连接层处理后输出真伪检测结果；
[0012]所述融合特征图由高频特征图与低频特征图融合形成，所述低频特征图是按分层系数从一组待处理特征图中分出的一部分特征图经平均池化后再卷积操作形成，所述高频特征图是按分层系数从所述待处理特征图中分出的另一部分特征图经卷积操作形成。
[0013]优选的，所述分层参数为α∈(0,1)，对αN层的待处理特征图进行处理形成低频特征图，(1
‑
α)N层的待处理特征图进行处理后形成高频特征图，N为待处理特征图的通道数量。
[0014]优选的，所述待处理特征图是通过对输入的待处理图像进行卷积形成。
[0015]优选的，从所述融合特征图中的包含高频信息的特征图中通过高频卷积操作提取高频特征，从所述融合特征图中的包含低频信息的特征图中通过低频卷积操作提取低频特征。
[0016]优选的，所述高频信息用于Deepfake生成的图像中真实背景与伪造人脸的融合区域及突兀伪影区域检测，所述低频信息用于Deepfake生成的图像中面部纹理检测。
[0017]优选的，所述检测出人脸的图像数据预处理包括对检测出的人脸的图像数据裁剪，形成符合预定阈值大小的图像。
[0018]优选的，所述跟踪是指在检测出人脸后，利用人脸跟踪技术形成人脸跟踪定位框，对检测出的人脸进行定位跟踪。
[0019]优选的，对同一人脸的序列视频逐帧进行检测后分别给出评分，然后将同一序列中的多个评分进行均值融合，最后输出每个序列对应的人脸的评分结果，根据该评分结果给出真伪检测结果。
[0020]优选的，所述视频序列中人脸的真伪检测结果以及图像中人脸的真伪检测结果通过可视化的方式进行直观展示。
[0021]优选的，所述输入数据包括视频媒体数据、流媒体数据、图像序列、单幅图像、摄像头采集序列数据。
[0022]优选的，所述的判断输入数据的类型的步骤之前，还包括以下步骤：
[0023]判断输入数据的输入的格式是否符合要求，如符合则进行解码，否则返回错误码。
[0024]本专利技术将多频域融合的卷积方法融入Deepfake图像检测中，用以提升Deepfake伪造人脸鉴别的精度。
[0025]本专利技术的基于多频域融合的人脸伪造检测方法既适用于图像中伪造人脸的检测，也是用于视频中伪造人脸的检测，适应范围广，具有重要的意义。
附图说明
[0026]图1是本专利技术实施例的基于多频域融合的人脸伪造检测方法流程图。
[0027]图2A表示真实图像及由不同Deepfake生成方法所生成的图像。
[0028]图2B是图2A中图像经由快速傅里叶变换FFT处理后得到的频域图像。
[0029]图2C表示真实图像与伪造图像在高频区域的差异示意图。
[0030]图2D表示真实图像与伪造图像在低频区域的差异示意图。
[0031]图3A表示普通卷积核生成的特征图。
[0032]图3B表示图3B表示对N通道的特征图进行分层操作示意图。
[0033]图3C表示对模型的显存占用与前传时间进行优化后的示意图。
[0034]图4为表示进行多频域特征图融合的示意图。
[0035]图5为本专利技术实施例的人脸可视化输出显示的示意图。图6为本专利技术的多频域模型的图像处理流程图。
具体实施方式
[0036]以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述
的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0037]如图1所示，本专利技术实施例的基于多频域融合的人脸伪造检测方法，包括步骤：
[0038]判断输入数据的类型；
[0039]若输入数据为视频，则对输入的视频序列由起始帧起进行人脸检测、跟踪，识别出同一人脸后存储为序列，输入多频域模型检测对识别出的同一人脸的序列视频逐帧进行检测，输出视频序列中人脸真伪检测结果；
[0040]若输入数据为图像，则对输入的图像数据进行人脸检测，将检测出人脸的图像数据预处理后，输入多频域模型检测，输出图像中人脸真伪检测结果；
[0041]所述多频域模型从融合特征图中分别提取高频特征与低频特征进行融合后输入全连接层，由全连接层处理后输出真伪检测结果；
[0042]所述融合特征图由高频特征图与低频特征图融合形成，所述低频特征图是按分层系数从一组待处理特征图中分出的一部分特征图经平均池化后再卷积操作形成，所述高频特征图是按分层系数从所述待处理特征图中分出的另一部分特征图经卷积操作形成。
[0043]本专利技术实施例中，由于采用上述的技术方案，本专利技术的基于多频域融合的人脸伪造检测方法既适用于图像中伪造人脸的检测，也是用于视频中伪造人脸的检测，适应范围广。
[0044]当输入类型为视频时，采用序列式视频检测的的处理算法，先对每帧图像进行真伪判别，然后利用均值的方法，融合视频中每帧图像的分数，从而得到最后的评价结果，如果分数小本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多频域融合的人脸伪造检测方法，其特征在于，包括步骤：判断输入数据的类型；若输入数据为视频，则对输入的视频序列由起始帧起进行人脸检测、跟踪，识别出同一人脸后存储为序列，输入多频域模型检测对识别出的同一人脸的序列视频逐帧进行检测，输出视频序列中人脸真伪检测结果；若输入数据为图像，则对输入的图像数据进行人脸检测，将检测出人脸的图像数据预处理后，输入多频域模型检测，输出图像中人脸真伪检测结果；所述多频域模型从融合特征图中分别提取高频特征与低频特征进行融合后输入全连接层，由全连接层处理后输出真伪检测结果；所述融合特征图由高频特征图与低频特征图融合形成，所述低频特征图是按分层系数从一组待处理特征图中分出的一部分特征图经平均池化后再卷积操作形成，所述高频特征图是按分层系数从所述待处理特征图中分出的另一部分特征图经卷积操作形成。2.根据权利要求1所述基于多频域融合的人脸伪造检测方法，其特征在于，所述分层参数为α∈(0,1)，对αN层的待处理特征图进行处理形成低频特征图，(1
‑
α)N层的待处理特征图进行处理后形成高频特征图，N为待处理特征图的通道数量。3.根据权利要求1所述基于多频域融合的人脸伪造检测方法，其特征在于，所述待处理特征图是通过对输入的待处理图像进行卷积形成。4.根据权利要求...

【专利技术属性】
技术研发人员：茹一伟，孙哲南，何召峰，李琦，
申请(专利权)人：天津中科智能识别有限公司，
类型：发明
国别省市：