一种基于卷积神经网络的人脸伪造检测系统及方法技术方案

本发明专利技术提出了一种基于卷积神经网络的人脸伪造检测系统及方法，涉及计算机视觉领域。该系统包括人脸图像获取模块，用于提取待检测视频的多帧人脸图像；主干网络模块，用于获取多帧人脸图像的特征序列；多注意力模块，用于优化提取的人脸图像的特征；LSTM模块，用于处理分析主干网络和单元融合后的序列特征；真伪判别模块，用于根据序列特征检测视频的人脸的真伪。其实现高低维特征融合以及真伪图像的差异特征，能够兼顾分类准确率和泛化性能的要求，输出准确率高的检测结果信息，用以提升人脸伪造检测的精准度。脸伪造检测的精准度。脸伪造检测的精准度。

【技术实现步骤摘要】
一种基于卷积神经网络的人脸伪造检测系统及方法


[0001]本专利技术涉及计算机视觉领域，具体而言，涉及一种基于卷积神经网络的人脸伪造检测系统及方法。

技术介绍

[0002]随着深度学习尤其是神经网络的发展，深度学习在诸如视觉任务、音频任务等情况效果优异，其中生成对抗网络在深度学习中尤为重要，其主要作用是生成任务，可以生成非常逼真的图像。而由生成对抗网络等生成方法又衍生出许多伪造图片以及伪造视频的生成方法，其中危害性最大的一类是实现交换人脸的伪造视频。生成对抗网络衍生的伪造方法生成的伪造视频逼真度较高，大部分无法通过人脸进行鉴别，而且该视频制作成本较低，这就为不法分子提供了新的违法方式，这种伪造技术的恶意使用将严重威胁到社会个人的名誉以及社会稳定性。
[0003]为此，基于神经网络结构的人脸伪造检测方法也得到了相应的发展。然而，目前大多数伪造检测方法是将伪造检测看作是一个二分类问题，因此较多的检测方法是直接采用已经设计好二分类模型或直接修改设计好的二分类模型再加以使用。也就是说目前对于如何利用卷积神经网络进行人脸图像的真伪检测，其仍然处于初级阶段，难以兼顾分类准确率和泛化性能的要求。

技术实现思路

[0004]本专利技术的目的在于提供一种基于卷积神经网络的人脸伪造检测系统及方法，其能够兼顾分类准确率和泛化性能的要求，输出准确率高的检测结果信息，用以提升人脸伪造检测精准度。
[0005]本专利技术是这样实现的：
[0006]第一方面，本申请提供一种基于卷积神经网络的人脸伪造检测系统，包括：人脸图像获取模块，用于提取待检测视频中的多帧图像信息，并截取每一帧图像的人脸模块区域，得到对应的多帧人脸图像信息；主干网络模块，用于根据所述人脸图像信息提取特征向量，得到多帧人脸图像信息对应的第一特征图；自注意力模块，用于利用卷积注意力算法对所述第一特征图进行优化处理，得到优化特征向量信息；LSTM模块，用于将所述优化特征向量信息送入预先训练的长短期记忆网络进行处理，得到第二特征图序列信息；真伪判别模块，用于将所述第二特征图序列信息输入预置的由多层全连接层构成的分类器中进行概率预测，并基于概率预测结果生成对应的检测结果信息。
[0007]进一步的，上述人脸图像获取模块包括：图像帧提取单元，用于从待检测视频中随机提取出多帧包括人脸信息的第一图像信息；Facenet网络单元，用于获取所述第一图像信息中人脸的坐标点，根据所述坐标点得到人脸区域信息，以及根据所述人脸区域信息截取每帧第一图像信息中的人脸区域，得到对应的多帧人脸图像信息。
[0008]进一步的，上述主干网络模块包括：卷积单元，用于根据
对所述人脸图像信息进行卷积运算，并通过激活函数得到最终的卷积结果y
conv
，其中，X代表二维向量(M，N)，W代表长度和宽度分别为j和i的卷积核，b代表偏置项；池化单元，用于根据对所述卷积结果进行池化处理，其中，pool(
·
)为池化函数，为对应的特征值，l对应网络的层数，i和j分别对应特征图的坐标，k对应第K个特征图。
[0009]进一步的，上述自注意力模块包括：通道注意力单元，用于利用池化算法对所述第一特征图中的空间信息进行聚合处理，将聚合处理后的空间信息送入对应的共享网络进行降维处理，以及对降维处理后的特征向量进行特征拼接处理，得到通道注意力特征图，并对通道注意力特征图和第一特征图进行元素乘法运算，得到通道输出特征信息；空间注意力单元，用于使用多种池化操作对通道输出特征信息中的空间信息进行聚合处理，将聚合处理后的空间信息送入对应的共享网络进行降维处理，以及对降维处理后的特征向量进行特征拼接处理，得到空间注意力特征图。
[0010]进一步的，上述LSTM模块进一步用于提取优化特征向量信息中的空间信息和时间信息，以对人脸图像信息的动态信息和静态信息进行挖掘处理，所述LSTM模块的计算表达式包括：
[0011][0012][0013][0014][0015][0016]其中，sigmoid为激活函数，f
h
、f
s
分别为系统状态和内部状态的Tanh函数，u、w、b为对应的权重系数，g为随时间步更新的门控，脚注i、f、o分别代表门、遗忘门和输出门，表示输入门随时间步更新的参数；其中Tanh函数的表达式为：
[0017]进一步的，上述真伪判别模块的处理过程包括：分裂期根据输出每一种类别的概率，其中Softmax为归一化指数函数，xi表示分类器的输出向量中第i类的值，xk表示输出向量中第k维的值；以及根
据评估分类结果的有效性，其中，L(θ0,θ1)为损失函数，yi是样本xi的实际类别，q(x
i
)是样本xi的预测概率，m是样本数，θ0和θ1分别是模型的权重和偏置值。
[0018]进一步的，上述损失函数L(θ0,θ1)使用随机梯度下降算法进行求解梯度值。
[0019]第二方面，本申请提供一种基于卷积神经网络的人脸伪造检测方法，其包括以下步骤：
[0020]提取待检测视频中的多帧图像信息，并截取每一帧图像的人脸模块区域，得到对应的多帧人脸图像信息；根据所述人脸图像信息提取特征向量，得到多帧人脸图像信息对应的第一特征图；利用卷积注意力算法对所述第一特征图进行优化处理，得到优化特征向量信息；将所述优化特征向量信息送入预先训练的长短期记忆网络进行处理，得到第二特征图序列信息；将所述第二特征图序列信息输入预置的由多层全连接层构成的分类器中进行概率预测，并基于概率预测结果生成对应的检测结果信息。
[0021]第三方面，本申请提供一种电子设备，其包括至少一个处理器、至少一个存储器和数据总线；其中：上述处理器与上述存储器通过上述数据总线完成相互间的通信；上述存储器存储有被上述处理器执行的程序指令，上述处理器调用上述程序指令以执行如上述第二方面中任一项所述的方法。
[0022]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第二方面中任一项所述的方法。
[0023]相对于现有技术，本专利技术至少具有如下优点或有益效果：
[0024]通过对检测过程进行优化，在减少了大部分参数量的同时保持了分类能力，同时在多通道下检测面部等局部区域的伪造细节，通过融合多通道特征图以及高低维特征向量融合得到伪造检测结果，使得结果准确率更高，更具有鲁棒性。
附图说明
[0025]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0026]图1为本专利技术一种基于卷积神经网络的人脸伪造检测系统一实施例的结构框图；
[0027]图2为本专利技术一实施例的时空网络结构示意图；
[0028]图3为本专利技术又一实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的人脸伪造检测系统，其特征在于，包括：人脸图像获取模块，用于提取待检测视频中的多帧图像信息，并截取每一帧图像的人脸模块区域，得到对应的多帧人脸图像信息；主干网络模块，用于根据所述人脸图像信息提取特征向量，得到多帧人脸图像信息对应的第一特征图；自注意力模块，用于利用卷积注意力算法对所述第一特征图进行优化处理，得到优化特征向量信息；LSTM模块，用于将所述优化特征向量信息送入预先训练的长短期记忆网络进行处理，得到第二特征图序列信息；真伪判别模块，用于将所述第二特征图序列信息输入预置的由多层全连接层构成的分类器中进行概率预测，并基于概率预测结果生成对应的检测结果信息。2.如权利要求1所述的一种基于卷积神经网络的人脸伪造检测系统，其特征在于，所述人脸图像获取模块包括：图像帧提取单元，用于从待检测视频中随机提取出多帧包括人脸信息的第一图像信息；Facenet网络单元，用于获取所述第一图像信息中人脸的坐标点，根据所述坐标点得到人脸区域信息，以及根据所述人脸区域信息截取每帧第一图像信息中的人脸区域，得到对应的多帧人脸图像信息。3.如权利要求1所述的一种基于卷积神经网络的人脸伪造检测系统，其特征在于，所述主干网络模块包括：卷积单元，用于根据对所述人脸图像信息进行卷积运算，并通过激活函数得到最终的卷积结果y
conv
，其中，X代表二维向量(M，N)，W代表长度和宽度分别为j和i的卷积核，b代表偏置项；池化单元，用于根据对所述卷积结果进行池化处理，其中，pool(
·
)为池化函数，为对应的特征值，l对应网络的层数，i和j分别对应特征图的坐标，k对应第K个特征图。4.如权利要求1所述的一种基于卷积神经网络的人脸伪造检测系统，其特征在于，所述自注意力模块包括：通道注意力单元，用于利用池化算法对所述第一特征图中的空间信息进行聚合处理，将聚合处理后的空间信息送入对应的共享网络进行降维处理，以及对降维处理后的特征向量进行特征拼接处理，得到通道注意力特征图，并对通道注意力特征图和第一特征图进行元素乘法运算，得到通道输出特征信息；空间注意力单元，用于使用多种池化操作对通道输出特征信息中的空间信息进行聚合处理，将聚合处理后的空间信息送入对应的共享网络进行降维处理，以及对降维处理后的特征向量进行特征拼接处理，得到空间注意力特征图。5.如权利要求1所述的一种基于卷积神经网络的人脸伪造检测系统，其特征在于，所述
LSTM模块进一步用于提取优化特征向量信息中的空间信息和时间信息，以对人脸图像信息的动态信息和静态信息进行挖掘处...

【专利技术属性】
技术研发人员：唐逸航，孙若恒，谯馨悦，李若绮，林培灿，苏枭雄，陈芮贤，
申请(专利权)人：重庆滨富科技有限公司，
类型：发明
国别省市：