本发明专利技术涉及一种基于图像频域信息的深度伪造视频技术溯源方法，对输入深度伪造视频进行抽帧；将抽出的图像利用RetinaFace人脸检测模型检测人脸图像，并进行人脸对齐和缩放；将裁出的人脸图像利用离散余弦傅里叶变换，裁剪算法和离散余弦傅里叶反变换获得其对应的高频频域特征；将原始人脸RGB信息和高频频域信息进行特征融合，得到融合特征；采用Xception作为主干网络进一步提取融合特征，得到对应的分类特征实现深度伪造视频技术溯源结果。本发明专利技术提高了对不同伪造技术的分类能力，提高了溯源准确率。源准确率。源准确率。
【技术实现步骤摘要】
一种基于图像频域信息的深度伪造视频技术溯源方法
[0001]本专利技术涉及一种基于图像频域信息的深度伪造视频技术溯源方法，属于深度学习领域和计算机视觉领域。
技术介绍
[0002]近些年，计算机视觉技术和深度神经网络技术得到飞速发展。尤其是神经网络模型中的生成式对抗网络(GAN)和变分自编码器(VAE)的发展，让图像和视频的生成取得了惊人的效果。2017年，一名国外论坛用户利用生成式对抗网络(GAN)伪造了一段以假乱真的视频，并发布到了网络上，由此该技术被人们称为深度伪造技术(Deepfake)。
[0003]具体来说，深度伪造技术主要是对人脸部分的伪造或编辑。现有的深度伪造技术主要可分为四类：重现，替换，编辑和生成。重现是使用原始人脸的行为去驱动目标人脸，使目标人脸所作的行为和原始人脸相同。替换是指将目标人脸与原始人脸进行替换。编辑则是改变目标人脸的属性，例如，更换目标人脸的年龄，性别，肤色等。生成是通过生成式对抗网络(GAN)创建完整的现实中不存在的人脸。
[0004]深度伪造技术提出早期，制作一段深度伪造视频需要制作者拥有相关的专业知识和大量的计算资源。但随着深度伪造技术的发展，一些易用的手机或者电脑软件出现在互联网中，使得没有相关专业知识和计算资源的普通大众也能使用电脑和手机轻松制作出高质量的深度伪造视频。而且由于缺少有效的筛选和审查机制，导致目前互联网上存在着大量的深度伪造视频。一些制作精良的伪造视频不仅专业人士无法准确鉴别，普通民众则是更加难以分辨视频的真伪性，更加容易受到伪造视频的误导和伤害。在重大事件或敏感问题上，深度伪造视频可能会造成严重的不良影响。因此，对深度伪造视频进行技术溯源，精确确认其制作技术或软件可以帮助工作人员从源头阻断伪造视频的传播，避免对社会造成不良影响。
[0005]现有针对深度伪造技术溯源的研究较少，目前的方法主要采用手工特征(如共生矩阵)或采用深度学习模型提取特征进行技术溯源。仅采用手工提取特征进行技术溯源，其提取特征固定，往往不能充分利用深度伪造图像中的伪造信息。深度学习模型则倾向于学习图像中的高级语义信息，不同深度伪造方法所生成的伪造人脸其高级语义信息(如人脸形状，人脸大小等)是极为相似的。因此仅采用深度学习模型对深度伪造进行技术溯源效果不理想。深度卷积网络在上采样过程中会不可避免的在图像中留下棋盘状伪影，该棋盘状伪影会造成图像高频信息的改变。而不同的伪造方法所采用不同的模型结构及训练参数，其生成的棋盘伪影也各不相同，在频域上留下的伪造痕迹具有更明显的差异。
[0006]因此，目前现有技术是单一原始图像中不同伪造方法伪造信息相似，使得溯源准确率不高。
技术实现思路
[0007]本专利技术技术要解决的问题是：克服现有技术的不足，提供一种基于图像频域信息
的深度伪造视频技术溯源方法，使用频域信息对原始图像信息进行补充，将图像特征和频域特征经过一种融合方法进行融合，得到融合特征，用于深度伪造技术溯源模型对不同伪造方法进行分类。相比手工特征方法和仅深度学习方法其深度伪造技术溯源准确率得到大大提高。
[0008]本专利技术采用的技术方案：一种基于图像频域信息的深度伪造视频技术溯源方法，包括以下步骤：
[0009]步骤1：将输入深度伪造视频分解为视频帧并抽帧，得到抽取后的视频帧；
[0010]步骤2：对步骤1抽取的视频帧应用RetinaFace模型进行人脸检测，若视频帧中的帧图像存在人脸，则得到在该所述帧图像中人脸关键点坐标，将该所述帧图像中的人脸关键点坐标进行仿射变换与标准人脸关键点坐标对齐和缩放，然后将对齐缩放后的人脸区域裁剪得到RGB人脸图像；
[0011]步骤3：将步骤2裁剪得到的RGB人脸图像转换为灰度图像，然后利用离散余弦傅里叶变换DCT获得所述裁剪得到的RGB人脸图像对应的频域幅度图像；利用频域裁剪算法将所述频域幅度图像中的低频部分进行裁剪，只保留频域幅度图像中的高频部分，最后将裁剪后的频域图像进行离散余弦傅里叶反变换得到RGB人脸图像的高频频域特征；
[0012]步骤4：将步骤2中得到的RGB人脸图像和步骤3中得到的高频频域特征沿通道方向进行拼接，得到一个4通道的拼接特征，再将4通道拼接特征经过一个卷积核大小为1
×
1的卷积层在通道方向进行信息交换融合，得到4通道的频域融合特征；
[0013]步骤5：采用Xception深度卷积网络作为主干网络，以步骤4中得到的频域融合特征作为输入，最终输出一个一维的伪造痕迹特征，该所述一维的伪造痕迹特征被用于最后的特征分类；
[0014]步骤6：将步骤5得到的一维的伪造痕迹特征经过多分类系统，即由多分类全连接层构成，且每个类别的输出对应一种深度伪造技术，得到RGB人脸图像归属于各深度伪造技术的概率，最终将源自于同一视频中的RGB人脸图像输出结果进行平均融合，得出最后所述输入深度伪造视频的深度伪造技术的溯源结果。
[0015]所述步骤1中，将输入深度伪造视频分解为视频帧并抽帧，得到抽取后的视频帧，具体如下：将输入深度伪造视频分解为单帧图像，对于帧数量不低于60的视频帧，均匀抽取60帧图像，帧数量低于60的视频帧则抽取全部的视频帧。
[0016]所述步骤3，得到RGB人脸图像的高频频域特征具体如下：
[0017]利用频域裁剪算法将所述频域幅度图像中的低频部分进行裁剪，裁剪后的频域图像P
C
，计算公式如下：
[0018]P
C
＝F(P
B
)
[0019]F为裁剪算法，将频域幅度图像P
B
的左上角区域的值置为0，其中，左上角区域范围为以P
B
边长的1/3长度为直角边长的等腰直角三角形，该三角形内区域为频域幅度图像的低频；
[0020]所述裁剪算法F具体如下：
[0021]首先构建裁剪遮挡，计算公式如下：
[0022][0023]其中，H为裁剪遮挡，H
i，j
为裁剪遮挡中坐标为(i，j)对应的特征点数值，为频域幅度图像P
B
的边长；
[0024]然后将裁剪遮挡H与频域幅度图像P
B
逐点相乘，得到高频频域幅度图像P
C
，即P
C
＝F(P
B
)；
[0025]最后，将得到的高频频域幅度图像P
C
，进行离散余弦傅里叶反变换，即得到RGB人脸图像的高频频域特征P
D
。
[0026]所述步骤4中，4通道的频域融合特征为P
E
，公式如下：
[0027]P
E
＝R(B(Conv1×1(Cat(P
A
，P
D
))))
[0028]其中，B为批归一化层Batch Normal，R为ReLU激活函数；P
A
为RGB人脸图像。
[0029]所述步骤5中，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像频域信息的深度伪造视频技术溯源方法，其特征在于，包括以下步骤：步骤1：将输入深度伪造视频分解为视频帧并抽帧，得到抽取后的视频帧；步骤2：对步骤1抽取的视频帧应用RetinaFace模型进行人脸检测，若视频帧中的帧图像存在人脸，则得到在该所述帧图像中人脸关键点坐标，将该所述帧图像中的人脸关键点坐标进行仿射变换与标准人脸关键点坐标对齐和缩放，然后将对齐缩放后的人脸区域裁剪得到RGB人脸图像；步骤3：将步骤2裁剪得到的RGB人脸图像转换为灰度图像，然后利用离散余弦傅里叶变换DCT获得所述裁剪得到的RGB人脸图像对应的频域幅度图像；利用频域裁剪算法将所述频域幅度图像中的低频部分进行裁剪，只保留频域幅度图像中的高频部分，最后将裁剪后的频域图像进行离散余弦傅里叶反变换得到RGB人脸图像的高频频域特征；步骤4：将步骤2中得到的RGB人脸图像和步骤3中得到的高频频域特征沿通道方向进行拼接，得到一个4通道的拼接特征，再将4通道拼接特征经过一个卷积核大小为1
×
1的卷积层在通道方向进行信息交换融合，得到4通道的频域融合特征；步骤5：采用Xception深度卷积网络作为主干网络，以步骤4中得到的频域融合特征作为输入，最终输出一个一维的伪造痕迹特征，该所述一维的伪造痕迹特征被用于最后的特征分类；步骤6：将步骤5得到的一维的伪造痕迹特征经过多分类系统，即由多分类全连接层构成，且每个类别的输出对应一种深度伪造技术，得到RGB人脸图像归属于各深度伪造技术的概率，最终将源自于同一视频中的RGB人脸图像输出结果进行平均融合，得出最后所述输入深度伪造视频的深度伪造技术的溯源结果。2.根据权利要求1所述的基于图像频域信息的深度伪造视频技术溯源方法，其特征在于：所述步骤1，将输入深度伪造视频分解为视频帧并抽帧，得到抽取后的视频帧，具体如下：将输入深度伪造视频分解为单帧图像，对于帧数量不低于60的视频帧，均匀抽取60帧图像，帧数量低于60的视频帧则抽取全部的视频帧。3.根据权利要求1所述的基于图像频域信息的深度伪造视频技术溯源方法，其特征在于，所述步骤3中，得到RGB人脸图像的高频频域特征，具体如下：利用频域裁剪算法将所述...
【专利技术属性】
技术研发人员：王磊，潘进，张翠，柳毅，郎林龙，冷彪，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。