视频中人脸对抗样本检测方法及系统技术方案

本发明专利技术涉及人工智能图像数据处理技术领域，特别涉及一种视频中人脸对抗样本检测方法及系统，通过提取待检测视频中的首帧图像，并从所述首帧图像中提取人脸区域图像；将人脸区域图像转换为人脸相位谱图像，并基于相位谱对人脸进行图像重构；利用预训练的图像分类模型对重构的人脸图像进行对抗二分类检测，以确定待检测视频是否为加扰对抗样本。本发明专利技术能够在基于一帧视频帧的情况下来有效识别出视频中的人脸区域是否添加对抗扰动，可为伪造视频的检测提供更多的线索，便于采用更有针对性的鲁棒防御方案来对网络伪造视频进行监管，有效净化网络视频空间。化网络视频空间。化网络视频空间。

【技术实现步骤摘要】
视频中人脸对抗样本检测方法及系统


[0001]本专利技术涉及人工智能图像数据处理
，特别涉及一种视频中人脸对抗样本检测方法及系统。

技术介绍

[0002]随着以深度学习为代表的人工智能技术的进步，以Deepfake为代表的深度伪造技术被滥用，通过换脸、换唇等方式生成的伪造视频通过网络肆意传播，给人民隐私保护和国家安定团结带来重要安全隐患。为了有效治理这些伪造视频，基于伪造视频检测的智能监管技术近年来得到蓬勃发展。这些技术当前都基于深度神经网络来实现，然而发布这些伪造视频的不法分子为了规避检测，利用深度神经网络天然的脆弱性，利用对抗样本技术通过在伪造生成的视频上添加扰动的方式来对抗检测，给监管工作的智能化带来很大的挑战。

技术实现思路

[0003]为此，本专利技术提供一种视频中人脸对抗样本检测方法及系统，能够有效检测对抗样本伪造视频，便于网络监管工作的智能化处理。
[0004]按照本专利技术所提供的设计方案，提供一种视频中人脸对抗样本检测方法，用于深度伪造视频监管检测，包含：
[0005]提取待检测视频中的首帧图像，并从所述首帧图像中提取人脸区域图像；
[0006]将人脸区域图像转换为人脸相位谱图像，并基于相位谱对人脸进行图像重构；
[0007]利用预训练的图像分类模型对重构的人脸图像进行对抗二分类检测，以确定待检测视频是否为加扰对抗样本。
[0008]作为本专利技术视频中人脸对抗样本检测方法，进一步地，从所述首帧图像中提取人脸区域图像中，利用RetinaFace人脸检测模型从视频帧图像中提取人脸区域图像。
[0009]作为本专利技术视频中人脸对抗样本检测方法，进一步地，基于相位谱对人脸进行图像重构，包含：
[0010]首先，对人脸区域图像进行去色和灰度化处理，并对灰度化处理后的图像进行傅里叶变换；
[0011]然后，利用求相角函数对傅里叶变换处理后的图像数据进行相位信息求解，基于相位信息并结合傅里叶逆变换重构出人脸相位频谱图像。
[0012]作为本专利技术视频中人脸对抗样本检测方法，进一步地，图像分类模型的预训练过程包含如下内容：
[0013]构建用于模型预训练的正向样本数据集和负向样本数据集，其中，正向样本数据集为未加干扰的人脸相位谱图像，负向样本数据集为利用对抗样本技术添加干扰的人脸相位谱图像；
[0014]对正向样本数据集和负向样本数据集分别添加正负标签标记；
[0015]利用添加标签标记的正向样本数据集和负向样本数据集对对图像分类模型进行训练，得到预训练后的图像分类模型。
[0016]作为本专利技术视频中人脸对抗样本检测方法，进一步地，构建用于模型预训练的正向样本数据集，首先，收集未加扰的人物视频并通过截取视频中人脸图像来组建人脸图像集合；然后，针对人脸图像集合中每个人脸图像，通过相位谱图像转换并基于相位谱进行重构来生成正向样本数据。
[0017]作为本专利技术视频中人脸对抗样本检测方法，进一步地，构建用于模型预训练的负向样本数据集中，利用对抗样本技术对人脸图像集合中的每个人脸图像添加干扰，并通过相位谱图像转换和基于相位谱重构来生成负向样本数据。
[0018]作为本专利技术视频中人脸对抗样本检测方法，进一步地，所述图像分类模型采用VGG16模型结构。
[0019]进一步地，本专利技术还提供一种视频中人脸对抗样本检测系统，用于深度伪造视频监管检测，包含：图像数据提取模块、图像数据重构模块和图像数据检测模块，其中，
[0020]图像数据提取模块，用于提取待检测视频中的首帧图像，并从所述首帧图像中提取人脸区域图像；
[0021]图像数据重构模块，用于将人脸区域图像转换为人脸相位谱图像，并基于相位谱对人脸进行图像重构；
[0022]图像数据检测模块，用于利用预训练的图像分类模型对重构的人脸图像进行对抗二分类检测，以确定待检测视频是否为加扰对抗样本。
[0023]本专利技术的有益效果：
[0024]本专利技术从视频首帧图像中提取人脸区域的图像并基于相位谱对人脸图像进行重构，将重构后的人脸相位谱图像送入预先训练好的图像分类模型中进行检测并输出是否是对抗样本的判决，能够在基于一帧视频帧的情况下来有效识别出视频中的人脸区域是否添加对抗扰动，可为伪造视频的检测提供更多的线索，便于采用更有针对性的鲁棒防御方案来对网络伪造视频进行监管，有效净化网络视频空间。
附图说明：
[0025]图1为实施例中视频中人脸对抗样本检测流程示意图；
[0026]图2为实施例中DFDC中的aassnaulhq.mp4的首帧相关信息示意；
[0027]图3为实施例中DFDC中的gbnjqvxvzj.mp4的首帧相关信息示意；
[0028]图4为实施例中DFDC中的tgkhgnukkq.mp4的首帧相关信息示意。
具体实施方式：
[0029]为使本专利技术的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本专利技术作进一步详细的说明。
[0030]为了有效识别对抗样本加扰后的伪造视频，本专利技术实施例，提供一种视频中人脸对抗样本检测方法，用于深度伪造视频监管检测，包含：提取待检测视频中的首帧图像，并从所述首帧图像中提取人脸区域图像；将人脸区域图像转换为人脸相位谱图像，并基于相位谱对人脸进行图像重构；利用预训练的图像分类模型对重构的人脸图像进行对抗二分类
检测，以确定待检测视频是否为加扰对抗样本。
[0031]对于待检测的视频，参见图1所示，通过提取首帧图像；并可通过采用经典的RetinaFace模型从上述视频帧中提取人脸区域的图像；对于提取出的人脸图像，通过提取相位谱，并基于相位谱对人脸图像进行重构；将重构后的人脸相位谱图像送入预先训练好的图像分类模型中进行检测，输出是否是对抗样本的判决，能够有效识别对抗样本加扰后的伪造视频，便于网络空间中视频净化和监管。
[0032]作为优选实施例，进一步地，基于相位谱对人脸进行图像重构，包含：
[0033]首先，对人脸区域图像进行去色和灰度化处理，并对灰度化处理后的图像进行傅里叶变换；
[0034]然后，利用求相角函数对傅里叶变换处理后的图像数据进行相位信息求解，基于相位信息并结合傅里叶逆变换重构出人脸相位频谱图像。
[0035]将视频中的人脸区域转换成人脸相位谱图像中，通过将空域图像转换到频域，可以捕获到对抗样本加扰后的痕迹。人脸相位谱图像的生成过程可介绍如下：
[0036]首先，把从视频帧中提取的人脸图像I(x,y)去掉色彩信息，得到灰度图像I
g
(x,y)。然后，对灰度图像进行傅里叶变换：
[0037]F(x,y)＝FFT(I
g
(x,y))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0038]T(x,y)＝phase(F(x,y))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频中人脸对抗样本检测方法，用于深度伪造视频监管检测，其特征在于，包含：提取待检测视频中的首帧图像，并从所述首帧图像中提取人脸区域图像；将人脸区域图像转换为人脸相位谱图像，并基于相位谱对人脸进行图像重构；利用预训练的图像分类模型对重构的人脸图像进行对抗二分类检测，以确定待检测视频是否为加扰对抗样本。2.根据权利要求1所述的视频中人脸对抗样本检测方法，其特征在于，从所述首帧图像中提取人脸区域图像中，利用RetinaFace人脸检测模型从视频帧图像中提取人脸区域图像。3.根据权利要求1或2所述的视频中人脸对抗样本检测方法，其特征在于，基于相位谱对人脸进行图像重构，包含：首先，对人脸区域图像进行去色和灰度化处理，并对灰度化处理后的图像进行傅里叶变换；然后，利用求相角函数对傅里叶变换处理后的图像数据进行相位信息求解，基于相位信息并结合傅里叶逆变换重构出人脸相位频谱图像。4.根据权利要求1所述的视频中人脸对抗样本检测方法，其特征在于，图像分类模型的预训练过程包含如下内容：构建用于模型预训练的正向样本数据集和负向样本数据集，其中，正向样本数据集为未加干扰的人脸相位谱图像，负向样本数据集为利用对抗样本技术添加干扰的人脸相位谱图像；对正向样本数据集和负向样本数据集分别添加正负标签标记；利用添加标签标记的正向样本数据集和负向样本数据集对对图像分类模型进行训练，得到预训练后的图像分类模型。5.根据权利要求4所述的视频中人脸对抗样本检测方法，其特征在于，构建用于模型预训练的正向样本数据集，首先，收...

【专利技术属性】
技术研发人员：李邵梅，黄瑞阳，张帆，高超，张建朋，智洪欣，李锦玲，雷娟娟，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：