基于信任机制下面部交并比的假脸视频检测方法及系统技术方案

本发明专利技术公开了一种基于信任机制下面部交并比的假脸视频检测方法及系统，该方法包括网络训练和样本测试步骤：网络训练步骤包括模型训练和模型验证。模型训练步骤对分割网络进行训练，保存分割网络模型和权重值；模型验证步骤使用训练好的分割网络预测掩膜，采用网格搜索方法确定二值化阈值和判决阈值。样本测试包括视频分帧预处理得到输入图片、利用分割网络确定待检测区域、平滑去噪、二值化待检测区域，确定脸部区域和待定篡改区域，计算信任机制下两者的交并比，最后根据判决阈值进行真假脸判决。本发明专利技术针对深度换脸工具生成的假脸视频进行检测，在不同数据库中均获得较高的准确率，跨库测试性能明显提升，为假脸视频检测提供了一种有效途径。

False face video detection method and system based on partial intersection and parallel ratio under trust mechanism

【技术实现步骤摘要】
基于信任机制下面部交并比的假脸视频检测方法及系统
本专利技术涉及数字视频的篡改检测
，具体涉及一种基于信任机制下面部交并比的假脸视频检测方法及系统。
技术介绍
在众多生物特征中，人脸是最具有代表性的特征之一，可辨识度较高。因此，随着人脸识别技术的突飞猛进，人脸篡改带来的安全威胁越来越大，特别是在手机高度流行和社交网络日益成熟的当代。深度换脸工具主要使用自编码器或对抗生成网络等深度神经网络生成虚假人脸后再对原视频的人脸进行替换，根据所使用的特征，现有假脸视频检测技术大致可分为三大类：基于传统手工特征、基于生物特征以及基于神经网络提取特征。上述方法在一定程度上能够识别出假脸视频，尤其在库内，测试中可达较高的准确率，然而，在跨库测试中准确率均急剧下降，即存在泛化能力不足问题。
技术实现思路
为了克服现有技术存在的缺陷与不足，本专利技术提供一种基于信任机制下面部交并比的假脸视频检测方法及系统，本专利技术运用了像素级分类技巧和假脸篡改的先验知识，有效降低了跨库测试的平均错误率，使用图像分割进行确定待检测区域后再分类判决，有效地提高了泛化能力。为了达到上述目的，本专利技术采用以下技术方案：本专利技术提供一种基于信任机制下面部交并比的假脸视频检测方法，包括网络训练步骤和样本测试步骤，所述网络训练步骤包括模型训练步骤和模型验证步骤；将数据集划分为源训练集、源验证集和源测试集；所述模型训练步骤包括下述步骤：对所述源训练集进行图像预处理后得到训练集图片X＝{X1,X2,...,XN}，训练集正确掩膜Y＝{Y1,Y2,...,YN}，其中N为训练集图片总数；输入训练集图片X和标签为训练集正确掩膜Y进行分割网络训练，分割网络训练完成后保存分割网络模型和权重值；所述模型验证步骤包括下述步骤：对所述源验证集进行图像预处理后得到验证集图片Z＝{Z1,Z2,...,ZQ}，其中Q为验证集图片总数；对验证集第k张图片Zk采用训练好的分割网络预测得到掩膜ZMk，确定待检测区域；对预测的掩膜ZMk进行平滑处理得到去噪后的掩膜ZMSk；设置初始二值化阈值T1和初始判决阈值T2，采用网格搜索法进行网格搜索，并对验证集图片去噪后的掩膜进行二值化处理、面部交并比计算和二分类判决，得到虚警率和漏检率，记录相应的阈值对和等错误率，当判定等错误率最小时，选定二值化阈值T1o和判决阈值T2o；所述样本测试步骤包括下述步骤：对所述源测试集进行图像预处理后得到测试集图片C＝{C1,C2,...,CL}，其中L为测试图片总数；对测试集第k张图片Ck采用训练好的分割网络预测得到掩膜CMk，确定待检测区域；对预测的掩膜CMk进行平滑处理得到去噪后的掩膜CMSk；采用网络训练步骤中选定的二值化阈值T1o对去噪后的掩膜CMSk进行二值化处理，得到二值掩膜CMSBk；设置信任机制的惩罚因子p，对二值掩膜CMSBk计算信任机制下面部交并比CFIoUk；采用网络训练步骤选定的判决阈值T2o对面部交并比CFIoUk进行二分类判决，逐帧判断测试集图片的真假，计算得到判断的准确率和平均错误率。作为优选的技术方案，对所述源训练集进行图像预处理后得到训练集图片X，训练集正确掩膜Y，具体步骤为：对源训练集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；在源训练集的视频帧和对应的正确掩膜上，根据矫正后的人脸框位置裁剪出部分区域图片，并采集到同一分辨率，得到训练集图片X，训练集正确掩膜Y；对所述源验证集进行图像预处理后得到验证集图片Z，具体步骤为：对源验证集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；在源验证集的视频帧上，根据矫正后的人脸框位置裁剪出部分区域图片，并采集到同一分辨率，得到验证集图片Z；对所述源测试集进行图像预处理后得到测试集图片C，具体步骤为：对源测试集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；在源测试集的视频帧上，根据矫正后的人脸框裁剪出部分区域图片，并采样到同一分辨率，得到测试集图片C。作为优选的技术方案，所述模型训练的分割网络训练具体步骤包括：构建分割网络，构建分割网络训练的损失函数，构建分割网络参数优化算法，所述分割网络参数优化算法采用Adam算法；输入训练集图片X和标签为训练集正确掩膜Y进行分割网络训练，分割网络训练完成后保存分割网络模型和权重值；所述分割网络训练的损失函数为：其中，(i,j)表示掩膜上的坐标点位置，mk表示掩膜的长度，nk表示掩膜的宽度。作为优选的技术方案，所述分割网络采用图像数据集ImageNet上预训练的网络结构VGG-16为骨架的FCN-8s模型；图片输入网络结构VGG-16，依次通过第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块；第一卷积模块包括两个步长为1的64通道输入3×3卷积层和一个步长为2的2×2最大池化层；第二卷积模块包括两个步长为1的128通道输入3×3卷积层和一个步长为2的2×2最大池化层；第三卷积模块包括两个步长为1的256通道输入3×3卷积层和一个步长为2的2×2最大池化层；第四卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层、第五卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层，其中所有卷积层的激活函数为ReLU；FCN-8s的输入为分辨率256×256，经过VGG-16骨架网络后，第五卷积模块的输出通过步长为1的4096通道输入7×7卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的4096通道输入1×1卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的2通道输入1×1卷积层、步长为2的2通道输入4×4反卷积层，与第四卷积模块的输出通过步长为1通道输入1×1卷积层后结果相加、步长为2的2通道输入4×4反卷积层，与第三卷积模块的输出通过步长为1通道输入1×1卷积层后结果相加、步长为8的2通道输入16×16反卷积层、softmax激活函数，输出为预测的掩膜。作为优选的技术方案，所述选定二值化阈值T1o和判决阈值T2o具体步骤包括：网格搜索：设置初始二值化阈值T1和初始判决阈值T2的值，进行步长值为s的网格搜索；二值化处理：采用当前二值化阈值T1对第k张去噪后的掩膜ZMSk进行二值化处理得到二值掩膜ZMSBk；面部交并比计算：设置信任机制的惩罚因子p，对二值掩膜ZMSBk计算信任机制下面部交并比ZFIoUk：ZFIoUk＝(ZS1k∩ZS2k)/(ZS1k∪ZS2k+P×(ZS1k∪ZS2k-ZS1k))其中，ZS1k为第k张图片Zk中人脸区域，ZS2k为二值掩膜ZMSBk中待定篡改区域，P为信任机制的惩罚因子；...

【技术保护点】
1.一种基于信任机制下面部交并比的假脸视频检测方法，其特征在于，包括网络训练步骤和样本测试步骤，所述网络训练步骤包括模型训练步骤和模型验证步骤；/n将数据集划分为源训练集、源验证集和源测试集；/n所述模型训练步骤包括下述步骤：/n对所述源训练集进行图像预处理后得到训练集图片X＝{X

【技术特征摘要】
1.一种基于信任机制下面部交并比的假脸视频检测方法，其特征在于，包括网络训练步骤和样本测试步骤，所述网络训练步骤包括模型训练步骤和模型验证步骤；
将数据集划分为源训练集、源验证集和源测试集；
所述模型训练步骤包括下述步骤：
对所述源训练集进行图像预处理后得到训练集图片X＝{X1,X2,...,XN}，训练集正确掩膜Y＝{Y1,Y2,...,YN}，其中N为训练集图片总数；
输入训练集图片X和标签为训练集正确掩膜Y进行分割网络训练，分割网络训练完成后保存分割网络模型和权重值；
所述模型验证步骤包括下述步骤：
对所述源验证集进行图像预处理后得到验证集图片Z＝{Z1,Z2,...,ZQ}，其中Q为验证集图片总数；
对验证集第k张图片Zk采用训练好的分割网络预测得到掩膜ZMk，确定待检测区域；
对预测的掩膜ZMk进行平滑处理得到去噪后的掩膜ZMSk；
设置初始二值化阈值T1和初始判决阈值T2，采用网格搜索法进行网格搜索，并对验证集图片去噪后的掩膜进行二值化处理、面部交并比计算和二分类判决，得到虚警率和漏检率，记录相应的阈值对和等错误率，当判定等错误率最小时，选定二值化阈值T1o和判决阈值T2o；
所述样本测试步骤包括下述步骤：
对所述源测试集进行图像预处理后得到测试集图片C＝{C1,C2,...,CL}，其中L为测试图片总数；
对测试集第k张图片Ck采用训练好的分割网络预测得到掩膜CMk，确定待检测区域；
对预测的掩膜CMk进行平滑处理得到去噪后的掩膜CMSk；
采用网络训练步骤中选定的二值化阈值T1o对去噪后的掩膜CMSk进行二值化处理，得到二值掩膜CMSBk；
设置信任机制的惩罚因子p，对二值掩膜CMSBk计算信任机制下面部交并比CFIoUk；
采用网络训练步骤选定的判决阈值T2o对面部交并比CFIoUk进行二分类判决，逐帧判断测试集图片的真假，计算得到判断的准确率和平均错误率。


2.根据权利要求1所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，对所述源训练集进行图像预处理后得到训练集图片X，训练集正确掩膜Y，具体步骤为：
对源训练集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；
在源训练集的视频帧和对应的正确掩膜上，根据矫正后的人脸框位置裁剪出部分区域图片，并采集到同一分辨率，得到训练集图片X，训练集正确掩膜Y；
对所述源验证集进行图像预处理后得到验证集图片Z，具体步骤为：
对源验证集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；
在源验证集的视频帧上，根据矫正后的人脸框位置裁剪出部分区域图片，并采集到同一分辨率，得到验证集图片Z；
对所述源测试集进行图像预处理后得到测试集图片C，具体步骤为：
对源测试集中的视频帧进行图像预处理，选取人脸框对人脸标志点进行检测记录，并矫正人脸框；
在源测试集的视频帧上，根据矫正后的人脸框裁剪出部分区域图片，并采样到同一分辨率，得到测试集图片C。


3.根据权利要求1所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，所述模型训练的分割网络训练具体步骤包括：
构建分割网络，构建分割网络训练的损失函数，构建分割网络参数优化算法，所述分割网络参数优化算法采用Adam算法；
输入训练集图片X和标签为训练集正确掩膜Y进行分割网络训练，分割网络训练完成后保存分割网络模型和权重值；
所述分割网络训练的损失函数为：



其中，(i,j)表示掩膜上的坐标点位置，mk表示掩膜的长度，nk表示掩膜的宽度。


4.根据权利要求1或3所述的基于信任机制下面部交并比的假脸视频检测方法，其特征在于，所述分割网络采用图像数据集ImageNet上预训练的网络结构VGG-16为骨架的FCN-8s模型；
图片输入网络结构VGG-16，依次通过第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块；
第一卷积模块包括两个步长为1的64通道输入3×3卷积层和一个步长为2的2×2最大池化层；第二卷积模块包括两个步长为1的128通道输入3×3卷积层和一个步长为2的2×2最大池化层；第三卷积模块包括两个步长为1的256通道输入3×3卷积层和一个步长为2的2×2最大池化层；第四卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层、第五卷积模块包括两个步长为5的512通道输入3×3卷积层和一个步长为2的2×2最大池化层，其中所有卷积层的激活函数为ReLU；
FCN-8s的输入为分辨率256×256，经过VGG-16骨架网络后，第五卷积模块的输出通过步长为1的4096通道输入7×7卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的4096通道输入1×1卷积层、ReLU激活函数、概率为0.5的随机失活层、步长为1的2通道输入1×1卷积层、步长为2的2通道输入4×4反卷积层，与第四卷积模块的输出通过步长为1通道输入...

【专利技术属性】
技术研发人员：胡永健，高逸飞，刘琲贝，王宇飞，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44