基于眼部特征和人脸特点实现深度伪造融合检测的系统、方法、装置、处理器及其存储介质制造方法及图纸

本发明专利技术涉及一种基于眼部特征和人脸特点实现深度伪造融合检测的系统，其中，该系统包括：待检测图像序列处理模块，用于从待检测视频中按帧提取出含有人脸的待检测图像序列；眼部特征图像序列提取模块，用于定位出人脸区域并提取眼部局部特征图像序列；骨干网络特征提取处理模块，用于进行防伪图像检测；图像融合预测处理模块，用于采用回归函数分别获取待检测图像和眼部局部特征图像的预测概率分布，并通过图像融合，获取当前帧图像的最终伪造概率。本发明专利技术还涉及一种相应的方法、装置、处理器及其存储介质。采用了本发明专利技术的该系统、方法、装置、处理器及其存储介质，在现有检测方法的基础上加入眼部特征点，从而更加准确、有效识别出深度伪造视频。出深度伪造视频。出深度伪造视频。

【技术实现步骤摘要】
基于眼部特征和人脸特点实现深度伪造融合检测的系统、方法、装置、处理器及其存储介质


[0001]本专利技术涉及人工智能
，尤其涉及面部特征伪造
，具体是指一种基于眼部特征和人脸特点实现深度伪造融合检测的系统、方法、装置、处理器及其计算机可读存储介质。

技术介绍

[0002]随着互联网技术的蓬勃发展，人工智能技术也进入了高速发展时期，越来越多的技术人员关注并深入到该领域中，其中也不可避免地包括了犯罪分子。“深度伪造”技术就是人工智能在犯罪活动中的典型应用，该技术能够将视频中的人脸进行替换，将深度伪造技术用于犯罪会极大地危害到个人安全、社会安全以及国家安全，因此，如何对使用了该技术的视频文件进行鉴定，判断其是否被篡改，显得尤为重要。目前现有的深度伪造检测技术包括了五种：1、基于视频帧内差异的检测方法，即从单个视频帧内提取差异特征，并通过反复训练得到结果；2、基于视频帧间差异的检测方法，即从视频的不同帧中提取差异特征，反复训练得到结果；3、基于视频完整性的检测方法，即通过对视频的完整性进行判断，判断该视频是否为原始视频；4、基于生物学的检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于眼部特征和人脸特点实现深度伪造融合检测的系统，其特征在于，所述的系统包括：待检测图像序列处理模块，用于从待检测视频中按帧提取出含有人脸的待检测图像序列；眼部特征图像序列提取模块，与所述的待检测图像序列处理模块相连接，用于定位出所述的待检测图像序列中的人脸区域，并根据定位到的人脸区域提取眼部局部特征图像序列；骨干网络特征提取处理模块，均与所述的待检测图像序列处理模块和眼部特征图像序列提取模块相连接，用于将待检测图像和眼部局部特征图像输入到深度伪造换脸模型中进行防伪图像检测；以及图像融合预测处理模块，与所述的骨干网络特征提取处理模块相连接，用于采用回归函数分别获取所述的待检测图像和眼部局部特征图像的预测概率分布，并通过图像融合，获取当前帧图像的最终伪造概率。2.根据权利要求1所述的基于眼部特征和人脸特点实现深度伪造融合检测的系统，其特征在于，所述的系统深度伪造换脸模型具体包括以下处理过程：(i)获取预设数量含有真实人脸的第一视频帧图像以及同等数量含有伪造人脸的第二视频帧图像；(ii)对所述的第一视频帧图像以及第二视频帧图像采用MTCNN/S3FD检测方法分别提取出含有人脸的视频帧，以获取含有人脸的第一图像序列以及含有伪造人脸的第二图像序列；(iii)同时定位所述的第一视频帧图像以及第二视频帧图像中的人脸区域，对所述的人脸区域进行视频帧检测扩展处理，并分别对扩展后的视频帧图像添加真伪标签，以获取待检测图像序列；(iv)使用图像增强库albumentations对待检测图像进行旋转、翻转、缩放、裁剪、加噪、移位的图像操作，并将处理后的图像加入到所述的待训练图像中，以达到数据增强的目的；(v)使用dlib开源库的人脸识别方法，定位出所述的待检测图像的眼部局部图，并将其扩大到适当范围，以进行后续处理；(vi)将得到的扩大检测范围的眼部特征图与所述的待检测图像作为双流网络的输入；(vii)所述的双流网络对上述处理过程(vi)输入的眼部特征图与所述的待检测图像进行特征提取，分别将每轮提取到的检测结果与训练集标签中的真伪标签进行比对，并使用损失函数计算损失值L；(viii)重复上述各个处理过程，使得损失值L收敛，以逼近最优解，当损失值小于预期值或迭代次数达到预先设定的迭代次数，则获得最终的深度伪造换脸模型。3.根据权利要求2所述的基于眼部特征和人脸特点实现深度伪造融合检测的系统，其特征在于，所述的处理过程(vii)中所述的使用损失函数计算损失值L具体为：将待训练图像分类结果的第一交叉熵L
raw
与眼部特征图像分类结果的第二交叉熵L
eye
，分别通过以下公式计算损失值L：
其中，y
i
表示样本i的真实分类标签，p
i
表示模型对样本i预测的分类标签，N表示样本数量；通过将计算出的第一交叉熵L
raw
的损失值与第二交叉熵L
eye
的损失值进行加权融合处理，得到最终的损失值结果。4.一种利用权利要求1所述的系统实现基于眼部特征和人脸特点的深度伪造融合检测的方法，其特征在于，所述的方法包括以下步骤：(1)输入待检测视频；(2)从所述的待检测视频中提取含有人脸的待检测图像序列，并定位出人脸区域；(3)从所述的含有人脸的待检测图像序列中提取出眼部局部图像序列；(4)将定位出的人脸区域扩展适当范围，获得待检测图像序列；(5)将所述的含有人脸的待检测图像序列输入到骨干网络中进行特征提取；(6)将所述的眼部局部图像序列输入到骨干网络中进行特征提取；(7)将双流网络中提取到的待检测图像和眼部局部图像的特征的预测概率分别进行融合处理，得到最终的伪造概率。5.根据权利要求4所述的实现基于眼部特征和人脸特点的深度伪造融合检测的方法，其特征在于，所述的步骤(2)具体包括以下步骤：(2.1)使用FFmpeg工具，从含有真实人脸的待检测视频中按帧提取出预设数量的...

【专利技术属性】
技术研发人员：吴松洋，管林玉，张颖，高峰，陆璟妍，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：