【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体为一种基于面部动态集成的深度伪造检测方法及系统。
技术介绍
1、随着深度学习的快速发展，用于创建图像和视频的人工智能(ai)技术，在过去几十年中取得了重大进展。人们很难将这些技术产生的人造数字图像与数码相机拍摄的图像区分开来。基于人工智能的图像生成具有广泛应用的潜力，如电影表演、商业广告和游戏创作。另一方面，基于人工智能的图像生成可能会被滥用。例如，上传高质量虚假个人资料图像的社交媒体账户可能被用于欺诈目的。基于深度学习生成假图像被称为“deepfake”。
2、深度伪造方法可分为四种类型：合成，属性编辑，身份交换和人脸重演。合成(例如，pggan、stylegan和stylegan2)是指创建真实世界中不存在的人的虚假面部图像的过程。属性编辑(例如，stgan、stargan和starganv2)是指改变一个人的面部特征，如发型或面部毛发，或添加或消除衰老迹象的过程。同时，身份交换(例如，faceswap)是一种将一个人的脸替换为另一个人脸的方法。最后，在重演过程中(例如，face2face)，尽管图像中的人保持不变，但其面部表情会发生变化。如果使用现有的深度伪造生成器创建伪造图像，并且已经识别出图像的来源，那么深度伪造检测相对容易并且实现相对高的精度。然而，在实现可靠和实用的深度伪造检测方面仍然存在挑战。现有的合成检测方法假设真实图像和合成图像被原样输入，并且由深度伪造生成器生成的不可见和可见伪影出现在整个面部图像中。我们还需要考虑这样一种情况，即伪影仅来自伪图像的一部分或退化。例如
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术解决的技术问题是：现有的方法可能存在伪影仅来自伪图像的一部分或退化，很难提取与场景内容完全分离的伪影，使用小面积的面部图像来检测合成图像只能获得少量的受污染的伪像，利用不一致的角膜镜面高光精度对于在各种照明条件下捕获的图像来说是不够的，也无法用于从角膜被太阳镜遮挡的假图像中识别深度假图像。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种基于面部动态集成的深度伪造检测方法，包括：构建面部检测器并输入图像，获得候选边界框及每个类别中的置信度分数，基于所述置信度分数，选择将用于深度伪造检测的人脸部分，调整像素；将人脸部分调整大小的补丁输入到真假的二元分类器中，获得真假类的概率分布作为输出，计算所有分类器的概率分布的平均值，得到集成深度假检测器的最终输出；针对部分遮挡和编辑的鲁棒深度伪造检测，构建基于面部组合的动态集成检测器，训练特定于不同分辨率的cnn模型，并根据输入图像的分辨率自适应地选择一个模型。
4、作为本专利技术所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：所述面部检测器使用人脸图像作为训练数据，对模型进行训练，将待检测图像输入到训练好的模型，得到一系列包含人脸的边界框，训练好的模型对这些边界框进行精细化调整和分类，得到准确的人脸检测结果。
5、作为本专利技术所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：获得所述候选边界框包括，从一对物体平面坐标和相应的图像平面坐标中获得两个方程，从物体平面的四个顶点到图像平面的顶点的对应关系来估计单应性矩阵h*的所有元素，使用相同的单应矩阵h*，获得每个注释在图像平面上的变换边界框；
6、输入图像后，将图像分割为a×a个网格，每个网格的大小相等，基于所述网格生成候选边界框，由a×a个网格预测出b个候选边界框，所述候选边界框包含5个量：物体的中心位置(x，y)、高h、宽w以及预测的置信度。
7、作为本专利技术所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：所述真假类的概率分布计算包括，先计算判断补丁的一致性，再计算帧间不一致信息，最后计算统一的时空不一致性，全连接层整合所有特征，动态时空不一致捕捉网络通过交叉熵损失进行训练，根据分类层的输出预测输入视频片段的真假。
8、作为本专利技术所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：计算所述补丁一致性包括，将每段视频以t帧为单位分成n个不重叠的片段样本，连续的t帧构成一个样本i＝[i1，---，it]，将这些片段样本输入二维cnn提取逐帧特征f＝[f1，---，ft]，首先将特征f转换为三个视图，公式表示为：
9、fq＝σq(f)∈rh×w×t×c；
10、fk＝σk(f)∈rh×w×c×t；
11、fv＝σv(f)∈rt×c×h×w；
12、其中，σ(·)是增强提取特征多样性的1×1卷积层，h、w是空间维数，f表示隐藏层中的特征表示，c是通道数，对于fq中的每个补丁xh,w,i，将其与fk中所有对应的补丁xh,w,j进行匹配，通过计算负余弦相似度计算其特征相似度，得到大小为h×w×t×t的4d不一致性图m，计算公式表示为：
13、
14、其中，|·|2是l2正则化，在变换视图的所有配对{simh,w,i,j|1≤h,w≤h*w,1≤i,j≤t}中迭代上述操作，得到不一致性图m，对于m的每一个记录，值接近1表示两个补丁不一致，接近-1则表示两个补丁一致。
15、作为本专利技术所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：计算所述帧间不一致性包括，由动态细粒度差异捕捉模块处理从二维cnn提取的特征f，定位伪造方法造成的帧间差异区域，并生成每帧的注意力图，公示表示为：
16、
17、通过测量帧间差异强度的大小来区分差异类型，强度波动大的为伪造差异，强度波动小的为运动差异，对差异强度波动图进行排序，并选取第k个值作为阈值区分伪造差异和运动差异；
<本文档来自技高网...【技术保护点】
1.一种基于面部动态集成的深度伪造检测方法，其特征在于，包括：
2.如权利要求1所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：所述面部检测器使用人脸图像作为训练数据，对模型进行训练，将待检测图像输入到训练好的模型，得到一系列包含人脸的边界框，训练好的模型对这些边界框进行精细化调整和分类，得到准确的人脸检测结果。
3.如权利要求2所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：获得所述候选边界框包括，从一对物体平面坐标和相应的图像平面坐标中获得两个方程，从物体平面的四个顶点到图像平面的顶点的对应关系来估计单应性矩阵H*的所有元素，使用相同的单应矩阵H*，获得每个注释在图像平面上的变换边界框；
4.如权利要求3所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：所述真假类的概率分布计算包括，先计算判断补丁的一致性，再计算帧间不一致信息，最后计算统一的时空不一致性，全连接层整合所有特征，动态时空不一致捕捉网络通过交叉熵损失进行训练，根据分类层的输出预测输入视频片段的真假。
5.如权利要求4所述的一种基于面部动态
6.如权利要求5所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：计算所述帧间不一致性包括，由动态细粒度差异捕捉模块处理从二维CNN提取的特征F，定位伪造方法造成的帧间差异区域，并生成每帧的注意力图，公示表示为：
7.如权利要求6所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：计算所述统一的时空不一致性包括，输入特征沿时间轴进行双向切分，左分支是将重塑为的垂直分支，右分支是将重塑为的水平分支，每个分支执行相应的带状平均池化操作和带状卷积，使用各种尺度池操作来挤压时间维度，公式表示为：
8.一种采用如权利要求1～7任一所述的一种基于面部动态集成的深度伪造检测方法的系统，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种基于面部动态集成的深度伪造检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种基于面部动态集成的深度伪造检测方法的步骤。
...【技术特征摘要】
1.一种基于面部动态集成的深度伪造检测方法，其特征在于，包括：
2.如权利要求1所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：所述面部检测器使用人脸图像作为训练数据，对模型进行训练，将待检测图像输入到训练好的模型，得到一系列包含人脸的边界框，训练好的模型对这些边界框进行精细化调整和分类，得到准确的人脸检测结果。
3.如权利要求2所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：获得所述候选边界框包括，从一对物体平面坐标和相应的图像平面坐标中获得两个方程，从物体平面的四个顶点到图像平面的顶点的对应关系来估计单应性矩阵h*的所有元素，使用相同的单应矩阵h*，获得每个注释在图像平面上的变换边界框；
4.如权利要求3所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：所述真假类的概率分布计算包括，先计算判断补丁的一致性，再计算帧间不一致信息，最后计算统一的时空不一致性，全连接层整合所有特征，动态时空不一致捕捉网络通过交叉熵损失进行训练，根据分类层的输出预测输入视频片段的真假。
5.如权利要求4所述的一种基于面部动态集成的深度伪造检测方法，其特征在于：计算所述补丁一致性包括，将每段视频以t帧为单位分成n个不重叠的片段样本，连续的t帧构成一个样本i＝[i1，---，it...
【专利技术属性】
技术研发人员：孙知信，吴宇晨，宫婧，孙哲，曹亚东，赵学健，汪胡青，胡冰，徐玉华，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。