检测伪造人脸图像视频的增量学习方法及系统技术方案

本发明专利技术提出一种检测伪造人脸图像视频的增量学习方法和系统，包括：获取待增量学习的伪造人脸图像检测模型作为基础模型，基础模型包括用于提取图像特征的特征提取器，以及为图像特征分配伪造人脸图像检测类别的分类器；获取已标注伪造类别的训练图像；在基础模型中新建特征提取器；在基础模型中新建辅助分类器，对于训练图像辅助分类器得到辅助分类结果和辅助损失，并根据分类器对训练图像的分类结果构建分类损失；由分类损失和辅助损失更新分类器和新建特征提取器的权重参数；直到总损失收敛或达到指定的迭代次数。本发明专利技术通过增量学习的方式来处理现实场景中不断出现的伪造人脸数据，加强了分类器的判别能力。加强了分类器的判别能力。加强了分类器的判别能力。

【技术实现步骤摘要】
检测伪造人脸图像视频的增量学习方法及系统


[0001]本专利技术涉及图像识别分类中的人脸伪造检测
，并特别涉及一种检测伪造人脸图像视频的增量学习方法及系统。

技术介绍

[0002]现有的伪造检测技术主要包括但不限于以下四类：
[0003](1)基于深度神经网络特征提取的方法。此类方法将真实样本和合成样本直接送入神经网络中进行有监督训练，期望网络学习到正负样本不同的内在分布，并通过一个二分类器输出预测结果。这类方法往往依赖于网络本身，特征提取能力强的网络通常有更好的分类结果，目前最流行的基础网络如ResNet、CapsuleNet、XceptionNet以及EfficientNet等已经被用于人脸伪造检测任务。这些方法在域内测试取得了良好的检测结果，但在域间测试检测性能大幅下降，表现为泛化性能的不足。因此，很多工作被提出用于提高网络的泛化性能，共同思想都是希望通过找到或者强化合成数据存在的伪造痕迹来进行判别。通过挖掘通道差分图像和频谱图像中的内在特征来改进网络的泛化能力；利用全局图像纹理表示来进行伪造检测的网络结构Gram
‑
Net，并改善了泛化能力；用多级特征全局一致性的方法提高了网络的泛化能力。这些工作推进了伪造检测技术的发展，但还不能较好地解决泛化能力不足的问题。
[0004](2)基于图像上下文空间的检测方法。此类方法认为合成图像只是对图像中面部区域进行了篡改，而图像中其它部分(比如背景、躯干)并没有更改，理论上真实图像和合成图像内部存在着必然的不同，真实图像内部是连续的，而合成图像内部则是拼接而成，由此可进行真伪检测。合成的人脸图像拥有一种融合边界，而真实图像没有这样的边界，提出了一种检测边界融合痕迹的Face
‑
X
‑
Ray方法；利用注意力机制来定位人脸图像中的伪造区域，并用其改进最后的分类任务；将篡改区域定位、篡改边缘提取和真伪判别分类融为一体的三分支多任务学习框架，并加粗篡改边缘辅助最后的分类。基于图像上下文空间的检测方法对于只存在局部篡改的图像有较好的检测性能，并且通常比直接用神经网络进行特征提取的方法具有更优的泛化性能，但是对于整体合成的图像，这类方法检测效果欠佳。
[0005](3)基于视频时序信息的检测方法。视频的本质是帧的快速切换，现有的人脸伪造视频大多是对每一帧分别进行伪造和处理，再压缩编码成最后的视频，因此相邻帧之间往往有很大的相关性，而伪造视频在相邻帧上通常会产生时空差异。现有技术提出了一种时间感知管道，该管道首先利用CNN(convolutional neural network)提取帧级特征，随后将特征送入RNN(recurrent neural network)中进行训练，最后用训练好的RNN进行判别；提出视觉流动向量场的概念，将帧间预测误差与长短期记忆(long short term memory，LSTM)网络结合起来，基于VGG
‑
16得到了不错的检测结果；提出了结合频率域特征和RGB图像(RGB三通道)特征的双分支网络，利用组卷积整合各分支特征并输入到LSTM进行检测；真实和合成视频中人脸运动的振幅有较大差异，利用InceptionV3提取特征，结合LSTM提取时序信息，取得了不错的检测效果。基于视频时序信息的检测方法推进了人脸伪造检测技术
的实用化，共同思路都是利用相邻帧间人物运动不一致、色彩与纹理的不正常抖动等信息进行伪造检测。
[0006](4)基于生理信号的检测方法。此类方法认为真实的人具有丰富的生理特征，比如心率、脉搏和眨眼等，而计算机合成的人往往不具备这些特征或者生理特征前后不一致。针对人眼眨眼具有很强的时间依赖性，提出基于眨眼检测的方法鉴别伪造视频；提出了监测中心表情和头部姿势的方法；提取眼睛、牙齿以及脸部轮廓等位置的特征来检测视频真伪；提出了监测脉搏Photoplethysmogram信号的方法；提出了利用心跳信号来检测视频中人物对象的真实性的方法。基于生理信号的检测方法能够脱离视频载体(比如频率、像素等)，利用人的持续生理信号进行真伪检测，在现有的方法中取得了具有竞争力的跨库测试准确率，但该方法对数据集的要求较高，且易受噪声和模糊影响，主要用于对重要人物的伪造视频检测
[0007]由于深度伪造技术仍在不断进步，不同伪造类型的数据也越来越多。现有方法在处理新的伪造类型时主要存在以下不足：1)在已知伪造类型的数据上检测能力优异，但在未知伪造类型的数据上检测能力欠佳，表现为泛化性能的不足；2)如果要求模型在新数据(未知伪造类型)上有较好的检测能力，需要使用旧数据(已知伪造类型)和新数据从头训练模型，这通常需要消耗较大的存储和计算资源，并且相对来说阻碍了模型实时学习新数据的能力。

技术实现思路

[0008]本专利技术的目的是克服上述现有技术在面对新的伪造数据时泛化性能不足、从头训练模型又会消耗较大的存储和计算资源的问题，提出了一种增量学习的人脸伪造检测技术与系统。具体来说，本专利技术提出了一种检测伪造人脸图像视频的增量学习方法，其中包括：
[0009]步骤1、获取待增量学习的伪造人脸图像检测模型作为基础模型，该基础模型包括用于提取图像特征的特征提取器Φ
t
‑1，以及为图像特征分配伪造人脸图像检测类别的分类器H
t
；
[0010]步骤2、获取已标注伪造类别的训练图像；在该基础模型中新建特征提取器F
i
；在当前时刻t时，特征提取器Φ
t
‑1和新特征提取器F
t
组成征提取器Φ
t
，其中对于输入的训练图像x，Φ
t
提取的特征υ为：
[0011]υ＝Φ
t
(x)＝[Φ
t
‑1(x),F
t
(x)][0012]步骤3、在该基础模型中新建辅助分类器H
′
t
，H
′
t
的标签空间是|Y
t
|+1，包括时刻t时增量学习任务Y
t
中的类别和该基础模型所能识别的所有旧类别，对于该输入的训练图像x，辅助分类器H
′
t
根据下式得到辅助分类结果：
[0013]pH
′
t
(y|x)＝Softmax(H
′
t
(F
t
(x)))
[0014]该辅助分类结果和该训练图像x对应的伪造类别，构建辅助损失L
H't
；
[0015]将特征υ输入分类器H
t
：
[0016]pH
t
(y|x)＝Softmax(H
t
(υ))
[0017]得到该训练图像x的在各伪造类别下的得分，取得分最高的伪造类别作为分类结果
[0018][0019]其中其中为所有图像类别；通过该分类结果和该训练图像x对应的伪造类别构建分类损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测伪造人脸图像视频的增量学习方法，其特征在于，包括：步骤1、获取待增量学习的该伪造人脸图像检测模型作为基础模型，该基础模型包括用于提取图像特征的特征提取器Φ
t
‑1，以及为图像特征分配伪造人脸图像检测类别的分类器H
t
；步骤2、获取已标注伪造类别的训练图像；在该基础模型中新建特征提取器F
i
；在当前时刻t时，特征提取器Φ
t
‑1和新特征提取器F
t
组成征提取器Φ
t
，其中对于输入的训练图像x，Φ
t
提取的特征υ为：υ＝Φ
t
(x)＝[Φ
t
‑1(x),F
t
(x)]步骤3、在该基础模型中新建辅助分类器H
t
'，H
t
'的标签空间是|Y
t
|+1，包括时刻t时增量学习任务Y
t
中的类别和该基础模型所能识别的所有旧类别，对于该输入的训练图像x，辅助分类器H
t
'根据下式得到辅助分类结果：pH'
t
(y|x)＝Softmax(H'
t
(F
t
(x)))该辅助分类结果和该训练图像x对应的伪造类别，构建辅助损失L
H't
；将特征υ输入分类器H
t
：pH
t
(y|x)＝Softmax(H
t
(υ))得到该训练图像x的在各伪造类别下的得分，取得分最高的伪造类别作为分类结果得到该训练图像x的在各伪造类别下的得分，取得分最高的伪造类别作为分类结果其中其中为所有图像类别；通过该分类结果和该训练图像x对应的伪造类别构建分类损失L
C
；由该分类损失L
C
和辅助损失L
H't
构建总损失，以更新该分类器H
t
和该新建特征提取器F
i
的权重参数；直到该总损失收敛或达到指定的迭代次数，保存当前基础模型作为最终识别模型；步骤4、将待伪造人脸图像检测的图像输入该最终识别模型，得到其识别结果。2.如权利要求1所述的检测伪造人脸图像视频的增量学习方法，其特征在于，该H
t
的初始参数继承自H
t
‑1，H
t
的输出维度不断更新，以匹配增加的伪造类别数目，并对其新添加的参数进行随机初始化；Φ
t
‑1包括至少一个特征提取器，特征提取器F
i
的权重初始参数继承自F
i
‑1，其中i代表第i个增量学习任务。3.如权利要求1所述的检测伪造人脸图像视频的增量学习方法，其特征在于，该分类器H
t
为二分类器，当前该增量学习任务其中x
tk
表示时刻t中第k种伪造方法下的真实图像和伪造图像，y
tk
表示时刻t中第k种伪造方法下的二分类标签，表示时刻t中第k种伪造方法下的多分类标签；在训练过程中，二分类标签参与损失函数的计算，多分类标签z
tk
用于模型区分新类别和旧类别；在二分类学习中，总损失函数由二分类器的交叉熵损失L
BC
及辅助分类器的多分类交叉熵损失L
H't
构成：L＝L
BC
+λ
a
L
H
'
t
λ
a
是控制辅助分类器效果的超参数。4.如权利要求1所述的检测伪造人脸图像视频的增量学习方法，其特征在于，该分类器H
t
为多分类器，当前该增量学习任务其中表示时刻t中第k种伪造方法下
的真实图像和伪造图像，y
tk
表示与之对应的多分类标签；在多分类学习中，损失函数由一个多分类器的交叉熵损失L
MC
及辅助分类器的多分类交叉熵损失L
H't
构成：L＝L
MC
+λ
b
L
H
'
t
λ
b
是控制辅助分类器效果的超参数。5.如权利要求1所述的检测伪造人脸图像视频的增量学习方法，其特征在于，该分类器H
t
为由多分类和二分类构成的多分支分类器，当前该增量学习任务其中表示时刻t中第k种伪造方法下的真实图像和伪造图像，表示时刻t中第k种伪造方法下的二分类标签，z
tk
表示时刻t中第k种伪造方法下的多分类标签；总损失函数由二分类器的交叉熵损失L
BC
、辅助分类器的多分类交叉熵损失L
H't
和多分类器的交叉熵损失L
MC
构成：L＝L
MC
+λ
c
L
BC
+λ
d
L
H
'
t
λ
d
是控制辅助分类器效果的超参数，λ
c
则是平衡二分类损失和多分...

【专利技术属性】
技术研发人员：夏时洪，范振峰，赵泽军，丁博，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：