本发明专利技术涉及一种基于误差重构实现无监督深度伪造视频检测处理的方法，其中，该方法包括：(1)输入待检测视频进行数据预处理，提取待检测视频中的人脸特征点序列；(2)对人脸特征点序列进行重构处理，生成人脸特征点重构序列；(3)根据人脸特征点序列以及人脸特征点重构序列计算当前该视频的伪造分数；(4)根据伪造分数与预设阈值之间的比较关系，以判断当前该视频真伪。本发明专利技术还涉及一种相应的装置、处理器及其计算机可读存储介质。采用了本发明专利技术的该基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机可读存储介质，不需要使用伪造视频用于训练，节省了生成伪造视频的成本，并且有效平衡了性能和使用成本。成本。成本。
【技术实现步骤摘要】
基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机存储介质
[0001]本专利技术涉及计算机视觉
，尤其涉及深度伪造视频检测
，具体是指一种基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机可读存储介质。
技术介绍
[0002]随着深度生成技术的快速发展，机器自动内容生成水平不断提高，其中深度伪造 (Deepfake)更是内容生成中的热门技术，在短视频、游戏直播、视频会议等领域得到了广泛应用。但具备极高欺骗性的深度伪造引发了诸多争议，带来了潜在的社会信任和社会安全问题。
[0003]目前伪造视频检测主要被建模成有监督的分类任务，包括基于单帧的分类检测和基于多帧的分类检测。前者主要利用异常颜色、眼睛牙齿细节等特征在单帧内实现伪造视频检测；后者则对视频中的眨眼频率、表情变化等时序信息进行建模。基于多帧的方法相较于单帧，性能都有不同程度的提高，证明了时序信息的引入对提升检测精度的重要性。
[0004]然而当前工作仍存在两个主要问题：一是由于深度伪造方法不断地迭代更新、种类繁多，而现有的监督检测算法训练依赖的标注数据需要相应的伪造模型生成，这些伪造模型大多没有开源，复现难度大，训练成本高，极大地增加了检测模型的训练和更新成本；二是基于深度卷积网络提取特征的方法虽然性能良好但训练成本高，进一步提高了伪造检测模型的应用门槛。因此，需要一个平衡性能和成本的深度伪造检测方法。
技术实现思路
[0005]本专利技术的目的是克服了上述现有技术的缺点，提供了一种能够有效达到良好性能和成本平衡的基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机可读存储介质。
[0006]为了实现上述目的，本专利技术的基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机可读存储介质如下：
[0007]该基于误差重构实现无监督深度伪造视频检测处理的方法，其主要特点是，所述的方法包括以下步骤：
[0008](1)输入待检测视频进行数据预处理，提取所述的待检测视频中的人脸特征点序列；
[0009](2)对所述的人脸特征点序列进行重构处理，生成人脸特征点重构序列；
[0010](3)根据所述的人脸特征点序列以及人脸特征点重构序列计算当前该视频的伪造分数；
[0011](4)根据所述的伪造分数与预设阈值之间的比较关系，以判断当前该视频真伪。
[0012]较佳地，所述的步骤(1)包括以下步骤：
[0013](1.1)用人脸特征点提取工具Dlib提取所述的待检测视频中的每一帧图像的68个人脸特征点作为该帧的原始特征；
[0014](1.2)按照原视频帧的顺序组合得到原始人脸特征点序列，表示为f
seq
＝[f1，f2，f3，...，f
N
] 其中N为视频帧数，f为相应帧的人脸特征点；第i帧的68个人脸特征点表示为其中N为视频帧数，f为相应帧的人脸特征点；第i帧的68个人脸特征点表示为其中分别表示为第j个特征点的横、纵坐标；
[0015](1.2)将每一帧所述的原始人脸特征点序列通过Lucas
‑
Kanade光流算法进行下一帧的预测处理，得到预测帧；
[0016](1.3)通过卡尔曼滤波器对所述的原始人脸特征点序列的每一帧和对应预测帧进行合并处理，并去除所述的原始人脸特征点序列中的噪声，以提取得到去噪后的所述的人脸特征点序列。
[0017]较佳地，所述的步骤(2)包括以下步骤：
[0018](2.1)使用卷积神经网络提取所述的人脸特征点序列的局部特征；
[0019](2.2)再使用双向门控循环网络对所述的人脸特征点序列的各帧序列特征进行建模处理，得到深层编码表示序列Z
seq
＝[z1，z2，z3，...，z
N
]，N为序列编码数；
[0020](2.3)对所述的深层编码表示序列Z
seq
＝[z1，z2，z3，...，z
N
]通过两个独立的全连接层进行重参数处理，分别得到期望μ
i
和方差σ
i
，即μ
i
＝fc
μ
(z
i
)，σ
i
＝fc
σ
(z
i
)，其中，fc
u
和fc
σ
为互相独立的全连接层，经过重参数处理后的编码表示序列由期望μ
i
、方差σ
i
和正态分布采样ξ
i
计算得到，具体为
[0021](2.4)采用双向门控循环神经网络和全连接网络对重参数后的编码表示序列全连接网络对重参数后的编码表示序列进行解码处理，得到重构特征序列为f
′
seq
＝[f
′1，f
′2，f
′3，...，f
′
N
]。
[0022]较佳地，所述的步骤(3)包括以下步骤：
[0023](3.1)计算每一帧所述的人脸特征点序列和重构特征序列的重构误差，即第i帧的重构误差为其中分别表示为第j个原特征点的横、纵坐标，分别表示为第j个重构特征点的横、纵坐标；
[0024](3.2)将计算得到的每一帧所述的重构误差进行累加处理，则计算得到的各个重构误差的总和作为当前该视频的伪造分数，即
[0025]较佳地，所述的步骤(4)包括以下步骤：
[0026](4.1)设置判断视频真伪的预设阈值；
[0027](4.2)将计算得到的伪造分数与所述的预设阈值进行比较处理，如果所述的伪造分数大于所述的预设阈值，则判定当前该视频为伪造视频；如果所述的伪造分数小于所述的预设阈值，则判定当前该视频为正常视频。
[0028]该用于实现基于误差重构实现无监督深度伪造视频检测处理的装置，其主要特点是，所述的装置包括：
[0029]处理器，被配置成执行计算机可执行指令；
[0030]存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的基于误差重构实现无监督深度伪造视频检测处理的方法的各个步骤。
[0031]该基于误差重构实现无监督深度伪造视频检测处理的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于误差重构实现无监督深度伪造视频检测处理的方法的各个步骤。
[0032]该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于误差重构实现无监督深度伪造视频检测处理的方法的各个步骤。
[0033]采用了本专利技术的该基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机存储介质，适用于低资源场景下的深度伪造视频检测。其工作特点本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于误差重构实现无监督深度伪造视频检测处理的方法，其特征在于，所述的方法包括以下步骤：(1)输入待检测视频进行数据预处理，提取所述的待检测视频中的人脸特征点序列；(2)对所述的人脸特征点序列进行重构处理，生成人脸特征点重构序列；(3)根据所述的人脸特征点序列以及人脸特征点重构序列计算当前该视频的伪造分数；(4)根据所述的伪造分数与预设阈值之间的比较关系，以判断当前该视频真伪。2.根据权利要求1所述的基于误差重构实现无监督深度伪造视频检测处理的方法，其特征在于，所述的步骤(1)包括以下步骤：(1.1)用人脸特征点提取工具Dlib提取所述的待检测视频中的每一帧图像的68个人脸特征点作为该帧的原始特征；(1.2)按照原视频帧的顺序组合得到原始人脸特征点序列，表示为f
seq
＝[f1，f2，f3，...，f
N
]其中N为视频帧数，f为相应帧的人脸特征点；其中，第i帧的第68个人脸特征点表示为示为其中分别表示为第j个特征点的横坐标和纵坐标；(1.2)将每一帧所述的原始人脸特征点序列通过Lucas
‑
Kanade光流算法进行下一帧的预测处理，得到预测帧；(1.3)通过卡尔曼滤波器对所述的原始人脸特征点序列的每一帧和对应预测帧进行合并处理，并去除所述的原始人脸特征点序列中的噪声，以提取得到去噪后的所述的人脸特征点序列。3.根据权利要求2所述的基于误差重构实现无监督深度伪造视频检测处理的方法，其特征在于，所述的步骤(2)包括以下步骤：(2.1)使用卷积神经网络提取所述的人脸特征点序列的局部特征；(2.2)再使用双向门控循环网络对所述的人脸特征点序列的各帧序列特征进行建模处理，得到深层编码表示序列Z
seq
＝[z1，z2，z3，...，z
N
]，N为序列编码数；(2.3)对所述的深层编码表示序列Z
seq
＝[z1，z2，z3，...，z
N
]通过两个独立的全连接层进行重参数处理，分别得到期望μ
i
和方差σ
i
，即μ
i
＝fc
μ
(z
i
)，σ
i
＝fc
σ
(z
i
)，其中，fc
u
和fc
【专利技术属性】
技术研发人员：许喆，王志宏，杨莹，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。