【技术实现步骤摘要】
本专利技术涉及视频取证领域，具体涉及一种基于三维时空轨迹的深度伪造视频检测方法。
技术介绍
1、深度伪造(deepfake)是一个合成词，是人工智能(ai)领域深度学习(deeplearning)和伪造(fake)的组合，常被用于描述利用深度学习等技术生成的虚假媒体。深度人脸伪造技术在图像和视频中既可实现对目标人物的身份替换，也可以实现让目标人物根据驱动视频或者指定的音频做出相应的表情动作。此外，深度人脸伪造技术还可以对目标人物的面部属性进行编辑,甚至是生成现实生活不存在的人脸。近年来，深度学习算法不断迭代，人工智能生成内容百花齐放，ai伪造的高质量图像和视频已达到人眼无法分辨的水平。deepfake技术存在一定的正向应用价值，该技术能够推动娱乐与文化交流产业的新兴发展，具有极强的娱乐性与传播性。然而，一些不法分子利用这些技术进行电信诈骗等，给个人、社会、国家带来严重威胁。因此,开展深度人脸伪造检测技术的研究尤为关键。
2、针对深度伪造视频的检测，研究人员提出了基于图像取证、数据驱动、生物信号、频率的四类检测技术以判断视频是否被伪造。文献“yang x,li y,lyu s.exposing deepfakes using inconsistent head poses.in:proc.of the ieee int’l conf.onacoustics,speech and signal processing(icassp).ieee,2019.8261-8265”提出一种基于3d头部姿态评估的检测方法。文献“hu
3、社交网络上的视频压缩是一种常见的现象。当用户在上传视频到社交媒体平台(如facebook、instagram、twitter等)时，这些平台通常会对视频进行压缩，以减小文件大小并加快视频的上传和播放速度。这种压缩通常采用不同的压缩算法和参数，以平衡视频质量和文件大小。压缩可能会导致视频细节的损失，降低视频的分辨率、帧率和画质，造成压缩伪影与篡改伪影重叠，从而降低现有深度伪造视频检测方法的性能。为有效应对真实场景下的压缩深度伪造视频，本专利技术旨在提高深度伪造视频的检测性能和鲁棒性，提出一种基于三维时空轨迹的深度伪造视频检测方法。
技术实现思路
1、本专利技术提出一种基于三维时空轨迹的深度伪造视频检测方法，旨在实现对压缩深度伪造视频的真伪判定，主要包括：提出一种基于三维时空特征学习的深度伪造视频检测方法，在此基础上，通过结合2d帧和3d帧的特征细节，解耦面部表情与头部运动，从新角度构建时空运动特征，并设计基于相空间运动轨迹的时序分析方法，挖掘深度伪造视频中的真实人脸与伪造人脸之间的特征差异，从而实现对深度伪造视频的检测。
2、主要包括三大内容：
3、(1)提出一种基于三维时空运动特征的深度伪造视频检测方法。
4、(2)提出一种基于三维模型的时空特征构建方法。
5、(3)提出一种基于相空间运动轨迹的时序特征分析方法。
6、具体内容如下：
7、(1)提出一种基于三维时空运动特征的深度伪造视频检测方法：通过研究面部运动，构建时域和空域的运动特征，对相空间运动轨迹进行时序分析，从而捕获深度伪造视频中真实人脸和伪造人脸之间的差异特征，实现对深度伪造视频的真伪判定。本方法包括三维时空特征构建模块，相空间运动轨迹分析模块。整体检测框架如图1所示。本方法关键在于采用鲁棒的三维地标定位和跟踪方法来构建时空域运动特征，将头部运动与面部表情解耦，考虑大范围的头部运动，更细粒度的评估待测面部肌肉运动，以有效抵抗压缩视频对模型检测性能的影响。
8、(2)提出一种基于三维模型的时空特征构建方法：该方法采用鲁棒的三维模型进行面部地标定位和跟踪，同时跟踪并解耦头部运动，接着选取面部点和头部姿势分别构建相空间运动轨迹，以表征时域和空域上的面部肌肉生成的面部地标的相对移动规律。具体为，首先采用2d面部对齐算法，自动为面部视频的每一帧定位68个地标。其次，3d面部模型用于从2d帧中估算深度信息，从而实现3d地标的跟踪。最后，通过面部动作单位(au)的空间动态和时间组合，构建时空域运动特征。特征示意图如图2所示。
9、1)2d面部地标定位。本方法使用一串经过训练的回归器级联来定位每个视频帧的面部地标。为了训练每个回归器，使用了梯度树增强算法，其采用了平方误差损失的累积方式。假设训练数据集为{(i1,s1),(i2,s2),…(in,sn)}，其中每个ii是一张脸部图像，si是其形状向量。为每张脸部图像设定一个初始形状估计在每棵回归树中，使用梯度树增强算法来学习回归函数rt，然后每个形状的估计会被更新如下:
10、
11、每一帧的初始形状简单地选择为训练数据集的均值形状，根据检测到的完整脸部边界框，通过方向梯度直方图(hog)特征进行居中和缩放。在级联的每一级中，估算的地标点会通过前一个回归树产生的残差进行细化。需要注意的是，视频中的所有帧都被标准化，以确保两只眼睛中间的像素之间具有相同的欧氏距离。因此，地标点的移动在同一特定个体中具有可比性。
12、2)3d面部地标跟踪。面部地标跟踪算法保持了对头部运动的不变性，包括平移、缩放(接近或远离摄像机)和本文档来自技高网...
【技术保护点】
1.一种基于三维时空轨迹的深度伪造视频检测方法，其特征在于从新角度构建时空运动特征，将2D帧和3D帧的特征细节结合起来，解耦头部运动与面部表情，并设计基于相空间运动轨迹的时序分析方法，主要包括：
2.根据权利要求1所述的一种基于三维时空轨迹的深度伪造视频检测方法，其特征在于，所述三维时空特征构建模块，通过鲁棒三维模型直接定位和跟踪视频中的面部和头部地标，面部动作单位(AU)的空间动态和时间组合，构建时空域运动特征，具体包括：
3.根据权利要求1所述的基于三维时空轨迹的深度伪造视频检测方法，其特征在于，所述相空间运动轨迹分析模块，对连续一段时间内的第一帧和随后每一帧之间的面部变化规律进行建模，分析视频整体性和全局性特征，具体包括：
【技术特征摘要】
1.一种基于三维时空轨迹的深度伪造视频检测方法，其特征在于从新角度构建时空运动特征，将2d帧和3d帧的特征细节结合起来，解耦头部运动与面部表情，并设计基于相空间运动轨迹的时序分析方法，主要包括：
2.根据权利要求1所述的一种基于三维时空轨迹的深度伪造视频检测方法，其特征在于，所述三维时空特征构建模块，通过鲁棒三维模型...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。