伪造人脸视频检测方法和装置制造方法及图纸

本申请涉及一种伪造人脸视频检测方法和装置。所述方法包括：从视频数据中提取视频帧序列，将视频帧序列输入预先训练的残差神经网络，提取视频帧序列对应的残差特征，将视频帧序列输入预先训练的边缘纹理神经网络，提取视频帧序列中的边缘纹理特征，将残差特征和所述边缘纹理特征进行特征融合，得到融合特征，将融合特征输入预先训练的二分类卷积神经网络，输出是否为伪造人脸的检测结果。采用本方法能够提高伪造人脸检测的准确率。

【技术实现步骤摘要】
伪造人脸视频检测方法和装置
本申请涉及深度学习
，特别是涉及一种伪造人脸视频检测方法和装置。
技术介绍
深度伪造人脸是利用生成对抗网络或者卷积神经网络等算法将目标对象的面部从源图像中转移到被模仿对象的视频上。随着人工智能算法的不断演进和用于深度伪造的真实数据越来越多，深度伪造产品只需要很少的训练就能实现大规模、自动化的面部交换，其逼真程度越来越高。在这些假视频中能够让人说现实中没有说过的话、做现实中没有做过的事，达到以假乱真的程度，冲击着人们“眼见为实”的传统认知。虽然深度伪造技术可以为商业发展、影视创作、医疗行业等领域提供了新的发展空间，但鉴于其以假乱真的技术本质，深度伪造人脸技术对于国家安全将带来巨大挑战，所以自动检测视频中的深度伪造人脸意义重大。然而，与传统的人工修图不同，深度伪造人脸基本上可以做到了无痕迹，视频中深度伪造人脸的智能检测仍然存在诸多需要攻克的技术难点。现有的深度伪造人脸视频检测方法可以通过五官、眨眼频率等细微特征将伪造人脸分辨出来，加州大学伯克利分校和南加州大学的研究团队设计一种软生物识别模型对深度伪造人脸的本文档来自技高网...

【技术保护点】
1.一种伪造人脸视频检测方法，所述方法包括：/n从视频数据中提取视频帧序列；/n将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧序列对应的残差特征；/n将所述视频帧序列输入预先训练的边缘纹理神经网络，提取所述视频帧序列中的边缘纹理特征；/n将所述残差特征和所述边缘纹理特征进行特征融合，得到融合特征；/n将所述融合特征输入预先训练的二分类卷积神经网络，输出是否为伪造人脸的检测结果。/n

【技术特征摘要】
1.一种伪造人脸视频检测方法，所述方法包括：
从视频数据中提取视频帧序列；
将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧序列对应的残差特征；
将所述视频帧序列输入预先训练的边缘纹理神经网络，提取所述视频帧序列中的边缘纹理特征；
将所述残差特征和所述边缘纹理特征进行特征融合，得到融合特征；
将所述融合特征输入预先训练的二分类卷积神经网络，输出是否为伪造人脸的检测结果。


2.根据权利要求1所述的方法，其特征在于，所述从视频数据中提取视频帧序列，包括：
设置帧提取的帧间隔以及提取的视频帧数量；
以所述帧间隔，从所述视频数据中提取所述视频帧数量的视频帧，得到视频帧序列。


3.根据权利要求1所述的方法，其特征在于，将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧序列对应的残差特征，包括：
将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧序列对应的残差特征；所述残差特征为二维特征矩阵序列；所述二维特征矩阵序列的大小与所述视频帧序列相同。


4.根据权利要求1所述的方法，其特征在于，将所述视频帧序列输入预先训练的边缘纹理神经网络，提取所述视频帧序列中的边缘纹理特征，包括：
将所述视频帧序列输入预先训练的边缘纹理神经网络，分别对所述视频帧序列进行卷积和下采样操作，得到深度特征；
对所述深度特征分别进行卷积和上采样操作，得到人脸边缘的边缘纹理特征；其中，上采样和下采样均是通过采样窗口实现。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述残差特征和所述边缘纹理特征均为二维矩阵；
将所述残差特征和所述边缘纹理特征进行特征融合，得到融合特征，包括：
将所述残差特征的二维矩阵和所述边缘纹理特征的二维矩阵进行融合，得到融合特征；所述融合特征为三维矩阵。


6.根据权利要求1至4任一项所述的方法，其特征在于，在将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧...

【专利技术属性】
技术研发人员：李硕豪，张军，周浩，蒋林承，雷军，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43