【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于深度学习的人脸伪造的检测方法、介质及设备。
技术介绍
1、近年来，恶意技术的一个分支——deepfakes，引起了广泛关注，deepfakes技术将目标人脸从原始视频中提取出来，并移植到其他视频中，从而导致版权侵犯、信息失真，甚至引发公众恐慌等严重后果。
2、在直播市场监管与mcn机构的自监管中，人脸视频的造假检测是一个备受关注的研究领域，但大部分工作仍集中在基于单帧图像的方法上。尽管取得了一定的进展，但这些方法在应对未知伪造技术或难以预料的伪造视频时存在一定的局限性。为了克服这些限制，研究者们提出了一些创新的技术方案来改进人脸伪造检测的性能。
3、一种新颖的图像表示方法由lingzhi li等人提出，称为“面部x射线”，用于检测伪造的面部图像。该方法通过揭示图像是否可分解为来自不同来源的两个图像的混合来实现伪造检测。它通过显示伪造图像的混合边界和真实图像的混合缺失来提供可靠的判别依据。然而，该方法在面对未知伪造技术或难以预料的情况下的伪造视频检测时表现不佳，仍需进一步改进。
4、另一方面，xin yang等人提出了一种基于外部标志和中心标志的方法，用于构建头部和面部方向，并检测它们之间的不一致性。然而，这些方案仍然依赖于手动选择的特征，其辨别能力有限，从而限制了它们在复杂场景下的性能。
5、为了提高人脸伪造检测的性能，russell spivak等人提出了一个框架，利用卷积神经网络（cnn）从每一帧中提取特征，并使用长短期记忆网络（lstm
6、综上所述，人脸伪造检测领域需要更具创新性和鲁棒性的方法来应对不断演进的伪造技术和复杂场景的挑战。未来的研究方向包括探索更高级的特征表示方法、设计更智能的模型来捕捉伪造视频中的时序信息等，以进一步提升人脸伪造检测技术的性能和可靠性。
技术实现思路
1、为了解决
技术介绍
中提到的至少一个技术问题，本专利技术的目的在于提供一种基于深度学习的人脸伪造的检测方法、介质及设备，可以实现充分利用视频中的时序信息来检测人脸伪造，提高了人脸伪造检测的准确性。
2、为实现上述目的，本专利技术提供如下技术方案：
3、第一方面，本专利技术实施例提供了一种基于深度学习的人脸伪造检测方法，包括：
4、s101，将待分类视频的每一视频帧进行人脸检测，从包含人脸图像的视频帧中获取面部标志点定位信息；
5、s102，将所述面部标志点定位信息，按时间顺序存储为面部标志序列；
6、s103，根据所述面部标志序列，生成第一特征序列和第二特征序列，其中，所述第一特征序列用于表征面部的静态特征，所述第二特征序列用于表征面部的动态特征；
7、s104，分别将所述第一特征序列和所述第二特征序列输入到深度学习模型中进行预测，得到第一伪造概率和第二伪造概率，基于第一伪造概率和第二伪造概率的平均数来确定预测标签；若所述平均数大于预设阈值，则判定所述待分类视频为人脸伪造视频；若所述平均数不大于预设阈值，则判定所述待分类视频为真实视频；其中，所述深度学习模型为使用多个视频经过机器学习训练得到的，所述多个视频包括真实的视频和虚假的视频。
8、进一步的，获取面部标志点定位信息包括以下步骤：
9、对每一视频帧进行人脸检测；
10、从包含人脸的视频帧中提取人脸感兴趣区域；
11、在所述包含人脸的视频帧中，将人脸感兴趣区域裁剪下来，得到面部图像；
12、检测所述面部图像的面部标志点，并利用仿射变换将所述面部标志点定位到预设位置，得到面部标志点定位信息。
13、进一步的，在利用仿射变换将所述面部标志点定位到预设位置之后，还包括，
14、基于连续的两个视频帧中的面部标志点的移动，利用光流跟踪算法分析所述面部标志点的轨迹，得到面部标志点的视觉跟踪结果；
15、利用滤波算法将所述面部标志点的视觉跟踪结果和利用仿射变换定位的面部标志点的结果进行融合，得到面部标志点定位信息。
16、进一步的，所述滤波算法采用卡尔曼滤波算法。
17、进一步的，所述深度学习模型采用transformer模型。
18、第二方面，本专利技术实施例提供了另一种基于深度学习的人脸伪造检测方法，包括：
19、s201，将待分类视频分割成若干个视频片段，针对每个所述视频片段，对每一视频帧进行人脸检测，从包含人脸图像的视频帧中获取面部标志点定位信息；
20、s202，将所述面部标志点定位信息，按时间顺序存储为面部标志序列；
21、s203，根据所述面部标志序列，生成第一特征序列和第二特征序列，其中，所述第一特征序列用于表征面部的静态特征，所述第二特征序列用于表征面部的动态特征；
22、s204，分别将每个所述视频片段对应的第一特征序列和第二特征序列输入到深度学习模型中进行预测，得到每个所述视频片段的第一伪造概率和第二伪造概率，基于第一伪造概率和第二伪造概率的平均数来确定预测标签；其中，若所述平均数大于预设阈值，则所述预测标签为虚假，若所述平均数不大于预设阈值，则所述预测标签为真实；其中，所述深度学习模型为使用多个视频经过机器学习训练得到的，所述多个视频包括真实的视频和虚假的视频；
23、s205，判断所述待分类视频的所有所述视频片段对应的预测标签是否存在虚假，若存在虚假，则判定所述待分类视频为人脸伪造视频；若不存在虚假，则判定所述待分类视频为真实视频。
24、进一步的，所述若干个视频片段的时长相等。
25、进一步的，所述深度学习模型采用transformer模型。
26、第三方面，本专利技术实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的任一基于深度学习的人脸伪造检测方法。
27、第四方面，本专利技术实施例还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的任一基于深度学习的人脸伪造检测方法。
28、与现有技术相比，本专利技术的有益效果是：
29、从待分类视频中包含人脸的视频帧中获取面部标志点信息，按照时间顺序转换为面部标志序列，面部标志序列分为表征静态特征的第一特征序列和表征动态特征的第二特征序列，将第一特征序列和第二特征序列分别输入深度学习模型中检测，得到的两个伪造概率取平均数作为待分类视频的伪造概率，可以更细致地分析视频中的人脸图像内容，充分利用视频中的时序信息来检测人脸伪造，提高了人脸伪造检测的准确性；
30、将待分类视频分割为多个片段，并对每个片段本文档来自技高网...
【技术保护点】
1.一种基于深度学习的人脸伪造检测方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的人脸伪造检测方法，其特征在于，获取面部标志点定位信息包括以下步骤：
3.根据权利要求2所述的基于深度学习的人脸伪造检测方法，其特征在于，在利用仿射变换将所述面部标志点定位到预设位置之后，还包括，
4.根据权利要求3所述的基于深度学习的人脸伪造检测方法，其特征在于，所述滤波算法采用卡尔曼滤波算法。
5.根据权利要求1所述的基于深度学习的人脸伪造检测方法，其特征在于，所述深度学习模型采用Transformer模型。
6.一种基于深度学习的人脸伪造检测方法，其特征在于，包括：
7.根据权利要求6所述的基于深度学习的人脸伪造检测方法，其特征在于，所述若干个视频片段的时长相等。
8.根据权利要求6所述的基于深度学习的人脸伪造检测方法，其特征在于，所述深度学习模型采用Transformer模型。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8所述的方
10.一种终端设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8所述的方法。
...【技术特征摘要】
1.一种基于深度学习的人脸伪造检测方法，其特征在于，包括：
2.根据权利要求1所述的基于深度学习的人脸伪造检测方法，其特征在于，获取面部标志点定位信息包括以下步骤：
3.根据权利要求2所述的基于深度学习的人脸伪造检测方法，其特征在于，在利用仿射变换将所述面部标志点定位到预设位置之后，还包括，
4.根据权利要求3所述的基于深度学习的人脸伪造检测方法，其特征在于，所述滤波算法采用卡尔曼滤波算法。
5.根据权利要求1所述的基于深度学习的人脸伪造检测方法，其特征在于，所述深度学习模型采用transformer模型。
6.一种基于深度学...
【专利技术属性】
技术研发人员：张怀宇，何洋军，姜励，刘璐，张捷，
申请(专利权)人：浙江省公众信息产业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。