视频中人物真伪的检测方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种视频中人物真伪检测方法、装置、电子设备及计算机存储介质，该方法包括：获取待检测视频；提取待检测视频中包含人物的视频关键帧和/或视频关键片段；基于视频关键帧和/或视频关键片段，采用至少两种真伪检测策略对待检测视频中的人物进行多模态信息的真伪检测，得到各检测策略对应的检测结果；基于各检测策略对应的检测结果，确定待检测视频中人物的真伪检测结果。在该方案中，从人物的语音信息、面部信息、肢体动作信息、以及至少两种真伪检测策略等多个维度进行人物真伪的检测，使得最终得到的真伪检测结果考虑了多个维度的因素对真伪检测结果的影响，进而使得真伪检测结果更准确。

【技术实现步骤摘要】
视频中人物真伪的检测方法、装置、电子设备及存储介质
本申请涉及多媒体数据处理
，具体而言，本申请涉及一种视频中人物真伪的检测方法、装置、电子设备及存储介质。
技术介绍
目前，视频中人脸识别技术已广泛应用于刑侦破案、门禁系统、摄像监视、网络应用、身份辨识、信息安全及娱乐应用等等；基于人脸识别技术的发展，越来越多的伪造技术应运而生，阻碍了人脸识别技术的发展。现有技术中，虽然目前已有很多关于视频中人物真伪检测的方法，但是，通过现有检测算法的检测结果不理想，因此，目前亟需提供一种准确的人物真伪检测方法。
技术实现思路
本申请实施例的主要目的在于提供一种视频中人物真伪检测方法、装置、电子设备及存储介质，通过本申请实施例的方案，能够提高人物真伪检测的准确性。第一方面，本申请实施例提供了一种视频中人物真伪检测方法，该方法包括：获取待检测视频；提取待检测视频中包含人物的视频关键帧和/或视频关键片段；基于视频关键帧和/或视频关键片段，采用至少两种真伪检测策略对待检测视频中的人物进行多模态信息的真伪检测，得到各检测策略对应的检测结果，其中，多模态信息包括语音信息、面部信息和肢体动作信息中的至少两项；基于各检测策略对应的检测结果，确定待检测视频中人物的真伪检测结果。第二方面，本申请提供了一种视频中人物真伪检测装置，该装置包括：视频获取模块，用于获取待检测视频；视频处理模块，用于提取待检测视频中包含人物的视频关键帧和/或视频关键片段；<br>人物真伪检测模块，用于基于视频关键帧和/或视频关键片段，采用至少两种真伪检测策略对待检测视频中的人物进行多模态信息的真伪检测，得到各检测策略对应的检测结果，其中，多模态信息包括语音信息、面部信息和肢体动作信息中的至少两项；检测结果确定模块，用于基于各检测策略对应的检测结果，确定待检测视频中人物的真伪检测结果。第三方面，本申请实施例提供了一种电子设备，电子设备包括处理器和存储器；存储器中存储有可读指令，可读指令由处理器加载并执行时，实现如上述第一方面的任一可选实施例中所示的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，存储介质中存储有可读指令，可读指令由处理器加载并执行时，实现如上述第一方面的任一可选实施例中所示的方法。本申请实施例提供的技术方案带来的有益效果是：本申请实施例所提供的视频中人物真伪检测方法、装置、电子设备及计算机存储介质，在对待检测视频中人物的真伪进行检测时，先提取待检测视频中包含人物的视频关键帧和/或视频关键片段，然后基于视频关键帧和/或视频关键片段，采用至少两种真伪检测策略对待检测视频中的人物进行多模态信息真伪检测，这样可以从至少两个维度对多模态信息进行真伪检测，得到各检测结果对应的检测结果，并且，多模态信息可以反应出人物不同维度的特点，这样还可以从人物的语音信息、面部信息、肢体动作信息等多个维度进行人物真伪的检测，使得最终得到的真伪检测结果考虑了多个维度的因素对真伪检测结果的影响，进而使得真伪检测结果更准确。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。图1示出了本申请实施例中提供的一种视频中人物真伪检测方法的流程示意图；图2示出了本申请实施例中提供的一种检测模型的示意图；图3示出了本申请实施例中提供的一示例中一种视频中人物真伪检测流程示意图；图4示出了本申请实施例中提供的一示例中一种检测模型的反馈和更新流程示意图；图5示出了本申请实施例中提供的一示例中一种视频中人物真实性检测平台的系统架构图；图6示出了本申请实施例中提供的一种视频中人物真伪检测装置的结构示意图；图7示出了本申请实施例中提供的一种电子设备的结构示意图。具体实施方式为使得本申请的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面详细描述本申请的实施例，该实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。首先，为了更好的理解及说明本申请实施例的方案，下面对本申请实施例中所涉及到的一些技术用语进行简单说明。神经网络(NeuralNetwork，NN)：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。在现有技术中，基于视频伪造技术的发展，检测伪造视频的技术也随之发展起来，目前，视频伪造技术的种类非常丰富，比如，视频换脸，面部表情操纵，口型操纵，语音伪造等，通过视频伪造技术伪造过的视频，可以伪造人物的面部特征，模仿人的行为举止、声音和习惯动作等，现有的伪造视频检测技术很难分辨出其中人物的真假。现有的伪造视频检测技术，通常可以分为两个方向：基于假图像检测和假视频检测。但是，无论哪个方向的检测技术，都得不到理想的检测效果。因此，目前急需探索更为准确度的伪造视频检测算法。为了提升检测伪造视频的准确率，目前主要是基于图像中人物的单点信息(伪造痕迹)，对视频中的人物进行真伪检测，如果图像中包含伪造痕迹，则表明该视频是被伪造的，即基于图像中一个维度的信息，对视频中的人物进行真伪检测，该单点信息可以为面部伪造信息、语音伪造信息、肢体动作伪造信息中的任一项。本申请专利技术人经分析发现，上述方案至少存在以下问题：上述方案是基于图像中单点信息进行检测，即仅基于图像中一个维度的信息，对视频中的人物进行真伪检测，仅基于单点信息不能准确检测出人物的真伪。针对现有技术中存在的上述技术问题，本申请实施例提出了一种视频中人物真伪检测方法，该方法能够在对待检测视频中人物的真伪进行检测时，基于待检测视频中所包含的人物的多模态信息，采用至少两种真伪检测策略对待检测视频中的人物进行人物真伪本文档来自技高网...

【技术保护点】
1.一种视频中人物真伪检测方法，其特征在于，包括：/n获取待检测视频；/n提取所述待检测视频中包含人物的视频关键帧和/或视频关键片段；/n基于所述视频关键帧和/或所述视频关键片段，采用至少两种真伪检测策略对所述待检测视频中的人物进行多模态信息的真伪检测，得到各检测策略对应的检测结果，其中，所述多模态信息包括语音信息、面部信息和肢体动作信息中的至少两项；/n基于所述各检测策略对应的检测结果，确定所述待检测视频中人物的真伪检测结果。/n

【技术特征摘要】
1.一种视频中人物真伪检测方法，其特征在于，包括：
获取待检测视频；
提取所述待检测视频中包含人物的视频关键帧和/或视频关键片段；
基于所述视频关键帧和/或所述视频关键片段，采用至少两种真伪检测策略对所述待检测视频中的人物进行多模态信息的真伪检测，得到各检测策略对应的检测结果，其中，所述多模态信息包括语音信息、面部信息和肢体动作信息中的至少两项；
基于所述各检测策略对应的检测结果，确定所述待检测视频中人物的真伪检测结果。


2.根据权利要求1所述的方法，其特征在于，所述至少两种真伪检测策略包括静态人物真伪检测策略，语音真伪检测策略，动态人物真伪检测策略和多模态信息一致性检测策略中的至少两种。


3.根据权利要求1所述的方法，其特征在于，所述基于所述视频关键帧和/或所述视频关键片段，采用至少两种真伪检测策略对所述待检测视频中的人物进行多模态信息的真伪检测，得到各检测策略对应的检测结果是通过检测模型实现的，所述方法还包括：
对已经检测完成的历史视频的真伪检测结果进行存储；
基于所述历史视频和所述历史视频的真伪检测结果，对所述检测模型进行更新；
其中，更新包括模型结构和模型参数中至少一项的更新。


4.根据权利要求1至3中任一项所述的方法，其特征在于，所述真伪检测结果包括视频是伪造视频或不是伪造视频，若所述待检测视频是伪造视频，所述方法还包括：
基于所述各检测策略对应的检测结果，确定所述待检测视频的伪造方式；
其中，所述真伪检测结果还包括所述伪造方式。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述伪造方式，确定所述伪造方式在所述待检测视频中对应的原始信息；
其中，所述真伪检测结果还包括所述伪造方式在所述待检测视频中对应的原始信息。


6.根据权利要求1至3中任一项所述的方法，其特征在于，若人物真伪的检测是针对特定人物的检测，所述提取所述待检测视频中包含人物的视频关键帧和/或视频关键片段，包括：
对所述待检测视频进行特定人物检测；
若所述待检测视频为包含特定人物的视频，则提取所述待检测视频中包含人物的视频关键帧和/或视频关键片段；
若所述待检测视频为不包含...

【专利技术属性】
技术研发人员：柏炎，张有才，常杰，危夷晨，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11