基于深度伪造视频检测的模型的评价方法及系统技术方案

本发明专利技术特别涉及一种基于深度伪造视频检测的模型的评价方法，包括如下步骤：S100、将待评分模型导入；S200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；S300、将样本集输入待评分模型中进行真伪识别；S400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值P1；S500、根据测量值P1进行自动评分得到待评分模型的得分并输出。本发明专利技术可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；还可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。

【技术实现步骤摘要】
基于深度伪造视频检测的模型的评价方法及系统
本专利技术涉及深度伪造视频检测
，特别涉及一种基于深度伪造视频检测的模型的评价方法及系统。
技术介绍
深度伪造（Deepfake）技术不仅能实现换脸，更可以创造出现实不存在的人物。通过该技术在理论上可以制作出指定任何人、说任何话、做任何事的虚假音视频。尽管深度伪造技术有其积极的一面,如在电影制作中创建虚拟角色、声音模拟;“复活”历史人物或已逝的亲朋好友等。但恶意的深度伪造内容可以用于误导舆论、扰乱社会秩序,甚至可能会干预政府选举和颠覆国家政权,已成为当前新一轮信息战的武器,给国家网络安全、数据安全、信息安全和国防安全带来了巨大威胁。因此发展深度伪造检测检测技术是关系到国家信息安全的大事，目前各企业各科研机构和院校正在集中力量进行这方面的研究。但是如何相对客观的评价各个团队研发出来的深度伪造检测模型在真实场景下的检测能力水平高低，如何从中筛选出高价值模型应用到实战中服务于国家安全的防御，这个在目前市面上并没有一个比较有效的手段和方法。通常的做法是各个团队通过一些开放的或私有的局部样本集来训练和测试自己的模型，然后对比准确率得出模型的能力，比如名称为《深度伪造图像检测方法及装置》（申请号：202011352811.X）和名称为《基于时序不一致性的深度伪造视频检测方法及系统》（申请号：202011417127.5）的专利。实战中所需要的模型往往是一些泛化性较高的模型，能够对大部分的深度伪造视频进行有效的检测和拦截。但是目前的深度伪造视频的检测模型的性能和能力评价一般是由模型研究者在有限的特定样本集或特定的场景下的通过logloss等算法评估出来的。这样评估出来的模型能力在实际应用场景中的效果和能力无法得到较为客观的评价，且无法与其他算法进行对比或有效协同，使得最终模型的实际落地应用意义大为降低。
技术实现思路
本专利技术的首要目的在于提供一种基于深度伪造视频检测的模型的评价方法，可以方便的对待测模型进行评分。为实现以上目的，本专利技术采用的技术方案为：一种基于深度伪造视频检测的模型的评价方法，包括如下步骤：S100、将待评分模型导入；S200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；S300、将样本集输入待评分模型中进行真伪识别；S400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值P1；S500、根据测量值P1进行自动评分得到待评分模型的得分并输出。与现有技术相比，本专利技术存在以下技术效果：通过建立公共的视频样本库，提供丰富的模拟现实场景视频数据集来测评深度伪造检测模型的能力水平，一方面可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；另一方面可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。本专利技术的另一个目的在于提供一种基于深度伪造视频检测的模型的评价系统，可以方便的对待测模型进行评分。为实现以上目的，本专利技术采用的技术方案为：一种基于深度伪造视频检测的模型的评价系统，包括视频样本库、智能检测评分模块以及任务智能调度模块；所述的视频样本库中存储有视频以及该视频的真伪标记；任务智能调度模块对自动评分的任务进行设置，且从视频样本库中抽样出指定数量样本的样本集并执行评分任务的调度工作；智能检测评分模块预设评价指标并根据任务执行结果依照步骤S100-S500自动计算模型得分。与现有技术相比，本专利技术存在以下技术效果：通过建立公共的视频样本库，提供丰富的模拟现实场景视频数据集来测评深度伪造检测模型的能力水平，一方面可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；另一方面可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。附图说明图1是本专利技术的系统架构图；图2是本专利技术运行流程图；图3是视频样本库的抽样流程图；图4是本专利技术的评分流程图。具体实施方式下面结合图1至图4，对本专利技术做进一步详细叙述。本专利技术公开了一种基于深度伪造视频检测的模型的评价方法，包括如下步骤：S100、将待评分模型导入；S200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；S300、将样本集输入待评分模型中进行真伪识别；S400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值P1；S500、根据测量值P1进行自动评分得到待评分模型的得分并输出。通过建立公共的视频样本库，提供丰富的模拟现实场景视频数据集来测评深度伪造检测模型的能力水平，一方面可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；另一方面可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。参阅图4，由于视频样本库中的样本非常多，所以我们上面需要从库中随机挑出指定数量的样本，考虑到样本挑选的随机性，当挑选不同的样本时，所得到的评分也会有所差异，为了让评分结果更加稳定可靠，本案中优选地，引入了评分校正流程，具体步骤如下：内置一个参考模型，步骤S300和S400中，同时将样本输入参考模型中得到参考模型的测量值P0，步骤S500中，待评分模型的得分等于a+k*(b-a)*(P1-P0)/P0，式中：k为激励系数，分别表示该项评价指标是正激励还是负激励，分别用1和-1来表示，正激励即测量值越大评分越高，负激励即测量值越小评分越高，以检测速度为例，检测时间越小，模型的评分应当越高，此时P1-P0为负值，故此时的k取-1，其为负激励。这里的a为参考模型的预设分值，b为得分的满分数值，参考模型可以用更多的样本进行更充分的检测，这样就可以对参考模型的实际能力有更加直观的判断，然后根据参考模型的表现为其分配一个预设分值，这个分值a相当于一个参考基准，以后所有其他的待评分模型的评分都是根据该基准来的，如果待评分模型比参考模型的的测量值更优，其评分就高于a，如果待评分模型比参考模型的测量值更劣势，其评分就低于a，这样最后对所有模型进行的评分更具参考价值，最重要的是，该评分结果不会随着样本集的不同而产生较大差异，这样就可以保证评分结果浮动小、更具参考价值。当然，这里的参考模型可以不止一个，我们可以设置多个参考模型，并为每个参考模型都设置一个预设分值，然后我们针对每个参考模型都可以为待评分模型进行打分，最后将所有打分求均值也可以实现更为合理的打分。对于待评分模型来说，我们一般有几个维度来对其进行评价，故本案中优选地，所述的测量值包括检测速度、检测正确率、假阳率、假阴率中的一种或多种，智能检测评分模块输出的是每项得分和/或多项得本文档来自技高网...

【技术保护点】
1.一种基于深度伪造视频检测的模型的评价方法，其特征在于：包括如下步骤：/nS100、将待评分模型导入；/nS200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；/nS300、将样本集输入待评分模型中进行真伪识别；/nS400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值P1；/nS500、根据测量值P1进行自动评分得到待评分模型的得分并输出。/n

【技术特征摘要】
1.一种基于深度伪造视频检测的模型的评价方法，其特征在于：包括如下步骤：
S100、将待评分模型导入；
S200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；
S300、将样本集输入待评分模型中进行真伪识别；
S400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值P1；
S500、根据测量值P1进行自动评分得到待评分模型的得分并输出。


2.如权利要求1所述的基于深度伪造视频检测的模型的评价方法，其特征在于：内置一个参考模型，步骤S300和S400中，同时将样本输入参考模型中得到参考模型的测量值P0，步骤S500中，待评分模型的得分计算公式为：a+k*(b-a)*(P1-P0)/P0，式中：k为激励系数，分别表示该项评价指标是正激励还是负激励，分别用1和-1来表示，a为参考模型的预设分值，b为得分的满分数值。


3.如权利要求2所述的基于深度伪造视频检测的模型的评价方法，其特征在于：所述的测量值包括检测速度、检测正确率、假阳率、假阴率中的一种或多种，智能检测评分模块输出的是每项得分和/或多项得分加权平均后的最终得分。


4.如权利要求3所述的基于深度伪造视频检测的模型的评价方法，其特征在于：所述的参考模型得分a取值为[50,90]，满分数值b等于100，测量值包括检测速度、检测正确率、假阳率、假阴率四种且它们对应的k分别为-1、1、-1、-1。


5.如权利要求4所述的基于深度伪造视频检测的模型的评价方法，其特征在于：所述智能检测评分模块输出的是多项得分加权平均后的最终得分，检测速度、检测正确率、假阳率、假阴率对应的权值分别是10%、60%、10%、20%。


6.如权利要...

【专利技术属性】
技术研发人员：田辉，彭胜聪，
申请(专利权)人：合肥高维数据技术有限公司，
类型：发明
国别省市：安徽;34