一种共享可更新的Deepfake视频内容监管方法及系统技术方案

本发明专利技术涉及一种共享可更新的Deepfake视频内容监管方法及系统，其方法包括：步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型；步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据；步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新。本发明专利技术可以实现Deepfake视频内容检测方法的共享，并对其进行持续性更新，有效消除了Deepfake视频数据集样本不平衡问题，解决了过拟合问题，从而提高了内容监管模型的泛化能力。力。力。

【技术实现步骤摘要】
一种共享可更新的Deepfake视频内容监管方法及系统


[0001]本专利技术涉及机器学习和互联网内容监管领域，具体涉及一种共享可更新的Deepfake视频内容监管方法及系统。

技术介绍

[0002]随着人工智能技术的发展，基于深度学习的深度伪造技术日趋成熟，通过多媒体篡改工具可以对视频中的人脸进行随意的篡改，并且几乎无法被肉眼察觉。伴随着短视频新型内容的传播方式的兴起，Deepfake视频传播速度加快、传播范围增大，可能被利用从事危害国家安全、侵犯他人合法权益等法律法规禁止的活动，对社会稳定造成不良影响。2019年12月，国家互联网信息办公室、文化和旅游部、国家广播电视总局联合印发《网络音视频信息服务管理规定》，规定强调“网络音视频信息服务提供者应当部署应用非真实音视频鉴别技术，发现音视频信息服务基于深度学习、虚拟现实等的虚假图像、音视频生成技术制作、发布、传播信息内容的，应采取警示整改、限制功能、暂停更新、关闭账号等处置措施，保存有关记录，并向网信、文化和旅游、广播电视等部门报告”。因此，网络音视频信息中存在的Deepfake视频成为互联网内容监管中不可或缺的重要部分。
[0003]目前，深度伪造人脸检测技术主流的研究方向大致分为两类：基于视频帧帧内差异的检测方法与基于视频帧帧间差异的检测方法。基于帧内差异的检测方法着重于从人脸面部的细节特征差异出发，而忽略了深度伪造视频的上下文信息；基于视频帧间差异的检测方法依赖于提取的关键帧数量，如果视频过短则检测效果大幅下降。同时，因未考虑到深度伪造生成技术也在不断地更新升级，当前已有的检测方法依赖特定的数据集和生成算法，当新的Deepfake视频内容来源于新型的深度伪造技术或者不包含特定数据集的样本时，部分检测方法准确率会降低甚至检测方法失效，即模型出现过拟合问题。
[0004]因此，在互联网环境下图像质量存在较大差异的现实境况，除了考虑内容监管模型检测准确率与检测效率，如何提高模型的泛化能力也成为Deepfake视频检测的重要研究方向。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种共享可更新的Deepfake视频内容监管方法及系统。
[0006]本专利技术技术解决方案为：一种共享可更新的Deepfake视频内容监管方法，包括：
[0007]步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；
[0008]步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型；
[0009]步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据；
[0010]步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新。
[0011]本专利技术与现有技术相比，具有以下优点：
[0012]1、本专利技术利用片段的方法提取视频的关键帧，基于直方图差异进行边缘检测后，通过二次筛选进行自适应阈值的边界帧的判断，并依据片段内帧的变化程度来决定关键帧的数量；进而对关键帧进行人脸识别并裁剪出正方形人脸图像，从而在信息噪声较大的视频数据中获取集合程度更高的人脸图像样本。
[0013]2、本专利技术公开了一种Deepfake视频内容监管方法，利用图像空域特征与频域特征的互补性，通过离散傅里叶变换与n级小波变换提取训练样本的多维空域特征与一维频域特征级联融合为多维全局纹理特征，输入SVM分类模型进行训练，从而得到特征可解释程度高、检测准确率高且检测效率较快的初始内容监管模型。
[0014]3、本专利技术一种共享可更新的Deepfake视频内容监管方法，利用区块链技术提供的一种去中心化、不可篡改、可追溯的架构，通过动态截止时间和依据上传时间瓜分押金规则建立有效的激励机制激励样本贡献者贡献正确数据样本，减少恶意攻击者上传错误样本。收集的样本用于训练当前的内容监管模型，并且每次更新后的内容监管模型在区块链上进行公开共享。从而解决了传统机器学习模型易产生的过拟合问题，并得到泛化程度高的内容监管模型。
附图说明
[0015]图1为本专利技术实施例中一种共享可更新的Deepfake视频内容监管方法的流程图；
[0016]图2为本专利技术实施例中一种共享可更新的Deepfake视频内容监管方法的结构示意图；
[0017]图3为本专利技术实施例中一种共享可更新的Deepfake视频内容监管方法中步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本的流程图；
[0018]图4本专利技术实施例中一种共享可更新的Deepfake视频内容监管方法中步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型的流程图；
[0019]图5本专利技术实施例中一种共享可更新的Deepfake视频内容监管方法中步骤S3：利用激励机制收集新的Deepfake视频数据，对有效的视频数据提取人脸图像，得到新的训练样本的流程图；
[0020]图6本专利技术实施例中激励机制的流程图；
[0021]图7本专利技术实施例中一种共享可更新的Deepfake视频内容监管方法中步骤S4：收集样本数据数量达到阈值后，对初始的内容监管模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新的流程图；
[0022]图8本专利技术实施例中一种共享可更新的Deepfake视频内容监管系统的结构框图。
具体实施方式
[0023]本专利技术提供了一种共享可更新的Deepfake视频内容监管方法及系统，首先对样本
视频进行操作预处理，过滤筛选后得到集合程度更高的正方形人脸图像样本，预处理数据集质量的提高有利于内容监管模型的训练；其次，利用图像空域与频域的互补性建立全局图像纹理特征，使得训练建立的初始内容监管模型的准确率得到提高。同时，现有的深度伪造技术的不断发展，Deepfake视频数据集本身存在样本不平衡的问题，本专利技术针对内容监管模型易产生的过拟合问题，提供了一种共享可更新架构，在构建的激励机制的运作下，正确的新的样本的不断补充训练有效提高了内容监管模型的泛化能力。
[0024]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0025]实施例一
[0026]如图1、图2所示，在一个实施例中，本专利技术实施例提供的一一种共享可更新的Deepfake视频内容监管方法，包括下述步骤：
[0027]步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；
[0028]步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型；
[0029]步骤S3：基于区块链技术建立共享可更新策略，并设计激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种共享可更新的Deepfake视频内容监管方法，其特征在于，包括：步骤S1：将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本；步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型；步骤S3：基于区块链技术建立共享可更新策略，并设计激励机制收集新的有效的Deepfake视频数据；步骤S4：收集样本数量达到阈值后，对初始模型进行更新训练，更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新。2.根据权利要求1所述的共享可更新的Deepfake视频内容监管方法，其特征在于，所述步骤S1，将Deepfake视频输入预处理模块，提取视频关键帧并截取人脸图像作为训练样本，包括：步骤S11：将样本视频逐帧进行直方图绘制，并按照下述公式(1)计算帧与帧之间的差值保存为D；其中，d(i)表示为图像的直方图数据，i表示为当前帧内的像素块序号，k表示为帧内的像素块总数量，p，q表示为视频图像相邻帧帧序号；步骤S12：依据两次筛选进行自适应阈值的边界帧的判断。首先，设定窗口重叠次数为3，其中窗口大小为13帧，步长为10。定义M帧为当前窗口内D最大的帧，并应同时满足与上一个M帧的距离大于最小片段长度；其次，M帧应同时满足下述公式(2)，match(M)＝true时，表示当前M帧为片段边界帧；示当前M帧为片段边界帧；其中，M
′
表示为当前帧的上一M帧，表示为两个帧之间帧的D的平均值，Multiplier被定义为预设期望倍数；步骤S13：依据视频中边界帧划分片段，并计算所有片段内的帧的找出片段内帧的D大于平均值的倍数的帧标记为关键帧，否则选择片段的中间帧作为关键帧；步骤S14：对关键帧基于CNN网络shape_predictor_68_face_landmarks进行人脸识别，并裁剪调整出入脸及周边正方形区域作为训练样本数据。3.根据权利要求2所述的共享可更新的Deepfake视频内容监管方法，其特征在于，所述步骤S2：提取训练样本的空域与频域特征，将特征信息输入SVM分类模型进行训练，得到初始的内容监管模型，包括：步骤S21：对训练样本M*N按照二维离散傅里叶变换计算表示二维功率谱，并将其定义
为P(u，v)；其次，将二维的傅里叶频谱图按照从低频到高频的顺序，由内向外划分为K个区间，依据公式(3)计算第i个矩形环内累加和。并按照公式(4)进行归一化处理，其结果为训练样本的频域特征；练样本的频域特征；其中，ζ
i
表示第i个矩形环内能量，Ψ
i
表示第i个矩形环内能量与总能量之比。因此，图像的二维频谱图能量特征向量定义为ζ
f
＝[ζ1，ζ2，...，ζ
K
]，频谱图能量占比特征向量定义为Ψ
f
＝[Ψ1，Ψ2，...，Ψ
K
]；步骤S22：对训练样本M*N进行n级小波分解得到样本图像小波特征值，并依据每个特征值的频带信号进行分析，每个参数表示为一个特征向量空间，各参数值的维数即HSV空间的维数，即该特征空间的基，最终提取得到图像HSV模型的多维小波特征向量。依据公式(5)计算所有子带系数得到均值、方差和偏斜度，其结果为训练样本的空域特征；其中μ，σ，ω分别表示全部子带系...

【专利技术属性】
技术研发人员：毛典辉，赵爽，郝治昊，李海生，左敏，蔡强，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：