【技术实现步骤摘要】
本专利技术属于人工智能，具体涉及一种基于伪影检测的深度伪造视频检测方法。
技术介绍
1、随着计算机硬件的革命和深度学习的快速发展，计算机图形学和人工智能算法取得了巨大的进展。这一技术演进的结果之一是深度伪造视频技术，代表性的便是"deepfake"。这一技术利用深度学习和人工智能技术，能够合成以前无法想象的伪造视频内容。在这些深度伪造视频中，人们的脸部或声音可以被替换成其他人的，或者被嵌入到虚构的场景中，这种程度的逼真度常常让人难以辨别真伪。然而，正是这一技术的快速崛起引发了广泛的担忧。深度伪造视频可以被滥用于虚假信息的传播，如伪造政治演讲或虚构新闻事件，它还可能用于欺诈、社交工程、诈骗等不道德用途。这为数字媒体的真实性和可信度带来了严重威胁。观众可能会误以为虚构的事件或言论是真实的，这不仅损害了新闻媒体的信誉，也可能导致社交媒体平台上的虚假信息泛滥，进一步加大了信息的不确定性。
2、中国专利申请号202310626199.8公开了一种基于生物信号和时空信号的深度伪造视频，处理方法为：首先对视频进行人脸识别，将视频裁剪对齐生成人脸视频，从视频中提取视频帧和绿色通道的rppg信号，将这两种数据分别输入到三维残差网络和二维卷积神经网络中训练基学习器，最后基于stacking策略构建多模态融合鉴伪的集成模型，输出鉴伪结果。该专利申请基于stacking策略构建多模态融合鉴伪的集成模型，利用三维残差网络中的三维卷积核学习视频时序信息，用池化层学习空间信息，并提取视频中难以被伪造的生物信号，辅助鉴伪。但是该专利申请的模型在训练
技术实现思路
1、有鉴于此，本专利技术提供了一种基于伪影检测的深度伪造视频检测方法，以解决现有伪造视频检测模型在训练时仅依赖于已经标注好的公开人脸数据集，样本数量、样本伪造类型都受到限制，从而会影响模型的泛化性能，大大降低了伪造视频的检测准确率的问题。
2、本专利技术采用的技术方案如下：
3、一种基于伪影检测的深度伪造视频检测方法，包括以下步骤：
4、步骤1：获取真实样本集内的图片s，识别图片s内人物的人脸，并检测人物的面部关键点；
5、所述步骤1具体包括以下步骤：
6、步骤1.1：得到真实样本集内的图片s；
7、步骤1.2：识别图片s内的人脸信息，提取人脸的hog特征信息，并结合svm算法进行目标检测，针对其中的每一个人脸得到n个人脸面部关键点。
8、其中，hog特征是通过计算图像局部区域的梯度方向直方图来获得的；对于每个细胞c，计算其梯度的幅值m和方向θ，然后将其量化到n个方向区间；每个细胞的特征向量fc可以表示为：其中fc,i是第i个方向区间内的梯度幅值之和；
9、其中，svm算法将特征向量映射到高维空间t中，并找到可以将两类数据分隔开的最优超平面w·x+b＝0，从而精准检测人脸面部关键点；
10、步骤1.3：针对其中的每一个人脸得到n个人脸面部关键点。
11、步骤2：根据步骤1中识别得到的关键点，裁剪提取图片s内人物的面部区域并进行高斯模糊后，放回源图片中得到合成的伪造人脸样本；
12、所述步骤2具体包括以下步骤：
13、步骤2.1：根据步骤1中得到的人脸面部关键点，计算人脸范围，如下式所示：
14、width＝right-left,height＝bot-top
15、其中left、right、top、bot分别为关键点中的左、右顶点横坐标，上、下顶点纵坐标；
16、步骤2.2：根据步骤2.1计算得到的人脸范围，对图片s进行裁剪并压缩到m个不同大小的分辨率等级，得到m张裁剪后的人脸图片；
17、步骤2.3：为保证数据多样性，在节省计算资源的前提下模拟不同深度伪造情景，在步骤2.2得到的m张人脸图片内随机抽取一张进行高斯模糊；
18、步骤2.4：将步骤2.3得到的高斯模糊后的图像经过放射扭曲放回原图片s中，得到伪造负样本s1。
19、步骤3:对步骤2得到的伪造人脸样本进行颜色更改、放射区域变换操作实现伪造人脸样本数据增广，得到最终的伪造人脸样本集；
20、所述步骤3具体包括以下步骤：
21、步骤3.1：更改步骤2.4得到的伪造负样本s1中图片的颜色信息，得到多种伪造负样本s2，s3，s4…；
22、步骤3.2：将步骤3.1得到的多种伪造负样本经过放射扭曲合并回原图片的形状，得到更多伪造负样本sn…；
23、步骤3.3：将步骤2.4、步骤3.1、步骤3.2生成的伪造负样本合并，得到最终的伪造人脸样本集，与真实样本集组成训练数据。
24、步骤4：将真实样本集与步骤3最终得到的伪造人脸样本集输出到resnet50网络判别器中进行判断，迭代更新损失函数优化训练网络，得到最终的检测模型；
25、所述步骤4具体包括以下步骤：
26、步骤4.1：根据步骤3得到的训练数据，裁剪其中的感兴趣区域作为网络的输入roi；
27、步骤4.2：基于步骤1得到的人脸关键点得到roi区域为其中y0、x0、y1、x1为可覆盖完整人脸区域对应的最小边界坐标，分别是取自和内的随机数；
28、步骤4.3：根据步骤4.2定义的roi的区域裁剪人脸区域，并将视频压缩到224×224大小，并输入到卷积神经网络resnet50中使用难分样本挖掘策略训练优化网络,得到最终视频检测模型。
29、步骤5：对于待检测的视频v，将其输入到步骤4得到的检测模型中进行检测并得到最终的预测分数。
30、所述步骤5具体包括以下步骤：
31、步骤5.1：将待检测的视频v进行分帧得到(v1，v2...vn)，对每一帧图片vi进行识别，并检测其人脸关键点坐标信息；
32、步骤5.2：根据步骤5.1中得到的人脸关键点坐标计算人脸区域并裁剪m次，并压缩到统一大小224×224，横向拼接后输入到步骤4.4得到的视频检测模型进行检测，将所得预测分数求平均值得到当前帧图片vi的预测分数yi；
33、步骤5.3：根据步骤5.2中得到的每帧图片的预测分数(y1，y2...yn)，将所有预测分数降序排列去前三分之一的预测分数的均值作为当前视频v的预测分数u。
34、一种基于伪影检测的深度伪造视频检测系统，包括：
35、面部关键点获取模块：获取真实样本集内的图片s，识别图片s内人物的人脸，并检测人物的面部关键点；
36、伪造人脸样本制作模块：根据面部关键点获取模块得到的关键点，裁剪提取图片s内人物的面部区域并进行高斯模糊后，放回源图片中得到合成的伪造人脸样本；
37、最终的伪造人脸样本制作模块:对伪造人脸样本制作模块得到的伪本文档来自技高网...
【技术保护点】
1.一种基于伪影检测的深度伪造视频检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于伪影检测的深度伪造视频检测方法，其特征在于，所述步骤1具体包括以下步骤：
3.根据权利要求1所述的一种基于伪影检测的深度伪造视频检测方法，其特征在于，所述步骤2具体包括以下步骤：
4.根据权利要求3所述的一种基于伪影检测的深度伪造视频检测方法，其特征在于，所述步骤3具体包括以下步骤：
5.根据权利要求1所述的一种基于伪影检测的深度伪造视频检测方法，其特征在于，所述步骤4具体包括以下步骤：
6.根据权利要求1所述的一种基于伪影检测的深度伪造视频检测方法，其特征在于，所述步骤5具体包括以下步骤：
7.一种基于伪影检测的深度伪造视频检测系统，用以实现如权利要求1-6所述的基于伪影检测的深度伪造视频检测方法，其特征在于，包括：
【技术特征摘要】
1.一种基于伪影检测的深度伪造视频检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于伪影检测的深度伪造视频检测方法，其特征在于，所述步骤1具体包括以下步骤：
3.根据权利要求1所述的一种基于伪影检测的深度伪造视频检测方法，其特征在于，所述步骤2具体包括以下步骤：
4.根据权利要求3所述的一种基于伪影检测的深度伪造视频检测方法，其特征在于，所述步...
【专利技术属性】
技术研发人员：杨洋，常晋源，林晨，刘曼璐，王紫蕊，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。