当前位置: 首页 > 专利查询>武汉大学专利>正文

一种深度伪造人脸逆向溯源方法及系统技术方案

技术编号:32465962 阅读:24 留言:0更新日期:2022-02-26 09:04
本发明专利技术公开了一种深度伪造人脸逆向溯源方法及系统,包括视频预处理、构建逆向映射网络及训练、梯度下降优化求解等。本发明专利技术考虑伪造模型未知和伪造模型已知这两种情况,分别采用基于逆向映射网络预测原始人脸、基于梯度下降优化求解原始人脸这两种方案,通过学习伪造人脸图像与原始人脸图像共享潜在空间中包含身份信息的隐码,将伪造人脸图像重构为具有原始人脸身份信息的溯源图像。本发明专利技术得到的溯源图像在视觉效果和身份特征两个方面都与原始人脸图像十分相似,具有较高的可信度,能解决实际应用场景中伪造人脸身份溯源的需求。实际应用场景中伪造人脸身份溯源的需求。实际应用场景中伪造人脸身份溯源的需求。

【技术实现步骤摘要】
一种深度伪造人脸逆向溯源方法及系统


[0001]本专利技术属于人工智能安全
,涉及一种深度伪造人脸逆向溯源方法及系统,具体涉及一种基于逆向映射网络及迭代优化的深度伪造人脸逆向溯源方法及系统。

技术介绍

[0002]深度伪造是一种基于深度学习等智能化方法创建或合成伪造内容(如图像、视频)的技术。近年来,深度伪造图像视频生成技术依托于深度学习,正在以前所未有的速度发展,不仅可以生成换脸图像、模仿真人说话的动作表情,还可以创造出现实中不存在的人物,真正意义上实现了“以假乱真”。恶意的深度伪造图像视频内容借助互联网快速传播,对个人隐私、社会和国家安全等造成了潜在威胁。以“深度伪造”为技术支撑的政治人物及公众人物的“换脸”视频恶搞事件层出不穷,在世界范围内引起广泛关注,并且对“当事人”造成了非常恶劣的影响。
[0003]现阶段对深度伪造技术的防御工作主要集中于真伪的判别。微软亚洲研究院提出给换脸图像做“X

Ray”,检测图像是否是合成图片,并指出合成的边界,兼备了识别和解释两种特性。Face X/>‑
Ra本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度伪造人脸逆向溯源方法,其特征在于,包括以下步骤:步骤1:收集伪造人脸

原始人脸图像对数据;步骤2:构建并训练从伪造人脸到原始人脸的逆向映射网络;所述逆向映射网络,整体由下采样路径和上采样路径构成,包括第一3
×
3卷积块、第二3
×
3卷积块、第三3
×
3卷积块、第四3
×
3卷积块、第五3
×
3卷积块、第六3
×
3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块、和1个1
×
1卷积块组成;所述第一3
×
3卷积块、第二3
×
3卷积块、第一下采样块、第二下采样块、第三下采样块、第四下采样块顺序连接,共同构成下采样路径,输入一张伪造人脸图像,经过下采样路径,得到包含原始人脸图像与伪造人脸图像共同身份信息的高维潜在特征;所述第四下采样块输出上采样后与所述第三下采样块输出进行拼接后输入所述第三3
×
3卷积块,所述第三3
×
3卷积块输出上采样后与所述第二下采样块输出进行拼接后输入所述第四3
×
3卷积块,所述第四3
×
3卷积块输出上采样后与所述第一下采样块输出进行拼接后输入所述第五3
×
3卷积块,所述第五3
×
3卷积块输出上采样后与所述第二3
×
3卷积块输出进行拼接后输入所述第六3
×
3卷积块,所述第六3
×
3卷积块输出输入所述1
×
1卷积块后输出,这个过程共同构成上采样路径,从包含原始人脸图像身份信息的高维潜在特征中重构出原始人脸图像;所述第一下采样块、第二下采样块、第三下采样块、第四下采样块均由一个2
×
2最大池化层和两个连续的3
×
3卷积块构成;所述第一3
×
3卷积块、第二3
×
3卷积块、第三3
×
3卷积块、第四3
×
3卷积块、第五3
×
3卷积块、第六3
×
3卷积块均由一个3
×
3卷积层、一个批归一化层和一个修正线性单元层构成;所述1
×
1卷积块由一个1
×
1卷积层、一个批归一化层和一个修正线性单元层构成;步骤3:若深度伪造模型未知,则将待溯源的伪造人脸图像输入训练好的逆向映射网络中,得到具有原始人脸图像身份信息的溯源图像;若深度伪造模型已知,则基于已知的深度伪造模型和初始人脸图像,得到预测的伪造人脸图像,并与给定的伪造人脸图像计算损失;通过梯度下降迭代优化该损失函数,求解伪造来源人脸图像。2.根据权利要1所述的深度伪造人脸逆向溯源方法,其特征在于,步骤1的具体实现包括以下子步骤:步骤1.1:将伪造人脸视频和原始人脸视频进行下采样,选取视频中从指定帧开始的、固定帧数间隔的帧图像,保持伪造人脸视频与其来源的原始人脸视频下采样得到的视频帧一一对应;步骤1.2:在步骤1.1获取的帧图像中检测人脸区域,裁剪人脸图像,提取面部特征点,包括眼睛、鼻子和嘴巴位置;通过面部特征点将面部对齐,使得对齐后的人脸位于图像中心;将处理后的人脸图像组织为伪造人脸

原始人脸图像对数据。3.根据权利要1所述的深度伪造人脸逆向溯源方法,其特征在于:步骤2中所述训练从伪造人脸到原始人脸的逆向映射网络,使用随机梯度下降法SGD优化损失函数;每轮迭代中,SGD抽取一批伪造人脸图像,输入逆向映射网络进行前向传播,并获得相应的溯源图像;计算溯源图像与原始人脸图像的l2距离作为损失项,反向传播损失并使用随机梯度下降法SGD更新参数。4.根据权利要1

3任意一项...

【专利技术属性】
技术研发人员:王中元艾家欣黄宝金梁步云韩镇
申请(专利权)人:武汉大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1