一种基于深度学习的换脸视频溯源方法及系统技术方案

本发明专利技术公开了一种基于深度学习的换脸视频溯源方法及系统，可让违反了法律的不良换脸视频可以被检测出来并找到生成该视频的用户或责任方，让溯源成为可能，从而约束人们对换脸技术的不良应用。本方法不需要记录生成视频的指纹信息，只需要在向用户分发模型时记录该模型对应的唯一水印，就可以通过生成的视频确定生成视频的用户，也就是说，水印信息不同于指纹信息，水印具体内容在视频生成前就已经确定，所以本发明专利技术能在用户获取应用的时候就确定了该用户生成的所有视频的唯一标识，从而达到了从源头进行溯源的目的；同时，发明专利技术对视频的水印破坏攻击有较高的鲁棒性。水印破坏攻击有较高的鲁棒性。水印破坏攻击有较高的鲁棒性。

【技术实现步骤摘要】
一种基于深度学习的换脸视频溯源方法及系统


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于深度学习的换脸视频溯源方法及系统。

技术介绍

[0002]随着计算机视觉软硬件技术的发展和突破，越来越多的应用在c端普及，这带来了很多前所未有的AI伦理问题和潜在风险，特别是近几年GAN的兴起带动了Deepfake的开发和应用浪潮，其中的风险更是引起了社会各界人士和政府的重视。以ZAO为代表的手机APP让换脸成为所有人都可以使用的技术，这项技术生成的几乎无法分辨真假的换脸视频由于其高逼真度和易用性，在带来全民娱乐的同时也暗藏着许多风险，其中包括肖像侵权、隐私泄露、不良视频传播等，这些风险让人们对换脸这把双刃剑保持着更多怀疑的态度。
[0003]目前市场上的换脸软件还没有使用溯源技术，而现有的视频溯源技术大概分为两类：基于水印的方法和基于指纹的方法。
[0004]1)基于水印方法，也就是在视频图像中加入水印来标记视频的来源，在溯源时再从图片中提取水印。水印可以是肉眼可见的，也可以是肉眼不可见的数字水印，该方法的本质就是修改原视频帧中的数值信息，把水印信息标记在像素中。其中又包括两种方法：
[0005]1.1修改空域：一般来说，不对信号做任何频率变换而得到的信号域就是空间域，通常是采用修改像素的某个分量值来实现水印的嵌入，典型的空间域水印算法有LSB算法、Patchwork算法和纹理块映射编码算法。在空间域加入水印一般只能嵌入较小的数据量，并且通过该方法添加水印的图片很容易经过低通滤波、重新量化、有损压缩等操作去除水印；
[0006]1.2利用频域：典型算法有基于DFT(离散傅里叶变换)、DCT(离散余弦变换)、DWT(离散小波变换)的算法，这类算法是把图像变换到频域，在频域上加入水印，再通过逆变换，将图像转为空域上可见的格式。因为该方法是将水印信号分布到空间的所有像素上，并且与现有的图像压缩方法兼容，所以该方法能较好解决不可见性和鲁棒性之间的矛盾。
[0007]2)基于指纹的方法，也就是在视频生成后提取视频的指纹信息，然后保存在数据库中，当需要溯源的时候，再次计算视频指纹，通过数据库中唯一的指纹得到该视频的来源信息。这种方法的核心是视频指纹的提取，有传统的md5方法、对部分内容修改保持鲁棒的Rabin指纹方法，也有现代的基于区块链的记录方法。
[0008]基于水印的视频溯源方法对于一些篡改攻击是不鲁棒的，比如视频压缩、视频帧加噪点、视频多水印混合等，这样的操作后很难再从视频中提取出原水印，而当前网络传播的特点就是视频可能被多次编辑，这种情况使得视频在传播中无法保持携带的水印信息，导致成功提取水印的概率大幅降低。
[0009]而对于基于指纹的方法，需要在生成视频的时候就对其指纹进行计算和记录，也就是需要c端的换脸应用先获取用户的信息，然后在生成视频后根据用户信息将水印加入视频中，并记录该视频指纹对应的用户和生成信息，这需要额外的计算能力和数据存储空间来实现。并且对于b端用户，生成视频的能力掌握在用户手上，无法收集和记录生成的视
频指纹，所以该技术对应用场景的限制性很大。也就是说，这种方法不适合当前网络环境和应用的根本原因是指纹是根据视频具体内容生成的，在视频生成之前无法确定指纹，而视频生成过程是在用户端进行的，所以无法在视频生成后对该视频进行记录。

技术实现思路

[0010]为此，本专利技术提供一种基于深度学习的换脸视频溯源方法及系统，以解决现有视频溯源方法存在的对视频的水印破坏攻击鲁棒性低，指纹信息根据视频具体内容生成的，方法应用场景有限等问题。
[0011]为了实现上述目的，本专利技术提供如下技术方案：
[0012]根据本专利技术实施例的第一方面，提出了一种基于深度学习的换脸视频溯源方法，所述方法包括水印的合成和水印的提取；
[0013]所述水印的合成，具体包括：
[0014]将原始人脸视频和替换人脸图片输入至视频换脸模型得的换脸后的换脸视频；
[0015]根据用户ID使用水印合成器生成用户唯一水印码，将所述水印码和换脸视频输入至视频水印编码模型，编码得到加有水印的换脸视频；
[0016]所述水印的提取，具体包括：
[0017]将待鉴别视频输入至视频鉴伪模型判断所述待鉴别视频是否为换脸视频；
[0018]若是，则将视频输入至视频水印解码模型，解码得到融合在视频帧中的水印码，并根据所述水印码得到生成换脸视频的用户信息。
[0019]进一步地，所述视频水印编码模型的输入视频帧为512*512*3的张量，输入的水印码为128*128*1的张量，输入的128*128*1水印码经过卷积操作后得到的512*512*3张量输入至ISM模块，然后输出的512*512*3的水印码与输入的512*512*3视频帧经Concat操作后输出512*512*3的张量，再经卷积操作后输出为512*512*6。
[0020]进一步地，所述ISM模块具体用于，将随机数进行Reshape操作后经卷积得到512*512*3的张量，并与输入的512*512*3张量经Concat操作后得到512*512*6的张量，然后输入至1
×
1卷积得到第一512*512*32张量，继续输入至3
×
3卷积得到第二512*512*32张量，继续输入至3
×
3卷积得到第三512*512*32张量，将得到的三个512*512*32张量经Concat操作得到512*512*96张量，经卷积后得到512*512*3张量，然后将得到的512*512*3张量与输入的512*512*3张量经element
‑
wise plus操作后输出512*512*3的张量。
[0021]进一步地，所述视频水印解码模型的输入视频帧为512*512*3的张量，输入至1
×
1卷积得到第一512*512*3张量，继续输入至3
×
3卷积得到第二512*512*3张量，继续输入至3
×
3卷积得到第三512*512*3张量，然后将得的的三个512*512*3张量经Concat操作后512*512*9张量，然后输入至全连接层FC层得到512*512*3的张量，最后再经一些卷积操作和尺度变换得到128*128*1的输出，输出即为加在视频上的水印码。
[0022]进一步地，所述方法还包括：
[0023]使用L1损失函数对视频水印编码模型和视频水印解码模型进行训练。
[0024]根据本专利技术实施例的第二方面，提出了一种基于深度学习的换脸视频溯源系统，所述系统包括水印合成模块和水印提取模块；
[0025]所述水印合成模块，用于：
[0026]将原始人脸视频和替换人脸图片输入至视频换脸模型得的换脸后的换脸视频；
[0027]根据用户ID使用水印合成器生成用户唯一水印码，将所述水印码和换脸视频输入至视频水印编码模型，编码得到加有水印的换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的换脸视频溯源方法，其特征在于，所述方法包括水印的合成和水印的提取；所述水印的合成，具体包括：将原始人脸视频和替换人脸图片输入至视频换脸模型得的换脸后的换脸视频；根据用户ID使用水印合成器生成用户唯一水印码，将所述水印码和换脸视频输入至视频水印编码模型，编码得到加有水印的换脸视频；所述水印的提取，具体包括：将待鉴别视频输入至视频鉴伪模型判断所述待鉴别视频是否为换脸视频；若是，则将视频输入至视频水印解码模型，解码得到融合在视频帧中的水印码，并根据所述水印码得到生成换脸视频的用户信息。2.根据权利要求1所述的一种基于深度学习的换脸视频溯源方法，其特征在于，所述视频水印编码模型的输入视频帧为512*512*3的张量，输入的水印码为128*128*1的张量，输入的128*128*1水印码经过卷积操作后得到的512*512*3张量输入至ISM模块，然后输出的512*512*3的水印码与输入的512*512*3视频帧经Concat操作后输出512*512*3的张量，再经卷积操作后输出为512*512*6。3.根据权利要求2所述的一种基于深度学习的换脸视频溯源方法，其特征在于，所述ISM模块具体用于，将随机数进行Reshape操作后经卷积得到512*512*3的张量，并与输入的512*512*3张量经Concat操作后得到512*512*6的张量，然后输入至1
×
1卷积得到第一512*512*32张量，继续输入至3
×
3卷积得到第二512*512*32张量，继续输入至3
×
3卷积得到第三512*512*32张量，将得到的三个512*512*32张量经Concat操作得到512*512*96张量，经卷积后得到512*512*3张量，然后将得到的512*512*3张量与输入的512*512...

【专利技术属性】
技术研发人员：朱州，
申请(专利权)人：北京影数科技有限公司，
类型：发明
国别省市：