生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质制造方法及图纸

技术编号:30763041 阅读:60 留言:0更新日期:2021-11-10 12:17
本发明专利技术公开了一种生成图像溯源模型训练方法,包括以下步骤:将生成图像输入至生成器以获取对应该生成图像的一指纹;将该指纹添加至随机选取的一真实图像上,得到一带指纹图像;将该带指纹图像分别输入至鉴别器和辅助分类器进行训练。类器进行训练。类器进行训练。

【技术实现步骤摘要】
生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质


[0001]本专利技术涉及数字图像取证领域,特别涉及一种生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质。

技术介绍

[0002]生成对抗网络(Generative Adversarial Network,GAN)的发展使得生成图像越来越逼真,这给视觉取证带来了巨大的挑战。
[0003]近年来,研究人员在生成图像检测上进行了大量的研究。然而,真假检测并不是终点,对于恶意和违法的内容,执法人员需要识别其所有者;对于生成模型的开发人员来说,设计生成模型需要经验丰富的研究人员进行大量的试错实验,有些生成模型具有很高的商业价值,应该予以保护。为了达到这些目的,需要对GAN生成图像进行溯源。
[0004]在之前的工作中,一些研究人员采用平均噪声图像作为GAN指纹,其结果显示每种GAN模型在其生成图像上都会留下特定的指纹。一些研究人员将GAN指纹解耦为模型指纹和图像指纹,具体地,将模型的输出特征作为图像指纹,最后一层的参数作为模型指纹,然后通过图像与模型指纹的点积运算来实现GAN生成图像的溯源。一些研究人员采用基于频率域的方法,将离散余弦变换(Discrete Cosine Transform,DCT)转换后的图像作为分类器的输入,用于GAN生成图像来源的检测。
[0005]现有的技术方案存在以下缺陷:第一,如何可视化GAN指纹仍然是一个悬而未决的问题。尽管有研究人员提出用平均噪声和自编码器的重建残差作为指纹,但是其提取的指纹包含很多冗余的噪声,从中难以观察不同的GAN生成图像的区别和相同的GAN生成图像的共性。第二,现有工作大多采用直接多分类的框架进行溯源,在没有额外约束的情况下,直接分类抽取的特征中可能包括许多与内容相关的信息,然而,合格的GAN指纹与生成内容无关。尽管基于直接多分类的方法学习到的表示足以检测与训练数据同分布的图像,但它在其他数据训练出的GAN模型上泛化差。
[0006]专利技术人在对生成图像溯源的研究中,发现现有技术中GAN指纹的可视化方法会包含很多冗余的噪声,而且在同结构但不同数据训练的GAN模型上泛化性较差。专利技术人经过研究发现,内容无关的特征有助于可视化GAN指纹和提高溯源的泛化性。因此,本专利技术提出了一个多任务的指纹提取框架,从GAN生成的图像中解耦出GAN指纹,并同时抽取出GAN模型的内容无关表示用于溯源。

技术实现思路

[0007]为了解决上述问题,本专利技术的主要目的在于提出一种生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质,能够从GAN生成图像中解耦出GAN指纹,并同时抽取出GAN模型的内容无关表示用于溯源,从而有助于可视化GAN指纹和有效提高溯源的泛化性。
[0008]为了实现上述目的,本专利技术提出一种生成图像溯源模型训练方法,包括以下步骤:
[0009]将生成图像输入至生成器以获取对应该生成图像的一指纹;
[0010]将该指纹添加至随机选取的一真实图像上,得到一带指纹图像;
[0011]将该带指纹图像分别输入至鉴别器和辅助分类器进行训练。
[0012]为了实现上述目的,本专利技术还提出一种生成图像溯源模型训练装置,包括:
[0013]指纹生成单元,用于将生成图像输入至生成器以获取对应该生成图像的一指纹;
[0014]带指纹图像获取单元,用于将该指纹添加至随机选取的一真实图像上,得到一带指纹图像;
[0015]第一训练单元,将该带指纹图像分别输入至鉴别器和辅助分类器进行训练。
[0016]为了实现上述目的,本专利技术还提出一种生成图像溯源方法,包括以下步骤:
[0017]将一待识别生成图像输入至由上述的生成图像溯源模型训练方法训练得到的生成器以获取对应该待识别生成图像的指纹;
[0018]将该指纹与指纹库中的预存指纹进行匹配,其中与该指纹最近似的该预存指纹的类别为该待识别生成图像的类别。
[0019]为了实现上述目的,本专利技术还提出一种生成图像溯源装置,包括:
[0020]生成器单元,用于将一待识别生成图像输入至由上述的生成图像溯源模型训练方法训练得到的生成器以获取对应该待识别生成图像的指纹;
[0021]指纹匹配单元,用于将该指纹与指纹库中的预存指纹进行匹配,其中与该指纹最近似的该预存指纹的类别为该待识别生成图像的类别。
[0022]为了实现上述目的,本专利技术还提出一种电子设备,包括:处理器和存储器,所述存储器内存储有可在所述处理器运行的计算机程序,当所述计算机程序被所述处理器执行时,实现上述的生成图像溯源模型训练方法和/或上述的生成图像溯源方法。
[0023]为了实现上述目的,本专利技术还提出一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,实现上述的生成图像溯源模型训练方法和/或上述的生成图像溯源方法。
[0024]由以上方案可知,本专利技术的优点在于:
[0025]本专利技术设计了一个融合指纹可视化和溯源的多任务框架,该框架可以同时实现GAN指纹可视化和GAN生成图像溯源;具体地,在特征抽取之后,将特征转换为一张指纹图,通过指纹生成的过程进一步约束特征提取器抽取内容无关的特征来进行GAN生成图像溯源,同时实现了GAN指纹可视化和GAN生成图像溯源。
[0026]设计对抗损失、分类损失和感知损失,用于约束生成GAN指纹的稳定性和判别性。本专利技术设计了一系列的损失函数约束GAN指纹的生成;具体地,设计分类损失约束生成的指纹具有判别性,设计对抗损失和感知损失约束生成的指纹具有稳定性。
附图说明
[0027]图1为本专利技术一实施例的生成图像溯源模型训练方法的流程图。
[0028]图2为本专利技术一实施例的生成图像溯源模型训练方法的框架图。
[0029]图3为本专利技术一实施例的生成图像溯源模型训练装置的模块图。
[0030]图4为本专利技术一实施例的生成图像溯源方法的流程图。
[0031]图5为本专利技术一实施例的生成图像溯源装置的模块图。
[0032]图6为本专利技术一实施例的电子设备的示意图。
具体实施方式
[0033]为让本专利技术的上述特征和效果能阐述的更明确易懂,下文特举实施例,并配合说明书附图作详细说明如下。
[0034]参见图1及图2所示,本专利技术的实施例提出一种生成图像溯源模型训练方法,包括:步骤S10

S30。
[0035]步骤S10,将生成图像输入至生成器以获取对应该生成图像的一指纹。
[0036]在本实施例中,本专利技术设计GAN指纹解耦网络(GAN Fingerprint Disentangling Network,GFD

Net),其总体架构如图2所示。GFD

Net采用类似于生成对抗网络的框架,由一个生成器G、一个鉴别器D和一个辅助分类器C所构成。其中,生成器G负责生成指纹,鉴别器D和辅助分类器C负责对生本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种生成图像溯源模型训练方法,其特征在于,包括:步骤1,将生成图像输入至生成器以获取对应该生成图像的一指纹;步骤2,将该指纹添加至随机选取的一真实图像上,得到一带指纹图像;步骤3,将该带指纹图像分别输入至鉴别器和辅助分类器进行训练。2.如权利要求1所述的生成图像溯源模型训练方法,其特征在于,该步骤1包括:步骤11,将该生成图像输入至该生成器的编码器以投射出一隐向量;步骤12,该生成器的解码器将该隐向量转换为对应该生成图像的该指纹。3.如权利要求2所述的生成图像溯源模型训练方法,其特征在于,还包括:将该隐向量输入至一分类头进行训练以该分类头具有预测该生成图像的类别的能力;其中,该分类头由平均池层和全连通层构成。4.如权利要求1所述的生成图像溯源模型训练方法,其特征在于,还包括:使用该生成图像对该辅助分类器进行预训练,以使其具有分类该生成图像的能力。5.如权利要求1所述的生成图像溯源模型训练方法,其特征在于,采用辅助分类损失函数对该辅助分类器进行约束,其中,L
CE
表示交叉熵损失,C表示辅助分类器,x
fp
表示带指纹图像,y表示生成图像类别。6.如权利要求1所述的生成图像溯源模型训练方法,其特征在于,采用对抗损失函数和分别约束该鉴别器区分该带指纹图像和该生成图像,以及该生成器生成的该指纹添加至该真实图像得到的该带指纹图像能够愚弄该鉴别器,纹添加至该真实图像得到的该带指纹图像能够愚弄该鉴别器,其中,D表示鉴别器,G表示分类器,x
fp
表示带指纹图像,x表示生成图像,E表示期望。7.如权利要求1所述的生成图像溯源模型训练方法,其特征在于,还包括:采用采用VGG

16感知损失函数约束该带指纹图像与对应的该真实图像在视觉上保持一致,其中,|| ||表示L2损失,F表示VGG特征提取器,x
fp
表示带指纹图像,x
real
表示真实图像。8.如权利要求3所述的生成图像溯源模型训练方法,其特征在于,采用隐向量分类损失函数对该分类头进行约束,其中,L
CE
表示交叉熵损失,H表示该分类头,z表示该隐向量,y表示生成图像类别。9.一种生成图像溯源模型训练装置,其特征在于,包括:指纹生成单元,用于将生成图像输入至生成器以获取对应该生成图像的一指纹;带指纹图像获取...

【专利技术属性】
技术研发人员:曹娟杨天韵谢添李锦涛
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1