本发明专利技术涉及一种模型指纹提取方法、图像伪造类型判定方法。本发明专利技术的技术方案为一种溯源模型训练方法，其特征在于：基于现有常见数据集，利用所收集的各类型生成模型，生成若干伪造图像，构成伪造图像数据集；利用所述伪造图像数据集训练溯源模型。本发明专利技术适用于数字图像取证领域。本发明专利技术采用生成对抗网络，利用模型指纹应该具有稳定性和判别性的特点，对指纹生成过程进行约束，从伪造图像中抽取出与生成内容语义无关且具有判别性的稳定模型指纹，该指纹能够在同种结构类型的模型生成的内容中保持稳定且区分于其他的模型指纹，从而可基于模型指纹判定图像伪造类型。型指纹判定图像伪造类型。型指纹判定图像伪造类型。
【技术实现步骤摘要】
模型指纹提取方法、图像伪造类型判定方法
[0001]本专利技术涉及一种模型指纹提取方法、图像伪造类型判定方法。适用于数字图像取证领域。
技术介绍
[0002]随着生成技术的发展，深度伪造图像越来越逼真。以DeepFake为代表的换脸技术可以将视频中的人脸替换为目标人脸，从而制作出目标人物做特定动作的假视频。以换脸技术为核心原理的Zao、Avatarify等APP的开发和推广使得生成深度伪造视频和图像的技术门槛越来越低。然而，深度伪造视频被运用在灰色地带，会给社会带来严重的危害。
[0003]为了减少深度伪造技术的负面影响，近年来，学术界和工业界在深度伪造图像检测上进行了大量的研究。然而，真假检测并不是终点，一些恶意和违法的内容在网络上发布后，很难追踪溯源，当个人或实体受到的Deepfake等虚假信息的伤害时，难以无法对散布者进行追诉。针对这一现状，执法人员需要尽可能识别伪造内容的来源，其首要步骤就是确定产生内容的伪造算法或软件。
[0004]Marra等人在中《Do gans leave artificial fingerprints?》采用平均噪声图像作为模型指纹，其结果显示每种生成对抗模型在其生成的图像上都会留下特定的指纹。Yu等人在《Attributing fake images to gans: Learning and analyzing gan fingerprints》中将GAN指纹解耦为模型指纹和图像指纹，具体地，将模型的输出特征作为图像指纹，最后一层的参数作为模型指纹，然后通过图像与模型指纹的点积运算来实现GAN生成图像的溯源。
[0005]不同的伪造算法和软件往往来源自不同的模型，由于模型结构的不同，会在其生成的内容上产生特有的模型指纹，从而给伪造算法的溯源提供了可能性。
[0006]然而，现有工作还处于初级阶段，缺乏完整的溯源流程，随着生成技术的发展，新兴伪造算法层出不穷，针对伪造算法快速迭代和更新的问题，需要建立完善的伪造内容溯源流程，对新出现的伪造模型进行及时的指纹提取和补充。
技术实现思路
[0007]本专利技术要解决的技术问题是：针对上述存在的问题，提供一种模型指纹提取方法、图像伪造类型判定方法。
[0008]本专利技术所采用的技术方案是：一种溯源模型训练方法，其特征在于：基于现有常见数据集，利用所收集的各类型生成模型，生成若干伪造图像，构成伪造图像数据集；利用所述伪造图像数据集训练溯源模型，该溯源模型的训练，包括：将伪造图像数据集中任意两张不同生成模型生成的伪造图像I1和I2输入到编码器中，得到伪造图像I1和I2的内容特征z_C1，z_C2和指纹特征z_F1，z_F2；采用内容生成器和指纹生成器对两组内容特征和指纹特征解码为内容图像C1，C2
和指纹图像F1，F2；对内容图像和指纹图像进行交叉叠加，得到四张叠加图像：C1+F1，C1+F2，C2+F1，C2+F2；采用L2损失约束叠加图像C1+F1，C1+F2与伪造图像I1的内容接近，约叠加图像束C2+F1，C2+F2和伪造图像I2的内容接近；采用多分类交叉熵损失约束叠加图像C1+F1，C2+F1分类为伪造图像I1对应的生成模型，约束叠加图像C1+F2，C2+F2分类为伪造图像I2对应的生成模型。
[0009]一种溯源模型更新方法，用于更新所述训练方法训练得到的溯源模型，其特征在于：基于现有常见数据集，利用新收集的各类型生成模型，生成若干伪造图像，并将新生成的伪造图像扩充到所述伪造图像数据集；利用经扩充的伪造图像数据集，采用增量学习的方法对现有溯源模型的网络权重进行微调，使得溯源模型能够扩展到新收集的生成模型上。
[0010]一种模型指纹提取方法，其特征在于：获取由生成模型生成的伪造图像；将伪造图像输入由所述训练方法训练得到的或由所述更新方法更新得到的溯源模型，溯源模型从伪造图像中提取与生成该伪造图像的生成模型对应的模型指纹。
[0011]一种指纹库构建方法，其特征在于：利用所述的模型指纹提取方法从深度伪造数据集内的图片中提取图片对应的模型指纹；对从同类型生成模型生成的图像上提取的模型指纹求均值，作为该类型生成模型对应的模型指纹，并保存到指纹库中。
[0012]一种图像伪造类型判定方法，其特征在于：获取待判定的图像；将待判定图像输入经训练的真伪分类器，通过真伪分类器鉴定是否为伪造图像；如待判定图像为伪造图像，则利用所述的模型指纹提取方法提取该待判定图像的模型指纹；将提取的模型指纹与所述构建方法构建的指纹库中的指纹进行匹配，计算待判定图像指纹和指纹库中每类指纹之间的欧式距离，然后将与待判定图像指纹欧式距离最小的类别作为对待判定图像伪造类型的判定。
[0013]一种计算机可读存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述训练方法、所述更新方法、所述提取方法、所述构建方法或所述判定方法的步骤。
[0014]一种计算机设备，具有存储器和处理器，所述存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述训练方法、所述更新方法、所述提取方法、所述构建方法或所述判定方法的步骤。
[0015]本专利技术的有益效果是：本专利技术通过溯源模型中的编码器提取伪造图像上的内容特征（仅与伪造图像上内容本身相关的特征）和指纹特征（生成模型在伪造图像内容上产生的、与生成模型对应的特
有特征），基于内容特征和指纹特征分别生成内容图像和指纹图像，将内容图像和指纹图像交叉叠加后，利用损失函数约束叠加图像与相应伪造图像的内容接近，调整溯源模型中编码器和内容生成器参数，使编码器提取的内容特征尽可能准确表示图像内容的特征，使内容生成器生成的内容图像尽可能与相应伪造图像的内容一致。
[0016]本专利技术中约束叠加图像分类为相应伪造图像对应的生成模型，使编码器提取的指纹特征尽可能准确表示伪造图像内容上与生成模型对应的特征，使指纹生成器生成的指纹图像能准确反映相应生成模型的特点。
[0017]本专利技术通过将两组内容特征和指纹特征进行交叉叠加，利用叠加图像与伪造图像进行比较，利用叠加图像进行分类，通过交叉解耦训练得到分别关于内容和指纹的解耦表征。
[0018]本专利技术采用生成对抗网络，利用模型指纹应该具有稳定性和判别性的特点，对指纹生成过程进行约束，从伪造图像中抽取出与生成内容语义无关且具有判别性的稳定模型指纹，该指纹能够在同种结构类型的模型生成的内容中保持稳定且区分于其他的模型指纹，从而可基于模型指纹判定图像伪造类型。
附图说明
[0019]图1为实施例的流程图。
具体实施方式
[0020]本实施例为一种图像伪造类型判定方法，具体包括以下步骤：S1、训练溯源模型。
[0021]S11、深度伪造数据集的构建采集常见深度伪造算法和软件的生成数据，并给每类图像打上标签。一方面，收集构建常见深度生成模型，如ProGAN、StyleGAN、DeepFake等各种经典深度生成模型结构，在常见本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种溯源模型训练方法，其特征在于：基于现有常见数据集，利用所收集的各类型生成模型，生成若干伪造图像，构成伪造图像数据集；利用所述伪造图像数据集训练溯源模型，该溯源模型的训练，包括：将伪造图像数据集中任意两张不同生成模型生成的伪造图像I1和I2输入到编码器中，得到伪造图像I1和I2的内容特征z_C1，z_C2和指纹特征z_F1，z_F2；采用内容生成器和指纹生成器对两组内容特征和指纹特征解码为内容图像C1，C2和指纹图像F1，F2；对内容图像和指纹图像进行交叉叠加，得到四张叠加图像：C1+F1，C1+F2，C2+F1，C2+F2；采用L2损失约束叠加图像C1+F1，C1+F2与伪造图像I1的内容接近，约叠加图像束C2+F1，C2+F2和伪造图像I2的内容接近；采用多分类交叉熵损失约束叠加图像C1+F1，C2+F1分类为伪造图像I1对应的生成模型，约束叠加图像C1+F2，C2+F2分类为伪造图像I2对应的生成模型。2.一种溯源模型更新方法，用于更新权利要求1所述训练方法训练得到的溯源模型，其特征在于：基于现有常见数据集，利用新收集的各类型生成模型，生成若干伪造图像，并将新生成的伪造图像扩充到所述伪造图像数据集；利用经扩充的伪造图像数据集，采用增量学习的方法对现有溯源模型的网络权重进行微调，使得溯源模型能够扩展到新收集的生成模型上。3.一种模型指纹提取方法，其特征在于：获取由生成模型生成的伪造图像；将伪造图像输入由权利要求1所述训练方法训练得到的或由权利要求2所述更...
【专利技术属性】
技术研发人员：曹娟，杨天韵，黄子尧，谢添，
申请(专利权)人：杭州中科睿鉴科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。