一种基于深度学习的图像鉴伪方法及系统技术方案

本发明专利技术公开了一种基于深度学习的图像鉴伪方法及系统，基于深度合成方法生成的伪造图像数据，通过训练一个鉴伪分类器来实现对真实图像与伪造图像的判别，为了使分类器具有更好的泛化性，通过知识蒸馏的方法将分类器推广到其他生成方法中，并有效避免灾难性遗忘的问题。通过深度学习技术来鉴别图像是真实拍摄的还是通过后期处理亦或是AI合成产生的虚假图像，从而在使用深度合成技术的同时研发相应的监管技术，实现用技术管住技术。实现用技术管住技术。实现用技术管住技术。

【技术实现步骤摘要】
一种基于深度学习的图像鉴伪方法及系统


[0001]本专利技术涉及深度学习
，具体涉及一种基于深度学习的图像鉴伪方法及系统。

技术介绍

[0002]近两年来，随着以机器学习为代表的人工智能技术的发展，人工智能自动生成内容取得了显著的进步，不仅内容的质量得到了提高，而且内容的形式日益多元化，例如生成文字、图像、声音、视频等。在此背景下，深度伪造技术“应运而生”，可以实现图像、声音、视频的篡改、伪造和自动生成，产生高度逼真且难以甄别的效果。深度伪造的最常见方式是AI换脸技术，例如deepfake、face2face等；此外，还包括语音模拟、人脸合成、视频生成等，以下统称深度伪造技术。然而一旦这一技术被滥用，则可能给国家安全和公民、企业权益带来新的风险，对国家安全甚至世界秩序都可能产生不可估量的影响。

技术实现思路

[0003]为此，本专利技术提供一种基于深度学习的图像鉴伪方法及系统，以实现通过深度学习技术来鉴别图像是真实拍摄的还是通过后期处理亦或是AI合成产生的虚假图像，从而在使用深度合成技术的同时研发相应的监管技术，实现用技术管住技术。
[0004]为了实现上述目的，本专利技术提供如下技术方案：
[0005]根据本专利技术实施例的第一方面，提出了一种基于深度学习的图像鉴伪方法，所述方法包括：
[0006]使用第一训练集对预先构建的鉴伪分类器模型进行训练，所述训练集中包括经过分类标注的真实图像和伪造图像，并使用第一测试集对训练的鉴伪分类器模型进行测试；
[0007]将得到的鉴伪分类器模型作为教师网络，构建与所述教师网络对应的学生网络模型；使用第二训练集对学生网络模型进行训练，并通过知识蒸馏的方式利用训练好的教师网络模型指导学生网络模型的训练，使用第二测试集对训练的学生网络模型进行测试；
[0008]将得到的学生网络模型作为最终的鉴伪分类器模型进行图像的鉴伪。
[0009]进一步地，使用第一训练集对预先构建的鉴伪分类器模型进行训练，具体包括：
[0010]鉴伪分类器模型包括图像特征提取模块和分类预测模块；
[0011]将训练集中的真实图像数据与伪造图像数据批量输入鉴伪分类器网络，通过图像特征提取模块得到各个图像的特征图信息；
[0012]提取到的特征图输入分类预测模块，对真实图像数据与伪造图像数据进行分类预测，并输出预测的类别标签。
[0013]进一步地，使用第一训练集对预先构建的鉴伪分类器模型进行训练，具体包括：
[0014]采用交叉熵损失来表示鉴伪分类器模型的预测输出与真实标签之间的误差，使用交叉熵损失函数对鉴伪分类器网络进行迭代训练，在每个训练epoch结束时利用测试集对分类器网络进行鉴伪准确率的测试；
[0015]当损失函数值不再下降时，停止训练，输出在测试集上鉴伪准确率最高的鉴伪分类器模型。
[0016]进一步地，利用训练好的教师网络模型指导学生网络模型的训练，具体包括：
[0017]使用所述交叉熵损失函数来表示新的学生网络的预测输出与真实标签之间的误差；使用KL散度损失函数来表示学生网络的软化分布输出与教师网络软化分布输出之间的差异；对所述交叉熵损失函数和KL散度损失函数进行加权求和得到总的损失函数，通过知识蒸馏的方式训练学生网络；
[0018]使用总的交叉熵损失函数对学生网络进行迭代训练，在每个训练epoch结束时利用测试集对分类器网络进行鉴伪准确率的测试；
[0019]当损失函数值不再下降时，停止训练，输出在测试集上鉴伪准确率最高的鉴伪分类器模型。
[0020]进一步地，所述方法还包括：
[0021]所述第一训练集和第二训练集中的伪造图像采用不同的深度图像合成方法得到。
[0022]根据本专利技术实施例的第二方面，提出了一种基于深度学习的图像鉴伪系统，所述系统包括：
[0023]教师网络训练模块，用于使用第一训练集对预先构建的鉴伪分类器模型进行训练，所述训练集中包括经过分类标注的真实图像和伪造图像，并使用第一测试集对训练的鉴伪分类器模型进行测试；
[0024]学生网络训练模块，用于将得到的鉴伪分类器模型作为教师网络，构建与所述教师网络对应的学生网络模型；使用第二训练集对学生网络模型进行训练，并通过知识蒸馏的方式利用训练好的教师网络模型指导学生网络模型的训练，使用第二测试集对训练的学生网络模型进行测试；
[0025]鉴伪模块，用于将得到的学生网络模型作为最终的鉴伪分类器模型进行图像的鉴伪。
[0026]进一步地，所述教师网络训练模块，具体用于：
[0027]采用交叉熵损失来表示鉴伪分类器模型的预测输出与真实标签之间的误差，使用交叉熵损失函数对鉴伪分类器网络进行迭代训练，在每个训练epoch结束时利用测试集对分类器网络进行鉴伪准确率的测试；
[0028]当损失函数值不再下降时，停止训练，输出在测试集上鉴伪准确率最高的鉴伪分类器模型。
[0029]进一步地，所述学生网络训练模块，具体用于：
[0030]使用所述交叉熵损失函数来表示新的学生网络的预测输出与真实标签之间的误差；使用KL散度损失函数来表示学生网络的软化分布输出与教师网络软化分布输出之间的差异；对所述交叉熵损失函数和KL散度损失函数进行加权求和得到总的损失函数，通过知识蒸馏的方式训练学生网络；
[0031]使用总的交叉熵损失函数对学生网络进行迭代训练，在每个训练epoch结束时利用测试集对分类器网络进行鉴伪准确率的测试；
[0032]当损失函数值不再下降时，停止训练，输出在测试集上鉴伪准确率最高的鉴伪分类器模型。
[0033]本专利技术具有如下优点：
[0034]本专利技术提出的一种基于深度学习的图像鉴伪方法及系统，基于深度合成方法生成的伪造图像数据，通过训练一个鉴伪分类器来实现对真实图像与伪造图像的判别，为了使分类器具有更好的泛化性，通过知识蒸馏的方法将分类器推广到其他生成方法中，并有效避免灾难性遗忘的问题。通过深度学习技术来鉴别图像是真实拍摄的还是通过后期处理亦或是AI合成产生的虚假图像，从而在使用深度合成技术的同时研发相应的监管技术，实现用技术管住技术。
附图说明
[0035]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0036]图1为本专利技术实施例1提供的一种基于深度学习的图像鉴伪方法的流程图；
[0037]图2为本专利技术实施例1提供的一种基于深度学习的图像鉴伪方法中鉴伪分类器网络架构示意图。
具体实施方式
[0038]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的图像鉴伪方法，其特征在于，所述方法包括：使用第一训练集对预先构建的鉴伪分类器模型进行训练，所述训练集中包括经过分类标注的真实图像和伪造图像，并使用第一测试集对训练的鉴伪分类器模型进行测试；将得到的鉴伪分类器模型作为教师网络，构建与所述教师网络对应的学生网络模型；使用第二训练集对学生网络模型进行训练，并通过知识蒸馏的方式利用训练好的教师网络模型指导学生网络模型的训练，使用第二测试集对训练的学生网络模型进行测试；将得到的学生网络模型作为最终的鉴伪分类器模型进行图像的鉴伪。2.根据权利要求1所述的一种基于深度学习的图像鉴伪方法，其特征在于，使用第一训练集对预先构建的鉴伪分类器模型进行训练，具体包括：鉴伪分类器模型包括图像特征提取模块和分类预测模块；将训练集中的真实图像数据与伪造图像数据批量输入鉴伪分类器网络，通过图像特征提取模块得到各个图像的特征图信息；提取到的特征图输入分类预测模块，对真实图像数据与伪造图像数据进行分类预测，并输出预测的类别标签。3.根据权利要求1所述的一种基于深度学习的图像鉴伪方法，其特征在于，使用第一训练集对预先构建的鉴伪分类器模型进行训练，具体包括：采用交叉熵损失来表示鉴伪分类器模型的预测输出与真实标签之间的误差，使用交叉熵损失函数对鉴伪分类器网络进行迭代训练，在每个训练epoch结束时利用测试集对分类器网络进行鉴伪准确率的测试；当损失函数值不再下降时，停止训练，输出在测试集上鉴伪准确率最高的鉴伪分类器模型。4.根据权利要求3所述的一种基于深度学习的图像鉴伪方法，其特征在于，利用训练好的教师网络模型指导学生网络模型的训练，具体包括：使用所述交叉熵损失函数来表示新的学生网络的预测输出与真实标签之间的误差；使用KL散度损失函数来表示学生网络的软化分布输出与教师网络软化分布输出之间的差异；对所述交叉熵损失函数和KL散度损失函数进行加权求和得到总的损失函数，通过知识蒸馏的方式训练学生网络；使用总的交叉熵损失函数对学生网络进行迭代训练，在每个训练epoch结束时利用测试集对分类器网络进行...

【专利技术属性】
技术研发人员：李翔，
申请(专利权)人：北京影数科技有限公司，
类型：发明
国别省市：