本申请提出了一种基于图像patch序损失的人脸鉴伪方法，包括：S1、获取包含训练图像及其标签信息的人像鉴伪数据集；S2、对所述人像鉴伪数据集进行数据处理，包括：对所述训练图像进行均匀切割并打乱所述训练图像的初始patch序列集合，得到所述训练图像的第一patch序列集合；对所述第一patch序列集合进行增强处理，得到第二patch序列集合；将不同所述训练图像的所述第一patch序列集合和所述第二patch序列集合中的patch块进行随机交换，从而得到处理后的人像鉴伪数据集；S3、利用所述处理后的人像鉴伪数据集训练得到神经网络分类模型；S4、将待检测图像输入到所述神经网络分类模型中。本申请的人像鉴伪方法极大的节约了训练成本和数据收集成本，并且具有较高的判别准确性。性。性。
【技术实现步骤摘要】
一种基于图像patch序损失的人脸鉴伪方法、系统及介质
[0001]本申请涉及AI安全的
，具体涉及一种基于图像patch序损失的人脸鉴伪方法、系统及介质。
技术介绍
[0002]人像深伪判别是图像鉴定中最重要的算法模块，其以训练困难、难以解释、泛化能力较差为特点，给相关从业人员带来较大困扰。经过研究分析，认为人脸主体语义突出，数据集构造方式不良，训练目标不清是造成上述困难的主要原因，导致了相当巨大的训练成本与数据成本。
[0003]在现有技术中，申请号为202010097995.3的中国专利公开了一种换脸检测方法、装置、设备及存储介质，其本质上是一种增强的有监督神经网络预测方法，引入了特征组合的联合约束，增强了相关特征的捕捉提炼能力，但其仍无法摆脱训练成本过大的问题。
[0004]申请号为202010614929.9的中国专利公开了一种检测方法、装置、设备和计算机存储介质，其只是一种算法组合应用流程，通过预先检测画面中的人体信息来判定是否有进一步进行人脸鉴伪的必要，原理上可以加快推理效率，降低误检，但实战中其反而增加了推理流程，其最终结果也受到不同阶段算法误差的叠加影响，效果并不理想。
[0005]申请号为202010806564.X的中国专利公开了一种图像检测方法、装置、设备及计算机可读存储介质，其通过提取两种模态，即RGB特征与特定高频特征，并将两种特征融合加强来进行伪造人脸判别，这种算法模式较为常见，整体框架庞大复杂，缺乏实战意义。
[0006]综上所述，现有技术仍无法解决人脸鉴伪的训练成本和数据成本较大的问题。因此，提供一种节约训练成本和数据收集成本，且具有较高的判别准确性的人脸鉴伪方法就显得尤为重要。
技术实现思路
[0007]为了解决上述技术问题，本申请提出了一种基于图像patch序损失的人脸鉴伪方法、系统及介质。
[0008]根据本申请的第一方面，提出了一种基于图像patch序损失的人脸鉴伪方法，包括以下步骤：
[0009]S1、获取包含训练图像及其标签信息的人像鉴伪数据集，其中所述训练图像至少包括人脸区域；
[0010]S2、对所述人像鉴伪数据集进行数据处理，所述数据处理包括：
[0011]对所述训练图像进行均匀切割并打乱所述训练图像的初始patch序列集合，得到所述训练图像的第一patch序列集合；
[0012]对所述第一patch序列集合进行增强处理，得到第二patch序列集合；
[0013]将不同所述训练图像的所述第一patch序列集合和所述第二patch序列集合中的patch块进行随机交换，从而得到处理后的人像鉴伪数据集；
[0014]S3、利用所述处理后的人像鉴伪数据集训练得到神经网络分类模型；以及
[0015]S4、将待检测图像输入到所述神经网络分类模型中，得到鉴定结果。
[0016]优选的，所述步骤S2中所述打乱所述训练图像的初始patch序列集合具体包括：从所述初始patch序列集合中筛选出一个第一patch块，并求取出所述初始patch序列集合中其余patch块与所述第一patch块相似度距离最大的第二patch块，将所述第一patch块与所述第二patch块进行交换；重复上述操作，直至所有patch块均完成一次交换。
[0017]优选的，所述步骤S2中所述对所述第一patch序列集合进行增强处理具体包括：
[0018]对所述第一patch序列集合中的patch块进行随机旋转、亮度调整、色差调整、改变压缩质量、灰度化处理；
[0019]将所述第一patch序列集合中的patch块两两按照预设比例混合，并保留其中一个patch块的顺序与主语义。
[0020]优选的，所述步骤S1中所述人像鉴伪数据集至少包括全图生成集、人脸交换集、表情重演集、美颜集及人脸属性编辑集5种数据集，其中伪造图像和自然图像的比例为1：1。
[0021]优选的，所述步骤S3中所述利用所述处理后的数据集训练得到神经网络分类模型具体包括：
[0022]获取处理后的训练图像和处理后的标签信息对应的第一损失函数、第二损失函数和第三损失函数，其中所述第一损失函数用于表征所述处理后的训练图像和所述处理后的标签信息产生的损失，所述第二损失函数用于表征所述处理后的训练图像中patch序列预测和真实序列之间的损失，所述第三损失函数用于对所述处理后的训练图像中的patch块归属进行判断；
[0023]根据所述第一损失函数、所述第二损失函数和所述第三损失函数对所述神经网络分类模型进行联合训练，以对所述神经网络分类模型的参数进行调整。
[0024]优选的，所述第一损失函数和所述第二损失函数均由交叉熵损失函数构成，所述第一损失函数和所述第二损失函数的联合定义为：
[0025][0026]其中，S为伪造图像种类指标集，N
p
为每种伪造方法涉及的样本指标子集容量，L
c
是第一损失函数，h是卷积神经网络，与为patch块打乱前与patch块打乱后的样本，θ
f
、θ
c
与θ
d
均为卷积神经网络的各部分参数，为图像内容标签，K
p
为patch块打乱后产生的样本指标子集容量，α是权重，L
d
是第二损失函数，为真实序列标签。
[0027]优选的，所述第三损失函数为二值交叉熵函数，所述第三损失函数的形式化定义为：
[0028][0029]其中，y
i
为真实标签，为卷积神经网络推理得到的标签。
[0030]优选的，通过图像相似度对比模型计算两个patch块之间的相似度距离，所述图像
相似度对比模型的形式化定义为：
[0031][0032]其中，G为深度卷积神经网络，θ为模型参数集合，I
p
为图像RGB内容，整体采用欧式距离进行CNN线性层特征的比对。
[0033]根据本申请的第二方面，提出了一种基于图像patch序损失的人脸鉴伪系统，包括：
[0034]样本获取模块，配置用于获取包含训练图像及其标签信息的人像鉴伪数据集，其中所述训练图像至少包括人脸区域；
[0035]样本处理模块，配置用于对所述人像鉴伪数据集进行数据处理，所述数据处理包括：对所述训练图像进行均匀切割并打乱所述训练图像的初始patch序列集合，得到所述训练图像的第一patch序列集合；对所述第一patch序列集合进行增强处理，得到第二patch序列集合；将不同所述训练图像的所述第一patch序列集合和所述第二patch序列集合中的patch块进行随机交换，从而得到处理后的人像鉴伪数据集；
[0036]训练模块，配置用于利用所述处理后的人像鉴伪数据集训练得到神经网络分类模型；
[0037]鉴伪模块，配置用于将待检测图像输入到所述神经网络分类模型中，得到鉴定结果。
[0038]根据本申请本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像patch序损失的人脸鉴伪方法，其特征在于，包括以下步骤：S1、获取包含训练图像及其标签信息的人像鉴伪数据集，其中所述训练图像至少包括人脸区域；S2、对所述人像鉴伪数据集进行数据处理，所述数据处理包括：对所述训练图像进行均匀切割并打乱所述训练图像的初始patch序列集合，得到所述训练图像的第一patch序列集合；对所述第一patch序列集合进行增强处理，得到第二patch序列集合；将不同所述训练图像的所述第一patch序列集合和所述第二patch序列集合中的patch块进行随机交换，从而得到处理后的人像鉴伪数据集；S3、利用所述处理后的人像鉴伪数据集训练得到神经网络分类模型；以及S4、将待检测图像输入到所述神经网络分类模型中，得到鉴定结果。2.根据权利要求1所述的方法，其特征在于，所述步骤S2中所述打乱所述训练图像的初始patch序列集合具体包括：从所述初始patch序列集合中筛选出一个第一patch块，并求取出所述初始patch序列集合中其余patch块与所述第一patch块相似度距离最大的第二patch块，将所述第一patch块与所述第二patch块进行交换；重复上述操作，直至所有patch块均完成一次交换。3.根据权利要求1所述的方法，其特征在于，所述步骤S2中所述对所述第一patch序列集合进行增强处理具体包括：对所述第一patch序列集合中的patch块进行随机旋转、亮度调整、色差调整、改变压缩质量、灰度化处理；将所述第一patch序列集合中的patch块两两按照预设比例混合，并保留其中一个patch块的顺序与主语义。4.根据权利要求1所述的方法，其特征在于，所述步骤S1中所述人像鉴伪数据集至少包括全图生成集、人脸交换集、表情重演集、美颜集及人脸属性编辑集5种数据集，其中伪造图像和自然图像的比例为1：1。5.根据权利要求4所述的方法，其特征在于，所述步骤S3中所述利用所述处理后的数据集训练得到神经网络分类模型具体包括：获取处理后的训练图像和处理后的标签信息对应的第一损失函数、第二损失函数和第三损失函数，其中所述第一损失函数用于表征所述处理后的训练图像和所述处理后的标签信息产生的损失，所述第二损失函数用于表征所述处理后的训练图像中patch序列预测和真实序列之间的损失，所述第三损失函数用于对所述处理后的训练图像中的patch块归属进行判断；根据所述第一损失函数、所述第二损失函数和所述第三损失函数对所述神经网络分...
【专利技术属性】
技术研发人员：高志鹏，黄仁裕，吴俊毅，赵建强，张辉极，杜新胜，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。