本发明专利技术提供一种生成器模型训练及人脸重构生成方法、装置及存储介质，该方法包括：图像重构生成步骤，获取真实人脸图像输入到生成器模型中，由生成器模型对真实人脸图像重构生成人脸重构图像；图像局部一致性强化步骤，将人脸重构图像随机裁剪为多个随机图像块并进行配对，计算各图像块对内的特征距离，计算局部特征一致性损失并更新生成器模型的参数；图像判别步骤，将图像输入到判别器模型中，由判别器模型输出图像真假的结果，计算真假判别损失并更新判别器模型的参数；重复以上3个步骤，并通过随机梯度下降法交替更新生成器模型和判别器模型的参数，训练以获得生成器模型。本发明专利技术能够有效克服对抗攻击技术对人脸图像的干扰。扰。扰。
【技术实现步骤摘要】
生成器模型训练及人脸重构生成方法、装置及存储介质
[0001]本专利技术涉及人脸识别
及深度学习
，尤其涉及生成器模型训练及人脸重构生成方法、装置及存储介质。
技术介绍
[0002]人脸识别技术在闸机出入管理、快捷支付等应用中有关键作用。由于深度学习技术的兴起，基于深度神经网络的人脸识别技术具有识别精度高、识别速度快、识别人数多等优势，逐渐在上述应用中占据主导地位。基于深度学习的人脸识别技术的鲁棒性一直以来是人工智能安全领域最关心的问题之一。然而，随着对抗攻击技术的出现，使得人脸识别技术的鲁棒性进一步受到影响。对抗攻击技术生成的攻击样本可以在原图像上附加人眼无法察觉的干扰像素，导致人脸识别的错误。近年来，因为对抗攻击技术的提出，严重影响了人脸识别技术鲁棒性提高，导致其在闸机出入管理、快捷支付等应用的部署严重受阻，人们开始探索如何对对抗攻击技术进行主动的防御，即对抗防御技术，以提升人脸识别应用在对抗攻击影响下的识别能力。
[0003]现有的对抗防御技术主要分为两大类，第一类方法需要对模型进行重新的对抗训练与部署，需要改变当前已部署模型的参数与结构，训练开销极大；第二类方法聚焦于人脸识别的数据预处理阶段，在此阶段对攻击样本进行重构，过滤其携带的干扰特征，保证已部署人脸识别模型识别的高准确率。关于第二类方法，现有的传统图像预处理技术，例如图像压缩、图像尺寸变换、图像二值化、图像随机裁剪等操作在一定程度上可以消除干扰像素的影响。但是，由于对抗攻击样本的干扰特征具有高语义迁移性，上述传统图像预处理技术难以彻底消除干扰像素的影响。
[0004]为此，如何有效克服对抗攻击技术对人脸识别技术精度和鲁棒性的影响是一个亟待解决的技术问题。
技术实现思路
[0005]鉴于此，本专利技术实施例提供了一种模型训练及人脸重构生成方法、装置及存储介质，训练得到一生成器模型，基于此生成器模型对人脸图像进行重构生成，以有效克服对抗攻击技术对人脸识别技术精度和鲁棒性的影响。
[0006]本专利技术的一个方面提供了一种用于人脸识别的对抗生成网络生成器模型训练方法，该方法包括以下步骤：
[0007]图像重构生成步骤：从训练集中获取真实人脸图像输入到预先建立的生成器模型中，经由所述生成器模型对输入的真实人脸图像进行重构而生成人脸重构图像；
[0008]图像局部一致性强化步骤，该步骤包括：
[0009]将所述人脸重构图像随机裁剪为多个随机图像块并进行配对获得多个图像块对，利用教师模型对各随机图像块进行特征提取，基于提取的特征计算各图像块对内的特征距离，并利用构建的局部特征一致性损失函数来基于各图像块对内的特征距离计算局部特征
一致性损失；
[0010]至少根据所述局部特征一致性损失更新所述生成器模型的参数；
[0011]图像判别步骤：将真实人脸图像和经当前生成器输出的人脸重构图像输入到预先建立的判别器模型中，以由所述判别器模型输出指示输入的人脸重构图像是否为真实人脸图像的二分类结果，以基于所述二分类结果利用构建的判别器损失函数计算真假判别损失，并基于所述真假判别损失更新所述判别器模型的参数；
[0012]重复图像重构生成步骤、图像局部一致性强化步骤和图像判别步骤，以通过随机梯度下降法交替更新所述生成器模型和判别器模型的参数，当所述真假判别损失的波动低于预设阈值时结束训练过程，从而获得经训练的生成器模型。
[0013]在本专利技术的一些实施例中，所述图像重构生成步骤还包括：
[0014]利用构建的像素差异损失函数来基于所述生成器模型的输入真实人脸图像与输出的人脸重构图像各个像素点间的像素差异计算输入真实人脸图像与输出的人脸重构图像间的像素差异损失；和/或
[0015]利用构建的身份保持损失函数来基于所述生成器模型的输入真实人脸图像与输出的人脸重构图像的身份特征向量间的距离计算输入真实人脸图像与输出的人脸重构图像间的身份保持损失；
[0016]所述至少根据所述局部特征一致性损失更新所述生成器模型的参数包括：根据所述局部特征一致性损失、像素差异损失和/或身份保持损失来更新所述生成器模型的参数。
[0017]在本专利技术的一些实施例中，所述像素差异损失函数表示为：
[0018][0019]其中，W和H分别为图像的宽和高，和为对应的真实人脸图像和人脸重构图像在每个像素点位置的像素值；
[0020]所述身份保持损失函数表示为：
[0021][0022]其中，和为真实人脸图像与人脸重构图像的身份特征向量，和为输入真实人脸图像与人脸重构图像提取的特征图。
[0023]在本专利技术的一些实施例中，所述局部特征一致性损失函数表示为：
[0024][0025]其中，和分别为教师模型提取到的随机配对两个图像块的特征图，N为一张人脸重构图像随机裁剪为图像块的配对总数，KL为用于计算特征距离的信息散度计算公式。
[0026]在本专利技术的一些实施例中，所述真实人脸图像和所述人脸重构图像均可分为关键区域和非关键区域，所述关键区域包含五官区域，所述非关键区域为非五官区域；所述将所述人脸重构图像随机裁剪为多个随机图像块并进行配对获得多个图像块对步骤包括：将所
述人脸重构图像随机裁剪为多个随机图像块并将属于人脸重构图像关键区域的图像块和属于人脸重构图像次关键区域的图像块进行配对获得多个图像块对。
[0027]在本专利技术的一些实施例中，所述利用教师模型对各随机图像块进行特征提取步骤中，所提取的特征为包含人脸二维空间特征的特征图。
[0028]在本专利技术的一些实施例中，所述教师网络为由人脸数据集已训练完成的具备先验知识的人脸识别神经网络。
[0029]本专利技术的另一方面提供了一种人脸重构生成方法，该方法包括：
[0030]所述生成器模型获取人脸图像；
[0031]所述生成器模型的编码器提取真实人脸图像的特征向量，所述生成器模型的解码器基于所述特征向量进行人脸重构生成；
[0032]所述生成器模型输出人脸重构图像；
[0033]所述生成器模型为如上对抗生成网络生成器模型训练方法实施例中任一项所述生成器模型训练方法得到的生成器模型。
[0034]本专利技术的另一方面提供了一种人脸重构生成装置，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如上实施例中任一项所述生成器模型训练方法的步骤，或人脸重构生成方法的步骤。
[0035]本专利技术的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上实施例中任一项所述生成器模型训练方法的步骤，或人脸重构生成方法的步骤。
[0036]本专利技术的生成器模型训练及人脸重构生成方法、装置及存储介质，能够借助教师网络的特征提取能力分析局部图像块的特征信息，通过设计的随机配对距离测量方法，可以分析出对抗攻击样本和原始感觉图像在特征层面的显著差异性，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于人脸识别的对抗生成网络生成器模型训练方法，其特征在于，该方法包括以下步骤：图像重构生成步骤：从训练集中获取真实人脸图像输入到预先建立的生成器模型中，经由所述生成器模型对输入的真实人脸图像进行重构而生成人脸重构图像；图像局部一致性强化步骤，该步骤包括：将所述人脸重构图像随机裁剪为多个随机图像块并进行配对获得多个图像块对，利用教师模型对各随机图像块进行特征提取，基于提取的特征计算各图像块对内的特征距离，并利用构建的局部特征一致性损失函数来基于各图像块对内的特征距离计算局部特征一致性损失；至少根据所述局部特征一致性损失更新所述生成器模型的参数；图像判别步骤：将真实人脸图像和经当前生成器输出的人脸重构图像输入到预先建立的判别器模型中，以由所述判别器模型输出指示输入的人脸重构图像是否为真实人脸图像的二分类结果，以基于所述二分类结果利用构建的判别器损失函数计算真假判别损失，并基于所述真假判别损失更新所述判别器模型的参数；重复图像重构生成步骤、图像局部一致性强化步骤和图像判别步骤，以通过随机梯度下降法交替更新所述生成器模型和判别器模型的参数，当所述真假判别损失的波动低于预设阈值时结束训练过程，从而获得经训练的生成器模型。2.根据权利要求1所述的方法，其特征在于，所述图像重构生成步骤还包括：利用构建的像素差异损失函数来基于所述生成器模型的输入真实人脸图像与输出的人脸重构图像各个像素点间的像素差异计算输入真实人脸图像与输出的人脸重构图像间的像素差异损失；和/或利用构建的身份保持损失函数来基于所述生成器模型的输入真实人脸图像与输出的人脸重构图像的身份特征向量间的距离计算输入真实人脸图像与输出的人脸重构图像间的身份保持损失；所述至少根据所述局部特征一致性损失更新所述生成器模型的参数包括：根据所述局部特征一致性损失、像素差异损失和/或身份保持损失来更新所述生成器模型的参数。3.根据权利要求2所述的方法，其特征在于，所述像素差异损失函数表示为：其中，W和H分别为图像的宽和高，和为对应的真实人脸图像和人脸重构图像在每个像素点位置的像素值；所述身份保持损失...
【专利技术属性】
技术研发人员：郑霄龙，杜沛伦，马华东，刘亮，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。