一种图像高质量和谐化模型训练及装置制造方法及图纸

本说明书实施例公开了一种图像高质量和谐化模型训练方法，所述方法包括：获取高质量样本图像，转化为低质量样本图像输入生成网络中；通过编码器提取出低质量样本图像的多尺度图像特征，通过融合模块融合多尺度图像特征和预先获取的人脸先验特征，由解码器解码得到对应的高质量重构图像；根据高质量重构图像与高质量样本图像计算生成损失；采用判别网络判断高质量重构图像是否为高质量样本图像，计算判别损失；以判别损失最小化为目标，训练判别网络；以生成损失最小化为目标，训练生成网络。本说明书实施例还公开了提高生物图像质量的方法。相应地，本说明书实施例公开了图像高质量和谐化模型训练装置和提高生物图像质量的装置。置。置。

【技术实现步骤摘要】
一种图像高质量和谐化模型训练及装置


[0001]本说明书实施例涉及一种图像处理方法，尤其涉及一种图像高质量和谐化方法。

技术介绍

[0002]手机已经成为如今人人必备的通讯工具，随着科技的发展，使用手机进行身份验证的方式经历了从密码到指纹再到人脸的发展，而手机等设备的安全性也正受到各方面的挑战。
[0003]在IIFAA生物安全性攻击检测中，需要智能生成足够逼真的人脸攻击物料，来对手机的身份验证功能进行安全评测，以保证人脸安全评测的完备有效。该攻击手段首先要有通用性，在不同的手机黑盒测试中都具备较稳定的攻击力；其次要有高攻击率，从而有效拉开不同待测手机厂商在人脸识别算法上的差距；另外该攻击手段需要通过算法智能生成，区别于物理生成或普通的ps手段，能提高模型的可解释性。
[0004]在目前主流的人脸活化攻击物料生成方法中，有基于2d关键点进行表情迁徙获得攻击物料的方法，如fomm算法。不过在攻击过程中主流人脸算法要求较高的分辨率，从而达到理想的高攻击率。
[0005]鉴于此，希望获得一种图像高质量和谐化的方法，其能够修复表情迁徙过程中产生的伪造痕迹，提高生成图像的质量，从而使获得的人脸攻击物料能够有效攻击人脸识别算法。

技术实现思路

[0006]本说明书实施例的目的之一在于提供一种图像高质量和谐化模型训练方法，该方法能够提高图像的质量，例如表情迁徙获得的生成图像的质量，修复表情迁徙过程中产生的伪造痕迹，从而使获得的人脸攻击物料具有较高的攻击率。
[0007]根据上述目的，本说明书实施例提出了一种图像高质量和谐化模型训练方法，所述高质量和谐化模型为生成对抗网络，包括判别网络和生成网络，所述生成网络包括编码器、融合模块和解码器，所述方法包括：
[0008]获取高质量样本图像；
[0009]将所述高质量样本图像转化为低质量样本图像；
[0010]将所述低质量样本图像输入所述生成网络中，通过所述编码器提取出所述低质量样本图像的多尺度图像特征；
[0011]通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，得到融合后的特征；
[0012]通过所述解码器对所述融合后的特征进行解码，得到所述低质量样本图像对应的高质量重构图像；
[0013]根据所述高质量重构图像与所述高质量样本图像计算生成损失；
[0014]采用所述判别网络判断所述高质量重构图像是否为所述高质量样本图像；
[0015]根据所述判别网络的判别结果计算判别损失；
[0016]以判别损失最小化为目标，训练所述判别网络；以生成损失最小化为目标，训练所述生成网络。
[0017]在本说明书实施例中，提取多尺度图像特征可以从各个方面获得图像的特征信息，再通过融合人脸先验特征，能够更加全面且准确地进行图像特征表达，从而解码恢复高逼真高质量的图像数据，能够修复表情迁徙过程中产生的伪造痕迹，从而使获得的人脸攻击物料能够有效攻击人脸识别算法。
[0018]进一步地，在本说明书实施例中，所述人脸先验特征包括多尺度人脸特征；
[0019]通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，具体包括：
[0020]针对每种尺度，将该尺度的图像特征与该尺度的人脸特征融合。
[0021]更进一步地，在本说明书实施例中，通过所述编码器提取出所述低质量样本图像的多尺度图像特征，具体包括：
[0022]针对每种尺度，通过所述编码器提取所述低质量样本图像在该尺度下的图像特征以及该尺度下的图像特征对应的权重，所述权重用于表征该尺度下的图像特征对于解码得到高质量重构图像的重要性程度；
[0023]将该尺度的图像特征与该尺度的人脸特征融合，具体包括：
[0024]拼接该尺度的图像特征与该尺度的人脸特征，得到拼接特征；
[0025]通过该尺度的图像特征对应的权重对所述拼接特征进行加权，得到该尺度的融合特征。
[0026]在进行特征融合时，引入权重来表示各尺度下不同特征维度的特征表达贡献值，比如颜色信息能较好地表达图像特征，就为它分配较高的权重；这些权重构成隐向量c，其作为调节器编辑各个特征维度的贡献值，对于重要的特征信息加强其影响力，对于无关紧要的特征信息削弱其作用，使融合后的特征能够更准确、全面地表示图像，从而恢复出更逼真的高清图像。
[0027]进一步地，在本说明书实施例中，采用styleGAN2网络的生成网络构建的融合模块预先获取人脸先验特征。
[0028]进一步地，在本说明书实施例中，以生成损失最小化为目标，训练所述生成网络具体包括：
[0029]以生成损失最小化为目标，对所述生成网络的编码器和解码器进行训练。
[0030]进一步地，在本说明书实施例中，根据所述高质量重构图像与所述高质量样本图像计算生成损失具体包括：
[0031]在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失，将其作为所述生成损失。
[0032]进一步地，根据所述高质量重构图像与所述高质量样本图像计算生成损失具体包括：
[0033]在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失；
[0034]在频域内，将所述高质量重构图像与所述高质量样本图像均进行变换以及对应的
逆变换，根据变换后的高质量重构图像与变换后的高质量样本图像，计算二者的频域均方误差损失；
[0035]在特征空间内，根据所述高质量重构图像与所述高质量样本图像的特征映射，计算二者的特征均方误差损失；
[0036]将所述空域均方误差损失、频域均方误差损失和特征均方误差损失加权融合，作为所述生成损失。
[0037]本说明书实施例的另一目的在于提供一种提高生物图像质量的方法，该方法提高生物图像质量，例如可以修复表情迁徙过程中产生的伪造痕迹，提高人脸攻击物料中图像的质量，从而能够有效用于攻击人脸识别算法。
[0038]根据上述目的，本说明书实施例提供了一种提高生物图像质量的方法，所述方法包括：
[0039]获取待处理的低质量原始生物图像；
[0040]将所述低质量原始生物图像输入预先训练好的高质量和谐化模型的生成网络中，获得高质量图像，所述高质量和谐化模型是采用如上所述的图像高质量和谐化模型训练方法训练得到的。
[0041]本说明书实施例的又一目的在于提供一种图像高质量和谐化模型训练装置，该装置能够提高图像的质量，例如提高表情迁徙获得的生成图像的质量，修复表情迁徙过程中产生的伪造痕迹，从而使获得的人脸攻击物料具有较高的攻击率。
[0042]根据上述目的，本说明书实施例提供了一种图像高质量和谐化模型训练装置，所述装置包括：
[0043]样本处理模块，用于获取高质量样本图像，将所述高质量样本图像转化为低质量样本图像；
[0044]生成模块，用于将所述低质量样本图像输入所述生成网络中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像高质量和谐化模型训练方法，所述高质量和谐化模型为生成对抗网络，包括判别网络和生成网络，所述生成网络包括编码器、融合模块和解码器，所述方法包括：获取高质量样本图像；将所述高质量样本图像转化为低质量样本图像；将所述低质量样本图像输入所述生成网络中，通过所述编码器提取出所述低质量样本图像的多尺度图像特征；通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，得到融合后的特征；通过所述解码器对所述融合后的特征进行解码，得到所述低质量样本图像对应的高质量重构图像；根据所述高质量重构图像与所述高质量样本图像计算生成损失；采用所述判别网络判断所述高质量重构图像是否为所述高质量样本图像；根据所述判别网络的判别结果计算判别损失；以判别损失最小化为目标，训练所述判别网络；以生成损失最小化为目标，训练所述生成网络。2.如权利要求1所述的图像高质量和谐化模型训练方法，所述人脸先验特征包括多尺度人脸特征；通过所述融合模块将所述多尺度图像特征和预先获取的人脸先验特征融合，具体包括：针对每种尺度，将该尺度的图像特征与该尺度的人脸特征融合。3.如权利要求2所述的图像高质量和谐化模型训练方法，通过所述编码器提取出所述低质量样本图像的多尺度图像特征，具体包括：针对每种尺度，通过所述编码器提取所述低质量样本图像在该尺度下的图像特征以及该尺度下的图像特征对应的权重，所述权重用于表征该尺度下的图像特征对于解码得到高质量重构图像的重要性程度；将该尺度的图像特征与该尺度的人脸特征融合，具体包括：拼接该尺度的图像特征与该尺度的人脸特征，得到拼接特征；通过该尺度的图像特征对应的权重对所述拼接特征进行加权，得到该尺度的融合特征。4.如权利要求1所述的图像高质量和谐化模型训练方法，采用styleGAN2网络的生成网络构建的融合模块预先获取人脸先验特征。5.如权利要求1所述的图像高质量和谐化模型训练方法，以生成损失最小化为目标，训练所述生成网络具体包括：以生成损失最小化为目标，对所述生成网络的编码器和解码器进行训练。6.如权利要求1所述的图像高质量和谐化模型训练方法，根据所述高质量重构图像与所述高质量样本图像计算生成损失具体包括：在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失，将其作为所述生成损失。7.如权利要求1所述的图像高质量和谐化模型训练方法，根据所述高质量重构图像与
所述高质量样本图像计算生成损失具体包括：在空域内，根据所述高质量重构图像与所述高质量样本图像，计算二者的空域均方误差损失；在频域内，将所述高质量重构图像与所述高质量样本图像均进行变换以及对应的逆变换，根据变换后的高质量重构图像与变换后的高质量样本图像，计算二者的频域均方误差损失；在特征空间内，根据所述高质量重构图像与所述高质量样本图像的特征映射，计算二者的特征均方误差损失；将所述空域均方误差损失、频域均方误差损失和特征均方误差损失加权融合，作为所述生成损失。8.一种提高生物图像质量的方法，所述方法包括：获取待处理的低质量原始生物图像；将所述低质量原始生物图像输入预先训练好的高质量和谐化模型的生成网络中，获得高质量图像，所述高质量和谐化模型是采用如权利要求1至7任一所述方法训练得到的。9.一种图像高质量和谐化模型训练...

【专利技术属性】
技术研发人员：童仁玲，邱晗若，朱凯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：