【技术实现步骤摘要】
一种基于样例引导的人脸图像多样化修复方法
[0001]本专利技术涉及图像修复
，尤其涉及一种基于样例引导的人脸图像多样化修复方法。
技术介绍
[0002]在图像修复方法中，传统的修复方法能够使用图像周围相似的补丁去填补缺失的图像区域，但是这些方法不能很好地捕捉图像的语义关系，导致这些方法在复杂的图像中往往表现不佳。
[0003]而现有的基于深度学习的修复方法虽然能够在缺失区域生成令人满意的结果，但是这些方法存在如下问题：第一，大部分方法的图像修复结果趋于单一，用户没办法选择想要的修复结果；第二,对于能够输出多种修复结果的方法，虽然结果多样，但是用户没办法引导想要的输出效果；第三，部分修复方法能够引入一些辅助信息，如素描、笔画和特征关键点来控制人脸的生成。但是这些方法由于过于依赖先验信息，导致修复结果拟合先验，限制修复多样性。
[0004]因此，为了解决上述问题，本专利技术提出一种基于样例引导的人脸图像多样化修复方法。该方法在生成对抗网络架构的基础上，首先引入一种自监督属性一致学习方法，能够帮助网络学习样...
【技术保护点】
【技术特征摘要】
1.一种基于样例引导的人脸图像多样化修复方法，其特征在于，所述方法至少包括以下步骤：步骤S1、获取训练集和测试集；其中，训练集用于对模型参数的训练调整，测试集用于对模型进行评估检验；步骤S2、构建网络模型，用于基于样例引导实现人脸图像多样化修复；该网络模型至少包括映射网络、风格网络、生成器网络和鉴别器网络；其中，映射网络用于随机风格编码的生成；风格网络用于将样例图像映射成样例风格编码；映射网络和风格网络的输出信息经混合后输入给生成器网络；生成器网络，用于结合随机风格编码、样例风格编码和全局风格编码对输入图像进行修复得到包含样例属性的人脸修复结果；鉴别器网络，用于生成对抗训练，协助生成器学习真实样本的数据分布；对所有网络进行模型初始化；其中，风格网络用预训练模型的参数进行初始化，并且在网络模型训练过程中风格网络的参数不参与更新；步骤S3、在任一次迭代训练过程中，首先生成和训练图像同样尺寸的二值掩码，然后抹去掩码中对应位置的图像信息，将掩码和图像输入生成器网络中；同时，映射网络随机采样高斯分布，并将高斯分布进行映射成随机风格编码；风格网络将给定样例图像映射成样例风格编码；生成器中的编码器会将输入图像进行编码，得到对应的全局风格向量以及多尺度特征图，并将随机风格编码、样例风格编码和全局风格向量嵌入到生成器中的解码器中，控制人脸属性的生成；同时，生成器的编码器中的多尺度特征会通过跳跃连接和生成器的解码器中对应的尺度的特征图进行信息融合；通过上述的计算，生成器输出经过修复的人脸图像；步骤S4、结合生成对抗损失L
adv
、空间变体感知损失L
LPIPS
、身份损失L
id
、以及属性一致损失L
attri
计算出损失值；根据损失值进行反向传播，利用随机梯度下降法对映射网络、生成器网络和鉴别器网络的参数进行更新调整；步骤S5、利用测试集对本发明的方法模型进行评估；若模型在测试图像中的修复质量指标为当前最高，则保存模型参数；判断训练是否结束，结束则跳转至步骤S6，否则跳转至步骤S3；步骤S6、得到最优的映射网络、生成器网络以及鉴别器网络模型参数，并将映射网络和生成器网络以及预训练的风格网络用于样例引导的人脸多样修复。2.根据权利要求1所述的基于样例引导的人脸图像多样化修复方法，其特征在于，在所述步骤S1中，训练集和测试集皆为图像集合，并且不需要图像标签。3.根据权利要求1所述的基于样例引导的人脸图像多样化修复方法，其特征在于，在所述步骤S2中，映射网络为不包含激活函数的全连接神经网络，用f表示；风格网络是经过预训练的风格编码网络，用于将人脸属性编码到对应的样例风格空间，用E表示；生成器G中包含了编码器G
en
和解码器G
de
；鉴别器网络D为二分类网络，用于判别真实样本和经过修复的样本。4.根据权利要求1所述的基于样例引导的人脸图像多样化修复方法，其特征在于，在所述步骤S3中，用于结合随机风格、样例风格和全局风格对输入图像进行修复得到包含样例属性的人脸修复结果的表示编码的计算公式为：
其中，表示混合后的风格向量，idx表示网络中style layer的下标，表示生成器网络G中第idx个style layer；w
idx
为对应的样例风格向量，为对应的随机风格向量，φ
idx
为本发明引入的二值标签向...
【专利技术属性】
技术研发人员：赵汉理，吕建凯，卢望龙，王敏，姜贤塔，黄辉，
申请(专利权)人：温州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。