人脸图像盲修复方法及系统技术方案

本发明专利技术提供一种人脸图像盲修复方法及系统，首先获取待修复人脸图像；然后将待修复人脸图像输入至三维记忆调制生成模型，由三维记忆调制生成模型对待修复人脸图像进行盲修复，并得到三维记忆调制生成模型输出的盲修复后的目标人脸图像。三维记忆调制生成模型中包含的三维记忆调制模块可以从拓扑优化、小波记忆以及通用先验这三个方面对待修复人脸图像进行调制，并引入层规范化层面以及实例规范化层面的特征融合，最终得到修复后的目标人脸图像。通过三维记忆调制生成模型，可以克服待修复失真人脸图像中可能包含的退化模式带来的不确定性，极大地提高了人脸图像盲修复的效果，使得人脸图像盲修复更加精准，得到的目标人脸图像的图像质量更高。人脸图像的图像质量更高。人脸图像的图像质量更高。

【技术实现步骤摘要】
人脸图像盲修复方法及系统


[0001]本专利技术涉及人脸修复
，尤其涉及一种人脸图像盲修复方法及系统。

技术介绍

[0002]目前，传统的人脸图像修复技术主要针对于同一个场景下、特定退化形式的人脸图像。随着人脸图像修复技术的提高，不同场景下的高泛化、可控人脸图像修复技术受到了广泛的关注，特别是基于特征调制的人脸图像盲修复技术进一步丰富了人脸图像修复的应用。
[0003]人脸图像盲修复即人脸图像盲复原，是指当点扩展函数未知或不确知的情况下，从低质的待修复人脸图像恢复出清晰、高质的目标人脸图像的过程。人脸图像盲修复技术在人脸超分技术的基础上需要抵御更多的图像退化模式，生成目标人脸图像，其本质上是一种非匹配人脸图像修复技术。
[0004]由于待修复人脸图像同时包含五官模糊、运动模糊、低分辨率、噪声、JPEG压缩等多种随机组合的退化模式，这种不确定性将极大地影响人脸图像盲修复的效果。

技术实现思路

[0005]本专利技术提供一种人脸图像盲修复方法及系统，用以解决现有技术中存在的缺陷。
[0006]本专利技术提供一种人脸图像盲修复方法，包括：
[0007]获取待修复人脸图像；
[0008]将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；
[0009]其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；
[0010]所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。
[0011]根据本专利技术提供的一种人脸图像盲修复方法，所述三维记忆调制模块具体用于：
[0012]对所述输入特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的原始注意力图；
[0013]将所述输入特征进行层规范化，得到层规范化特征，并对所述层规范化特征进行卷积操作以及概率归一化操作，确定所述层规范化层面的注意力图；
[0014]将所述输入特征进行实例规范化，得到实例规范化特征，并对所述实例规范化特征进行卷积操作以及概率归一化操作，确定所述实例规范化层面的注意力图。
[0015]根据本专利技术提供的一种人脸图像盲修复方法，所述三维记忆调制模块还具体用于：
[0016]基于所述层规范化层面的注意力图，采用所述调制特征，对所述层规范化特征进行加权调制，得到层调制特征；
[0017]基于所述实例规范化层面的注意力图，采用所述调制特征，对所述实例规范化特征进行加权调制，得到实例调制特征；
[0018]基于所述原始注意力图，对所述层调制特征以及所述实例调制特征进行加权融合，得到目标调制特征；
[0019]基于所述目标调制特征，得到所述目标人脸图像。
[0020]根据本专利技术提供的一种人脸图像盲修复方法，所述待修复人脸图像从包含有背景区域的待修复图像中提取得到；
[0021]相应地，所述得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像，之后还包括：
[0022]将所述目标人脸图像与所述待修复图像中的背景区域进行融合，对所述待修复图像进行修复。
[0023]根据本专利技术提供的一种人脸图像盲修复方法，所述第一类人脸图像样本基于如下方式确定：
[0024]在所述第二类人脸图像样本上添加高斯模糊或运动模糊，得到模糊样本；
[0025]将所述模糊样本进行下采样处理，得到下采样样本；
[0026]在所述下采样样本上添加高斯噪声，得到噪声样本；
[0027]对所述噪声样本进行JPEG压缩，得到压缩样本；
[0028]将所述压缩样本进行上采样，得到上采样样本，并将所述上采样样本作为所述第一类人脸图像样本；
[0029]其中，所述上采样样本与所述待修复人脸图像的分辨率相同。
[0030]根据本专利技术提供的一种人脸图像盲修复方法，所述三维记忆调制生成模型基于如下方法训练得到：
[0031]根据待训练三维记忆调制生成模型中各节点的权重参数，对于任一第二类人脸图像样本以及对应的第一类人脸图像样本，计算所述待训练三维记忆调制生成模型所得到的目标损失函数值；
[0032]根据所述目标损失函数值以及求导链式法则，计算所述待训练三维记忆调制生成模型的目标损失函数对所述待训练三维记忆调制生成模型中所有节点的权重参数的偏导数；
[0033]根据所述偏导数，对所述待训练三维记忆调制生成模型中所有节点的权重参数进行更新；
[0034]更换所述任一第二类人脸图像样本，重复执行上述步骤，直到满足迭代条件，得到所述三维记忆调制生成模型。
[0035]根据本专利技术提供的一种人脸图像盲修复方法，所述目标损失函数包括对抗损失函数、像素级别损失函数、高层感知特征级别损失函数以及五官特征损失函数；
[0036]所述对抗损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间的对抗差异；
[0037]所述像素级别损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间像素级别的差异，以及所述任一第二类人脸图像样本与第二目标人脸图像样本之间像素级别的差异，所述第一目标人脸图像样本基于所述待训练三维记忆调制生成模型对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行盲修复得到，所述第二目标人脸图像样本基于所述待训练三维记忆调制生成模型中的拓扑优化模块对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行优化拓扑得到；
[0038]所述高层感知特征级别损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间高层感知特征级别的差异；
[0039]所述五官特征损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间五官区域特征级别的差异。
[0040]本专利技术还提供一种人脸图像盲修复系统，包括：
[0041]图像获取模块，用于获取待修复人脸图像；
[0042本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像盲修复方法，其特征在于，包括：获取待修复人脸图像；将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。2.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述三维记忆调制模块具体用于：对所述输入特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的原始注意力图；将所述输入特征进行层规范化，得到层规范化特征，并对所述层规范化特征进行卷积操作以及概率归一化操作，确定所述层规范化层面的注意力图；将所述输入特征进行实例规范化，得到实例规范化特征，并对所述实例规范化特征进行卷积操作以及概率归一化操作，确定所述实例规范化层面的注意力图。3.根据权利要求2所述的人脸图像盲修复方法，其特征在于，所述三维记忆调制模块还具体用于：基于所述层规范化层面的注意力图，采用所述特征调制的控制量，对所述层规范化特征进行加权调制，得到层调制特征；基于所述实例规范化层面的注意力图，采用所述特征调制的控制量，对所述实例规范化特征进行加权调制，得到实例调制特征；基于所述原始注意力图，对所述层调制特征以及所述实例调制特征进行加权融合，得到目标调制特征；基于所述目标调制特征，得到所述目标人脸图像。4.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述待修复人脸图像从包含有背景区域的待修复图像中提取得到；相应地，所述得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像，之后
还包括：将所述目标人脸图像与所述待修复图像中的背景区域进行融合，对所述待修复图像进行修复。5.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述第一类人脸图像样本基于如下方式确定：在所述第二类人脸图像样本上添加高斯模糊或运动模糊，得到模糊样本；将所述模糊样本进行下采样处理，得到下采样样本；在所述下采样样本上添加高斯噪声，得到噪声样本；对所述噪声样本进行JPEG压缩，得到压缩样本；将所述压缩样本进行上采样，得到上采样样本，并将所述上采样样本作为所述第一类人脸图像样本；其中，所述上采样样本与所述待修复人脸图像的分辨率相同。6.根据权利要求1
‑
5中任一项所述的人脸图像盲修复方法，其特征在于，所述三维记忆调制生成模型基于如下方法训练得到：根据待训练三维记忆调制...

【专利技术属性】
技术研发人员：赫然，黄怀波，李佳，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：