一种基于人脸3D先验信息的人脸超分辨率重建装置及方法制造方法及图纸

一种基于人脸3D先验信息的人脸超分辨率重建装置及方法属于图像质量增强技术领域。本发明专利技术在现有融合人脸先验信息的人脸超分辨率技术方案中加入3D渲染模块(3DRenderingBlock)，令具有不同尺度的高维人脸先验信息经过转换后传入先验网络，与不同尺度的人脸超分图像融合，最后与3D渲染模块重建的3D高分辨率细节图像融合，优先保留高分辨率面部细节以提高人脸超分辨率的性能，以便更准确地捕捉人脸的立体结构，同时有助于提高图像的真实感和逼真度，使得生成的图像更加自然。使得生成的图像更加自然。使得生成的图像更加自然。

【技术实现步骤摘要】
一种基于人脸3D先验信息的人脸超分辨率重建装置及方法


[0001]本专利技术属于图像质量增强
，特别是涉及到一种基于人脸3D先验信息的人脸超分辨率重建装置及方法。

技术介绍

[0002]超分辨率重建(Superresolution，SR)是图像质量增强研究的一个重要领域。研究表明，深度学习方法对于图像的重建性能明显优于传统的浅层学习方法。现有基于深度学习的人脸超分辨率方法种类繁多，除了在普通图像上同样适用的普通卷积网络模型、无监督学习模型、GAN生成对抗网络模型等等，还发展出许多针对人脸的特殊性进行超分辨率的方法，包括基于人脸先验信息的人脸超分辨方法、属性约束的人脸超分辨方法等。这些方法在网络结构中加入了人脸的先验信息或人脸属性信息，上述信息具有十分重要的语义信息，能够帮助网络模型更好的还原人脸图像的原貌。其中基于人脸先验信息的人脸超分辨方法由于能够使用卷积网络原本无法学习到的先验信息来指导模型的训练，例如人脸的坐标点、轮廓等，因此效果优异。作为一种特定领域的超分辨率技术，人脸超分辨率重建可用于恢复丢失的面部细节。
[0003]然而，现有的基于人脸先验信息的人脸超分辨方法都具有一些局限性，人脸超分辨率重建成功的关键是如何有效地利用人脸的先验知识从一维向量(身份和属性)，到二维图像(面部地标、面部热图和解析图)，再到三维模型等。因此，如何建模及合理利用这些先验知识，以及如何将这些信息有效地集成到训练框架中是目前亟需要解决的问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是：提供一种基于人脸3D先验信息的人脸超分辨率重建装置及方法用于解决现有的基于人脸先验信息的人脸超分辨方法不能有效地利用人脸的先验知识并将这些信息有效地集成到训练框架中的技术问题。
[0005]基于人脸3D先验信息的人脸超分辨率重建装置，包括人脸低分辨率图像输入端、多尺度特征提取模块、先验模块、3D渲染模块、人脸超分辨率图像输出端；所述先验模块包括可学习张量C的存储与数据处理模块与多个上采样模块；所述3D渲染模块包括3D人脸重建模块、3D人脸先验渲染模块与空间特征变换模块；所述多尺度特征提取模块由一对编码器与解码器构成，多尺度特征提取模块接收人脸低分辨率图像输入端输入的低分辨率图像，然后进行纹理特征提取，并提取潜在变量W发送至先验模块中的可学习张量C的存储与数据处理模块，另外多尺度特征提取模块获得不同尺度的图片并发送至3D人脸重建模块进行3D人脸图像重建；所述3D人脸先验渲染模块接收3D人脸重建模块重建后的3D人脸图像，并进行3D人脸的面部进行优化渲染，获得带有3D人脸先验信息的3D先验特征图再发送给空间特征变换模块；所述空间特征变换模块对渲染后的3D先验特征图进行加噪处理后得到不同尺度的融合特征图；所述可学习张量C的存储与数据处理模块将潜在变量W与可学习张量C做卷积存储至上采样模块作为上采样并与对应尺度的融合特征图融合，融合后的图像作
为下一个上采样模块的上采样再与另一个对应尺度的融合特征图融合，重复多次，最终得到超分辨率图像并通过人脸超分辨率图像输出端输出。
[0006]基于人脸3D先验信息的人脸超分辨率重建方法，利用所述的基于人脸3D先验信息的人脸超分辨率重建装置，包括以下步骤，并且以下步骤顺次进行：
[0007]步骤一、将2D图像通过低分辨率图像输入端输入至多尺度特征提取模块，多尺度特征提取模块对2D图像进行纹理特征提取，多尺度特征提取模块同时提取潜在变量W发送至先验模块中的可学习张量C的存储与数据处理模块，另外多尺度特征提取模块获得多张不同尺度的图片并发送至3D渲染模块；
[0008]步骤二、3D渲染模块中的3D人脸重建模块根据步骤一中提取的纹理特征进行3D人脸重建，获得3D人脸图像并发送至3D人脸先验渲染模块；
[0009]3D人脸先验渲染模块对接收的3D人脸图像采用总体损失函数进行优化渲染，以总体损失函数最小化为优化目标，获得带有3D人脸先验信息的3D先验特征图再发送给空间特征变换模块；空间特征变换模块对渲染后的3D先验特征图进行加噪处理后得到不同尺度的融合特征图；
[0010]步骤三、可学习张量C的存储与数据处理模块将潜在变量W与可学习张量C做卷积存储至上采样模块作为上采样并与对应尺度的融合特征图融合，所述可学习张量C的维度与潜在变量W相同并由随机数填充，融合后的图像作为下一个上采样模块的上采样再与另一个对应尺度的融合特征图融合，重复多次，最终得到超分辨率图像并通过人脸超分辨率图像输出端输出。
[0011]所述3D人脸重建模块中采用基于3DMM的改进模型，该模型使用卷积神经网络来回归3DMM模型的参数，获得3D系数向量并构成3D面部图像，从而形成定位精确的面部结构。
[0012]所述3D系数向量表示为x＝(α,β,δ,γ,ρ)∈R
239
，其中α∈
80
,β∈
64
,δ∈
80
,γ∈9,ρ∈6分别表示身份，面部表情，纹理，照度和面部姿势；
[0013]α、β和δ是用于生成3D人脸的相应系数向量，将人脸系数向量转换为人脸图像的3D形状S和纹理T：
[0014][0015][0016]其中是平均人脸形状，是平均人脸纹理；其中是平均人脸形状，是平均人脸纹理,B
id
表示身份的主成分分析基,B
exp
表示表达的主成分分析基,B
t
表示纹理的主成分分析基,并且B
id
、B
exp
、B
t
均对基矩阵用标准差进行了缩放。
[0017]所述总体损失函数表示如下：
[0018][0019]其中，为皮肤可感知的光照强度损失函数；局部鉴别损失和特征类型损失函数；为人脸身份一致损失函数；
[0020]其中，皮肤可感知的光照强度损失函数表示为：
[0021][0022]公式中表示权重，j是成对的图像索引，L是训练对的总数，i表示像素索引,M表示面部区域，代表清晰的图像，A
i
是通过训练贝叶斯获得的基于皮肤颜色的训练图像的注意力掩膜，y表示输入图像，B(y)表示通过将y作为输入获得的回归系数，表示使用3D系数B(y)渲染的图像；
[0023]局部鉴别损失和特征类型损失函数用于进一步增强感知上显着的面部成分，表示如下：
[0024][0025]公式中，使用Gram矩阵计算特征相关性，捕获纹理信息；λ
local
和λ
fs
分别表示局部鉴别损失和特征类型损失的损失权重；ROI表示左眼、右眼、嘴的感兴趣区域；D
ROI
是每个区域的局部鉴别器；ψ表示学习鉴别器的多分辨率特征；表示感兴趣区域的预测值、y
RI
表示感兴趣区域的真实值、表示期望值；
[0026]人脸身份一致损失函数用于保持人脸身份信息的一致，表示如下：
[0027][0028]这里使用预训练的Ar本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人脸3D先验信息的人脸超分辨率重建装置，其特征是：包括人脸低分辨率图像输入端、多尺度特征提取模块、先验模块、3D渲染模块、人脸超分辨率图像输出端；所述先验模块包括可学习张量C的存储与数据处理模块与多个上采样模块；所述3D渲染模块包括3D人脸重建模块、3D人脸先验渲染模块与空间特征变换模块；所述多尺度特征提取模块由一对编码器与解码器构成，多尺度特征提取模块接收人脸低分辨率图像输入端输入的低分辨率图像，然后进行纹理特征提取，并提取潜在变量W发送至先验模块中的可学习张量C的存储与数据处理模块，另外多尺度特征提取模块获得不同尺度的图片并发送至3D人脸重建模块进行3D人脸图像重建；所述3D人脸先验渲染模块接收3D人脸重建模块重建后的3D人脸图像，并进行3D人脸的面部进行优化渲染，获得带有3D人脸先验信息的3D先验特征图再发送给空间特征变换模块；所述空间特征变换模块对渲染后的3D先验特征图进行加噪处理后得到不同尺度的融合特征图；所述可学习张量C的存储与数据处理模块将潜在变量W与可学习张量C做卷积存储至上采样模块作为上采样并与对应尺度的融合特征图融合，融合后的图像作为下一个上采样模块的上采样再与另一个对应尺度的融合特征图融合，重复多次，最终得到超分辨率图像。2.基于人脸3D先验信息的人脸超分辨率重建方法，利用权利要求1所述的基于人脸3D先验信息的人脸超分辨率重建装置，其特征是：包括以下步骤，并且以下步骤顺次进行：步骤一、将2D图像通过低分辨率图像输入端输入至多尺度特征提取模块，多尺度特征提取模块对2D图像进行纹理特征提取，多尺度特征提取模块同时提取潜在变量W发送至先验模块中的可学习张量C的存储与数据处理模块，另外多尺度特征提取模块获得多张不同尺度的图片并发送至3D渲染模块；步骤二、3D渲染模块中的3D人脸重建模块根据步骤一中提取的纹理特征进行3D人脸重建，获得3D人脸图像并发送至3D人脸先验渲染模块；3D人脸先验渲染模块对接收的3D人脸图像采用总体损失函数进行优化渲染，以总体损失函数最小化为优化目标，获得带有3D人脸先验信息的3D先验特征图再发送给空间特征变换模块；空间特征变换模块对渲染后的3D先验特征图进行加噪处理后得到不同尺度的融合特征图；步骤三、可学习张量C的存储与数据处理模块将潜在变量W与可学习张量C做卷积存储至上采样模块作为上采样并与对应尺度的融合特征图融合，所述可学习张量C的维度与潜在变量W相同并由随机数填充，融合后的图像作为下一个上采样模块的上采样再与另一个对应尺度的融合特征图融合，重复多次，最终得到超分辨率图像并通过人脸超分辨率图像输出端输出。3.根据权利要求2所述的基于人脸3D先验信息的人脸超分辨率重建方法，其特征是：所述3D人脸重建模块中采用基于3DMM的改进模型，该模型使用卷积神经网络来回归3DMM模型的参数，获得3D系数向量并构成3D面部图像，从而形成定位精确的面部结构。4.根据权利要求2所述的基于人脸3D先验信息的人脸超分辨率重建方法，其特征是：所...

【专利技术属性】
技术研发人员：刘广文，姚汉群，付强，马智勇，王伟刚，李英超，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：