一种离散特征驱动的盲人脸图像丢失细节重建方法技术

本发明专利技术公开一种离散特征驱动的盲人脸图像丢失细节重建方法，涉及盲人脸修复技术领域。本发明专利技术一阶段采用预处理得到的高清和退化人脸图像，通过构建网络模型，量化了图像特征并通过训练得到上下文丰富的离散码本，以作为二阶段的输入，从而改进网络表现力以及提升抗退化的鲁棒性；二阶段通过将预处理得到的退化人脸图输入到编码器进行局部特征提取，然后将局部特征和位置编码共同输入Transformer编码器获取图像的全局特征，然后利用特征重表示模块对全局特征进行特征重表示；接着将重表示特征用预训练好的码本进行量化，然后将全局特征和量化后的特征共同输入到Transformer解码器进行特征补全，最后输入到解码器进行图像重建，得到图像。得到图像。

【技术实现步骤摘要】
restoration in the wild.In CVPR和Xintao Wang等Towards real
‑
worldblind face restoration with generative facial prior.In CVPR将生成先验嵌入到编码器
‑
解码器网络结构中，并带有额外的来自输入图像的结构特征作为指导。尽管保真度有所提高，但这些方法高度依赖输入的图像结构特征，当输入严重退化时可能会在结果中引入伪影，反而使最终的修复质量变得更差。
[0006]综上所述，目前现有技术的盲人脸修复方法存在下述技术问题，基于卷积神经网络进行特征提取的方法无法捕捉到图像的远距离依赖信息，不利于充分利用图像的上下文信息；基于几何先验的方法无法从退化的人脸中准确获取信息，且无法提供人脸丰富的细节；基于参考先验的方法中的字典特征仍然不足以提供高质量的面部恢复特征，尤其是字典范围之外的区域；基于生成先验的方法无法保证结果的保真度，借助跳过连接引入输入图像的结构特征来提升保真度的同时可能会引入伪影，导致更差的结果。
[0007]无论是基于参考先验的方法，还是基于StyleGAN这种预训练好的生成对抗网络模型的生成先验的方法，都可以得到比较真实的结果，但是无法保证结果的保真度。将输入特征通过跳过连接，结合到解码器上虽然可以提升保真度，但是当输入退化严重的时候，反而会得到更差的结果。因此，针对上述问题，本专利技术提供了一种一种离散特征驱动的盲人脸图像丢失细节重建方法。

技术实现思路

[0008]本专利技术的目的在于，提供一种离散特征驱动的盲人脸图像丢失细节重建方法，获得逼真的面部并恢复高质量的面部细节，同时提升退化面孔修复后结果的保真度。
[0009]为实现上述技术目的，达到上述技术效果，本专利技术是通过以下技术方案实现：
[0010]一种离散特征驱动的盲人脸图像丢失细节重建方法，包括以下步骤：
[0011]S1：人脸数据集预处理；
[0012]S2：训练量化自编码器以获得上下文丰富的离散码本；
[0013]S3：进行局部特征提取，局部特征与位置编码共同输入Transformer编码器获取图像的全局特征，并对全局特征进行特征重表示，接着对重表示特征利用离散码本进行量化，在利用Transformer解码器进行特征补全，最后输入到解码器进行图像重建。
[0014]进一步的，所述S2包括：
[0015]S201：将S1预处理得到的高清人脸图像I
hq
输入到图像编码器以获取该图像对应的特征Z
h
；
[0016]S202：将特征Z
h
中的每个“像素”替换为可学习码本中距离最小的特征，得到量化后的特征Z
c
，将量化后的特征Z
c
输入到解码器重建得到输出I
out
；
[0017]S203：对重建后的输出I
out
和对应的原高清图像计算损失函数，反向传播更新模型参数；
[0018]按照设定的迭代次数和批大小重复上述S201
‑
S203，期间每经过10000次迭代并在预处理的验证集验证并保存模型；
[0019]保存上述训练完成后得到离散码本。
[0020]进一步的，所述S2先构建包括图像编码器和图像解码器的一阶段网络模型；
[0021]输入高清人脸图像I
hq
输入到图像编码器，获取该图像对应的特征Z
h
，量化后的特
征Z
c
如下式：
[0022][0023]其中，i,j分别为特征的行数和列数，用i,j表示二维空间的其中一个特征，c
k
为离散码本中的一个离散特征。
[0024]进一步的，所述S2的损失函数包括重建损失、感知损失、对抗损失和码本损失；损失函数如下式：
[0025]L
total
＝L
pix
+L
per
+L
adv
+L
code
[0026]各个损失函数如下所示，其中，β＝0.25：
[0027]L
pix
＝||I
hq
‑
I
out
||1[0028]L
per
＝|φ(I
hq
)
‑
φ(I
out
)1[0029]L
adv
＝logD(I
hq
)+log(1
‑
D(I
out
))
[0030][0031]进一步的，所述S3包括：
[0032]S301：将S1预处理得到的退化人脸图像I
lq
输入到编码器进行局部特征提取得到Z
l
，然后将局部特征Z
l
和位置编码共同输入Transformer编码器获取图像的全局特征Z
g
，然后利用特征重表示模块对全局特征Z
g
进行特征重表示后得到Z
r
；
[0033]其中特征重表示模块由三个中心掩膜卷积组成，用每个特征点周围的特征来重新表示该点特征，旨在解决原退化图像特征不准确的问题。
[0034]S302：接着将重表示特征Z
r
用S2预训练好的码本进行量化得到Z
q
，然后将Z
q
和Z
g
共同输入到Transformer解码器进行特征补全，得到Z
d
；最后将Z
d
输入到解码器进行图像重建，得到I
out
；
[0035]其中，量化过程同上述S2；
[0036]S303：对重建后的输出I
out
和对应高清图像计算损失函数，反向传播更新模型参数；
[0037]按照设定的迭代次数和批大小重复上述S301
‑
S303，期间每进行10000次迭代，便在S1中预处理好的验证集上验证并保存模型；
[0038]保存上述训练完成后得到离散码本。
[0039]进一步的，所述S303对重建后的输出I
out
和对应高清图像计算损失函数，反向传播更新模型参数；
[0040]损失函数包括重建损失、感知损失、风格损失、对抗损失和码本约束损失；损失函数如下式：
[0041]L
total
＝L
pix
+L
per
+L
style
+L
adv
+L
code
[0042]其中，各个损失函数分别如下所示：
[0043]L
pix
＝||I
hq
‑
Io
ut
||1[0044]L
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，包括以下步骤：S1：人脸数据集预处理；S2：训练量化自编码器以获得上下文丰富的离散码本；S3：进行局部特征提取，局部特征与位置编码共同输入Transformer编码器获取图像的全局特征，并对全局特征进行特征重表示，接着对重表示特征利用离散码本进行量化，在利用Transformer解码器进行特征补全，最后输入到解码器进行图像重建。2.如权利要求1所述的一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，所述S2包括：S201：将S1预处理得到的高清人脸图像I
hq
输入到图像编码器以获取该图像对应的特征Z
h
；S202：将特征Z
h
中的每个“像素”替换为可学习码本中距离最小的特征，得到量化后的特征Z
c
，将量化后的特征Z
c
输入到解码器重建得到输出I
out
；S203：对重建后的输出I
out
和对应的原高清图像计算损失函数，反向传播更新模型参数；按照设定的迭代次数和批大小重复上述S201
‑
S203，期间每经过10000次迭代并在预处理的验证集验证并保存模型；保存上述训练完成后得到离散码本。3.如权利要求2所述的一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，所述S2先构建包括图像编码器和图像解码器的一阶段网络模型；输入高清人脸图像I
hq
输入到图像编码器，获取该图像对应的特征Z
h
，量化后的特征Z
c
，如下式：其中，i,j分别为特征的行数和列数，用i,j表示二维空间的其中一个特征，c
k
为离散码本中的一个离散特征。4.如权利要求2所述的一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，所述S2的损失函数包括重建损失、感知损失、对抗损失和码本损失；损失函数如下式：L
total
＝L
pix
+L
per
+L
adv
+L
code
各个损失函数如下所示，其中，β＝0.25：L
pix
＝||I
hq
‑
I
out
||1L
per
＝|φ(I
hq
)
‑
φ(I
out
)||1L
adv
＝logD(I
hq
)+log(1
‑
D(I
out
))5.如权利要求1所述的一种离散特征驱动的盲人脸图像丢失细节重建方法，其特征在于，所述S3包括：S301：将S1预处理得到的退化人脸图像I
lq
输入到编码器进行局部特征提取得到Z
l
，然后将局部特征Z
l
和位置编码共同输入T...

【专利技术属性】
技术研发人员：楼旭东，徐振宇，刘怡光，王祎，房景鑫，
申请(专利权)人：四川大学，
类型：发明
国别省市：