【技术实现步骤摘要】
本专利技术涉及图像处理领域，具体涉及一种基于扩散生成先验的人脸图像复原方法、装置及可读介质。
技术介绍
1、目前的基于生成先验的图像复原方法主要分为三种：基于显示建模生成先验的图像复原方法、基于生成对抗网络（generative adversarial networks，简称gan）生成先验的图像复原方法和基于扩散生成先验的图像复原方法。
2、基于显示建模生成先验的图像复原方法是利用采用极大似然估计策略的一些生成式模型进行图像复原的方法。主要包括：基于自回归模型的生成先验图像复原方法、基于变分自编码器的生成先验图像复原方法、基于流模型的生成先验图像复原方法等。这些方法对数据分布进行显示建模，采用这类方法作为先验知识的图像复原方法，具有更强的解释性，但是建模能力较差。
3、基于gan生成先验的图像复原方法是利用生成对抗网络的生成先验能力进行图像复原的方法。基于gan生成先验的图像复原方法具有较好的图像复原能力，建模能力强。但是，gan模型的解释性较差，并且gan模型的训练采用的是对抗学习思想，需要分别训练生成器与鉴别器，对模型的调优能力的要求较高，往往需要加入一些正则项才能保证gan模型不发生训练崩溃。
4、基于扩散生成先验的图像复原方法是利用最新的显示建模生成方法即扩散概率模型（denoising diffusion probabilistic models，简称ddpm）的生成先验知识进行图像复原的方法。ddpm展示了很强的分布建模能力，并且与gan相比，采用了变分推断的ddpm其训练目标更
技术实现思路
1、针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于扩散生成先验的人脸图像复原方法、装置及可读介质，来解决以上
技术介绍
部分提到的技术问题。
2、第一方面，本专利技术提供了一种基于扩散生成先验的人脸图像复原方法，包括以下步骤：
3、获取待复原的人脸图像；
4、构建基于预训练的扩散模型的人脸图像复原模型，人脸图像复原模型包括前向加噪模块、反向去噪模块和噪声预测器，将待复原的人脸图像输入前向加噪模块中逐步增加噪声，得到噪声图像；将噪声图像输入反向去噪模块中逐步去噪，生成最终复原的人脸图像；其中，将第t步的噪声图像及第t步的时间戳输入噪声预测器，预测得到第t步的噪声；在前向加噪模块中，将第t步的噪声图像和第t步的噪声输入结合融合反演的前向扩散公式，得到第t+1步的噪声图像；在反向去噪模块中，对第t步的噪声图像进行零阈值分解，得到第t步的分解特征，将第t步的分解特征和第t步的噪声输入反向扩散公式，得到第t-1步的噪声图像。
5、作为优选，结合融合反演的前向扩散公式为：
6、；
7、其中，表示第t步的噪声图像，表示第t+1步的噪声图像，表示第t步复原的人脸图像，表示噪声预测器预测得到的第t步的噪声，表示噪声表，表示累乘噪声表，，表示调控系数，表示从标准正态分布中采样得到的噪声，。
8、作为优选，对第t步的噪声图像进行零阈值分解，得到第t步的分解特征，具体包括：
9、；
10、其中，表示第t步的噪声图像，为第t步的分解特征，为值域部分，为零域部分，表示变换矩阵，表示伪逆矩阵，表示实数多维空间，d表示待复原的人脸图像的维度，d表示退化图像的维度，表示单位矩阵。
11、作为优选，对于给定的一个变换矩阵，利用奇异值分解或傅里叶变换构成变换矩阵的伪逆矩阵，满足。
12、作为优选，噪声预测器采用双分支调节unet网络，双分支调节unet网络包括主干分支和跳跃连接分支，主干分支包括第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第一反卷积层、第七卷积层、第二反卷积层、第八卷积层，跳跃连接分支包括第一傅里叶变换模块、第一傅里叶逆变换模块、第二傅里叶变换模块、第二傅里叶逆变换模块。
13、作为优选，第t步的噪声图像输入双分支调节unet网络依次经历编码阶段和解码阶段；
14、编码阶段包括：第t步的噪声图像依次经过第一卷积层和第二卷积层，得到第一中间编码图像；第一中间编码图像依次经过第一最大池化层、第三卷积层和第四卷积层，得到第二中间编码图像；第二中间编码图像依次经过第二最大池化层、第五卷积层和第六卷积层，得到第三中间编码图像；
15、解码阶段包括：第三中间编码图像经过主干特征调控系数的乘性调控、第一反卷积层，得到第三中间图像；将第二中间编码图像经过第一傅里叶变换模块转换到频域中，并利用跳跃特征调控系数进行低频掩码，得到保留高频成分的第一处理图像，将第一处理图像经过第一傅里叶逆变换模块转换到空间域，得到第四中间图像；将第三中间图像与第四中间图像拼接，得到第二中间解码图像；第二中间解码图像经过第七卷积层、主干特征调控系数的乘性调控、第二反卷积层，得到第一中间图像；将第一中间图像经过第二傅里叶变换模块转换到频域中，并利用跳跃特征调控系数进行低频掩码，得到保留高频成分的第二处理图像，将第二处理图像经过第二傅里叶逆变换模块转换到空间域，得到第二中间图像；将第一中间图像与第二中间图像拼接，得到第一中间解码图像；第一中间解码图像经过第八卷积层，得到第t步的噪声。
16、作为优选，将解码阶段获得的第个特征图进行分解，分解为主干特征分支得到的第个特征图与跳跃连接分支得到的第个特征图；
17、在主干分支中设置主干特征调控系数，通过主干特征调控系数对主干分支得到的特征图进行调控，如下式所示：
18、；
19、其中，表示主干分支得到的第个的个通道上的特征图，表示第个特征图全部的通道个数，表示经过主干特征调控系数调控后主干特征分支得到的第个的个通道上的特征图；
20、在跳跃连接分支中设置跳跃特征调控系数，通过跳跃特征调控系数对跳跃连接分支得到的特征图进行调控，如下式所示：
21、；
22、；
23、；
24、其中，表示跳跃连接分支得到的第个的个通道上的特征图，表示对跳跃连接分支进行傅里叶变换后得到的特征图，表示经过频域调控的特征图，表示将经过频域调控的特征图进行傅里叶逆变换后得到的特征图，表示傅里叶掩膜，如下式所示：
25、；
26、其中，表示半径，表示阈值频率，表示跳跃特征调控系数。
27、第二方面，本专利技术提供了一种基于扩散生成先验的人脸图像复原装置，包括：
28、数据获取模块，被配置为获取待复原的人脸图像；
29、执行模块，被配本文档来自技高网...
【技术保护点】
1.一种基于扩散生成先验的人脸图像复原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于扩散生成先验的人脸图像复原方法，其特征在于，所述结合融合反演的前向扩散公式为：
3.根据权利要求1所述的基于扩散生成先验的人脸图像复原方法，其特征在于，所述对第t步的噪声图像进行零阈值分解，得到第t步的分解特征，具体包括：
4.根据权利要求3所述的基于扩散生成先验的人脸图像复原方法，其特征在于，对于给定的一个变换矩阵，利用奇异值分解或傅里叶变换构成变换矩阵的伪逆矩阵，满足。
5.根据权利要求1所述的基于扩散生成先验的人脸图像复原方法，其特征在于，所述噪声预测器采用双分支调节Unet网络，所述双分支调节Unet网络包括主干分支和跳跃连接分支，所述主干分支包括第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第一反卷积层、第七卷积层、第二反卷积层、第八卷积层，所述跳跃连接分支包括第一傅里叶变换模块、第一傅里叶逆变换模块、第二傅里叶变换模块、第二傅里叶逆变换模块。
6.根据权
7.根据权利要求6所述的基于扩散生成先验的人脸图像复原方法，其特征在于，将所述解码阶段获得的第个特征图进行分解，分解为主干特征分支得到的第个特征图与跳跃连接分支得到的第个特征图；
8.一种基于扩散生成先验的人脸图像复原装置，其特征在于，包括：
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
...【技术特征摘要】
1.一种基于扩散生成先验的人脸图像复原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于扩散生成先验的人脸图像复原方法，其特征在于，所述结合融合反演的前向扩散公式为：
3.根据权利要求1所述的基于扩散生成先验的人脸图像复原方法，其特征在于，所述对第t步的噪声图像进行零阈值分解，得到第t步的分解特征，具体包括：
4.根据权利要求3所述的基于扩散生成先验的人脸图像复原方法，其特征在于，对于给定的一个变换矩阵，利用奇异值分解或傅里叶变换构成变换矩阵的伪逆矩阵，满足。
5.根据权利要求1所述的基于扩散生成先验的人脸图像复原方法，其特征在于，所述噪声预测器采用双分支调节unet网络，所述双分支调节unet网络包括主干分支和跳跃连接分支，所述主干分支包括第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层...
【专利技术属性】
技术研发人员：宋佳讯，黄德天，黄小茜，林明昕，刘航，曾焕强，
申请(专利权)人：华侨大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。