一种潜在特征的单幅图像超分辨重建方法技术

本发明专利技术公开了一种潜在特征的单幅图像超分辨重建方法，属于图像处理技术领域。为了保证扩散概率模型在少量的采样步数下进行高质量的采样，本发明专利技术基于设置的多模态分布模型来实现高分辨率图像的重构，该模型基于生成器和归一化流实现，在较少的迭代步数下，专注于重建高分辨率图像的高频细节。并通过自适应多头注意力机制和变分自编码器将低分辨率图像转换为隐条件作为模型的条件输入，在快速采样的同时减少模型崩塌带来的负面影响，以产生复杂多样化且高质量的高分辨率图像。通过自适应多头注意力机制和变分自编码器限制了扩散概率模型中的最大化变分下界带来的预测随机性影响，使模型训练稳定且能够生成与原始高分辨率图像风格和内容一致的图像。图像风格和内容一致的图像。图像风格和内容一致的图像。

【技术实现步骤摘要】
一种潜在特征的单幅图像超分辨重建方法


[0001]本专利技术属于图像处理
，具体涉及一种潜在特征的单幅图像超分辨重建方法。

技术介绍

[0002]单幅图像超分辨重建(SISR)任务是计算机视觉和图像处理等研究领域的非常重要的任务。SISR任务是利用LR图像重建对应的高分辨(HR)图像。由于低分辨(LR)图像在图像退化过程中丢失了大量细节、纹理特征，重建的HR图像要求需要具有丰富的图像细节和清晰的纹理。然而，一副LR图像可能存在无穷多个HR图像与之对应，而单幅HR图像也可以通过多种不同退化的LR图像进行恢复，所以SISR任务是一个典型的解决不确定性问题的任务。在SISR任务中，研究者陆续提出了各种传统的方法，如迭代反向投影法、凸集投影法和稀疏表示法等，但是传统的方法通常是显式估计模糊核再进行重建HR图像。因此传统的方法会导致估计地模糊核存在误差，从而重建HR图像效果不理想。
[0003]SISR任务也可以看作典型的生成任务，所谓生成任务就是通过生成器有效拟合数据的概率分布，使得生成概率分布尽可能接近真实数据分布。在该任务中的基于深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种潜在特征的单幅图像超分辨重建方法，其特征在于，包括下列步骤：步骤1，构建及训练面向潜在特征的扩散概率模型；面向潜在特征的扩散概率模型的训练数据包括多组由高分辨率图像Y和低分辨率图像X组成的图像组；所述面向潜在特征的扩散概率模型包括第一图像编码器，判别器，噪声U
‑
Net网络和噪声生成器；所述第一图像编码器的输入为低分辨率图像X，输出指定维度的低分辨率图像的编码特征τ
θ
(X)；所述噪声生成器用于输出第i步的噪声分布∈
i
；根据X
i
＝X
i
‑1+∈
i
得到第i步的噪声图像X
i
，其中，i＝1,
…
，T，T表示预置的处理步数，且X0＝Y；所述噪声U
‑
Net网络用于预测噪声，噪声U
‑
Net网络包括拼接层、条件变分自编码器、U
‑
Net编码器、卷积层、流生成模型和U
‑
Net编码器解码器；其中，拼接层用于对编码特征τ
θ
(X)和噪声图像X
i
进行通道维度的拼接，再分别送入条件变分自编码器和U
‑
Net编码器；条件变分自编码器依次包括第一卷积层、特征编码器、特征解码器和第二卷积层，特征编码器的输入为第一卷积层的输出，用于提取输入特征的高斯分布的均值μ
θ
与方差σ
θ
；特征解码器基于输入的均值和方差，输出图像的像素间的概率分布；第二卷积层用于将该概率分布投影到空间域，输出条件概率映射特征F
R
；U
‑
Net编码器采用自适应注意力机制，其输入包括拼接层的输出和编码特征τ
θ
(X)，其中，编码特征τ
θ
(X)作为U
‑
Net编码器的自适应注意力机制中的键K和值V运算的输入值，拼接层的输出作为U
‑
Net编码器的自适应注意力机制中的查询Q运算的输入值，U
‑
Net编码器输出的特征映射表示为F
X
；并通过卷积层学习特征映射F
X
的特征映射空间均值F
μ
和特征映射空间方差F
δ
，将条件变分自编码器输出的条件概率映射特征F
R
与特征映射空间方差F
δ
进行Hadamard乘积后再与特征映射空间方差F
δ
相加，得到融合特征F
g
；流生成模型的输入包括融合特征F
g
和编码特征τ
θ
(X)，用于输出图像的像素间的第二概率分布C；U
‑
Net解码器用于输出第i步的预测噪声(∈
θ
)
i
，U
‑
Net解码器采用自适应注意力机制，其输入包括第二概率分布C和编码特征τ
θ
(X)，其中，编码特征τ
θ
(X)作为U
‑
Net解码器的自适应注意力机制中的键K和值V运算的输入值，第二概率分布C作为U
‑
Net解码器的自适应注意力机制中的查询Q运算的输入值；基于噪声生成器生成的∈
i
和噪声U
‑
Net网络输出的预测噪声(∈
θ
)
i
计算第i步的噪声图像估计和第i
‑
1补的噪声图像估计并将其输入判别器中，判别器用于输出的噪声图像估计和之间的置信度；训练时，判别器还用于输出噪声图像X
i
和X
i
‑1之间的置信度；其中，α
i
‑1表示第i
‑
1步的方差σ
θ
的高斯分布变换矩阵，表示对α1至α
i
‑1求和；基于预置的训练损失函数，通过的训练数据对面向潜在特征的扩散概率模型进行参数训练，直至达到预置的训...

【专利技术属性】
技术研发人员：王鑫，颜靖柯，蔡竟业，邓建华，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：