图像超分辨率重建方法技术

本申请提供一种图像超分辨率重建方法

【技术实现步骤摘要】
图像超分辨率重建方法、装置及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种图像超分辨率重建方法
、
装置及电子设备
。

技术介绍

[0002]傅里叶叠层
(FP,Fourier Ptychographic)
成像技术是一种通过相机移位
、
激光光源移位等方法，利用小口径相机采集不同频谱下的目标信息，然后通过相位恢复方法将目标信息在频域中进行拼接，实现大范围的目标频谱合成，从而获得高分辨率的图像
。
然而，在远场成像环境中，由于干扰因素较多，传统的傅里叶叠层重建算法往往面临频谱偏移量不稳定
、
噪声复杂等问题，导致重建图像出现严重的伪影和降低分辨率的情况
。
[0003]近年来，深度学习方法在图像处理领域取得了显著的成果
。
通过深度学习方法，可以利用计算机的强大计算能力，对傅里叶叠层图像进行优化，从而提升图像成像质量
。
[0004]然而，目前大多数基于深度学习的方法主要针对显微成像或透射式成像进行网络结构设计，未能充分考虑远场反射式的傅里叶叠层成像的物理模型
。
这导致在处理远场反射式傅里叶叠层成像时出现伪影和细节处理能力不足等问题
。

技术实现思路

[0005]为了至少克服现有技术中的上述不足，本申请的目的在于提供一种图像超分辨率重建方法
、
装置及电子设备
。
[0006]第一方面，本申请实施例提供一种图像超分辨率重建方法，所述图像超分辨率重建方法包括：
[0007]基于远场反射式的傅里叶叠层成像系统，获取第一高分辨率图像及至少两张第一低分辨率图像；
[0008]对所述第一高分辨率图像进行归一化处理，得到第二高分辨率图像；对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像，所述退化处理包括相位随机平移退化处理及随机相差退化处理；
[0009]通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络
。
[0010]在一种可能的实现方式中，所述对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像的步骤，包括：
[0011]基于所述第一低分辨率图像，计算所述第一低分辨率图像的幅度图，并对所述幅度图进行傅里叶变换，生成第一相位图；
[0012]基于所述第一相位图，进行随机相差退化处理及多次相位随机平移退化处理，计算引入随机扰动后的第二相位图；
[0013]基于所述幅度图及所述第二相位图，计算引入随机扰动后的第二低分辨率图像
。
[0014]在一种可能的实现方式中，所述幅度图
A
ori
与所述第一相位图
Φ
ori
通过以下方式
计算得到：
[0015][0016]其中，
A
ori
表示傅里叶变换后的幅度图，
Φ
ori
表示傅里叶变换后的第一相位图，表示傅里叶变换，
I
ori
表示傅里叶变换前的强度图，
n
表示第一低分辨率图像数据的位深度；
[0017]所述引入随机扰动后的第二相位图
Φ
new
通过以下方式计算得到：
[0018]Φ
new
＝
random(
Φ
Z
*random(
Φ
ori
,x
i1
,y
i1
),x
i2
,y
i2
)
[0019]其中，
Φ
new
表示引入随机扰动后的第二相位图，
Φ
Z
表示随机生成的泽尼克
(Zernike)
像差，
random(
…
,x
i
,y
i
)
表示随机生成图像平移量
(x
i
,y
i
)
，即，将图像水平移动
x
i
，垂直移动
y
i
；
[0020]所述引入随机扰动后的第二低分辨率图像
I
new
通过以下方式计算得到：
[0021][0022]其中，
I
new
表示引入随机扰动后的第二低分辨率图像，表示傅里叶逆变换，
||
…
||2表示取模长的平方
。
[0023]在一种可能的实现方式中，所述深度学习超分辨率网络包括生成网络及判别网络；
[0024]所述生成网络包括多尺度特征融合模块
、
残差模块
、
上采样模块及特征映射模块；所述多尺度特征融合模块用于提取输入的所述第二低分辨率图像的多尺度特征，合成第一多通道特征图；所述残差模块用于调节特征图的维度大小，生成第二多通道特征图；所述上采样模块用于对所述第二多通道特征图进行逐步信息解码，生成第三多通道特征图；所述特征映射模块用于将所述第三多通道特征图映射为单通道输出图像，得到第一输出结果；
[0025]所述判别网络包括特征提取模块
、
下采样模块及样本分类模块；所述特征提取模块用于提取输入的所述第一输出结果或所述第二高分辨率图像的特征，所述下采样模块用于降低特征图的参数量，所述样本分类模块用于实现分类概率的计算，得到第二输出结果
。
[0026]在一种可能的实现方式中，所述通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络的步骤，包括：
[0027]将所述第二低分辨率图像输入所述生成网络，得到第一输出结果；
[0028]将所述第一输出结果或所述第二高分辨率图像输入所述判别网络，得到第二输出结果；
[0029]基于所述第一输出结果及所述第二输出结果，计算所述生成网络的损失和所述判别网络的损失；
[0030]基于所述生成网络的损失和所述判别网络的损失，对所述深度学习超分辨率网络的参数进行更新，以确定目标深度学习超分辨率网络
。
[0031]在一种可能的实现方式中，所述基于所述生成网络的损失和所述判别网络的损失，对所述深度学习超分辨率网络的参数进行更新的步骤，包括：
[0032]基于所述第二高分辨率图像及所述第一输出结果，计算重建损失
L
rec
；
[0033]基于所述第二输出结果，计算对抗损失
L
gan
；
[0034]基于所述第二高分辨率图像及所述第一输出结果，计算傅里叶域相位的一阶范数损失
L
Φ
；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像超分辨率重建方法，其特征在于，所述方法包括：基于远场反射式的傅里叶叠层成像系统，获取第一高分辨率图像及至少两张第一低分辨率图像；对所述第一高分辨率图像进行归一化处理，得到第二高分辨率图像；对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像，所述退化处理包括相位随机平移退化处理及随机相差退化处理；通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络
。2.
根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述对所述第一低分辨率图像进行退化处理，得到第二低分辨率图像的步骤，包括：基于所述第一低分辨率图像，计算所述第一低分辨率图像的幅度图，并对所述幅度图进行傅里叶变换，生成第一相位图；基于所述第一相位图，进行随机相差退化处理及多次相位随机平移退化处理，计算引入随机扰动后的第二相位图；基于所述幅度图及所述第二相位图，计算引入随机扰动后的第二低分辨率图像
。3.
根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述幅度图
A
ori
与所述第一相位图
Φ
ori
通过以下方式计算得到：其中，
A
ori
表示傅里叶变换后的幅度图，
Φ
ori
表示傅里叶变换后的第一相位图，表示傅里叶变换，
I
ori
表示傅里叶变换前的强度图，
n
表示第一低分辨率图像数据的位深度；所述引入随机扰动后的第二相位图
Φ
new
通过以下方式计算得到：
Φ
new
＝
random(
Φ
Z
*random(
Φ
ori
,x
i1
,y
i1
),x
i2
,y
i2
)
其中，
Φ
new
表示引入随机扰动后的第二相位图，
Φ
Z
表示随机生成的泽尼克
(Zernike)
像差，
random(
…
,x
i
,y
i
)
表示随机生成图像平移量
(x
i
,y
i
)
，即，将图像水平移动
x
i
，垂直移动
y
i
；所述引入随机扰动后的第二低分辨率图像
I
new
通过以下方式计算得到：其中，
I
new
表示引入随机扰动后的第二低分辨率图像，表示傅里叶逆变换，
||
…
||2表示取模长的平方
。4.
根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述深度学习超分辨率网络包括生成网络及判别网络；所述生成网络包括多尺度特征融合模块
、
残差模块
、
上采样模块及特征映射模块；所述多尺度特征融合模块用于提取输入的所述第二低分辨率图像的多尺度特征，合成第一多通道特征图；所述残差模块用于调节特征图的维度大小，生成第二多通道特征图；所述上采样模块用于对所述第二多通道特征图进行逐步信息解码，生成第三多通道特征图；所述特征映射模块用于将所述第三多通道特征图映射为单通道输出图像，得到第一输出结果；
所述判别网络包括特征提取模块
、
下采样模块及样本分类模块；所述特征提取模块用于提取输入的所述第一输出结果或所述第二高分辨率图像的特征，所述下采样模块用于降低特征图的参数量，所述样本分类模块用于实现分类概率的计算，得到第二输出结果
。5.
根据权利要求4所述的图像超分辨率重建方法，其特征在于，所述通过所述第二低分辨率图像及所述第二高分辨率图像对深度学习超分辨率网络进行训练，得到目标深度学习超分辨率网络的步骤，包括：将所述第二低分辨率图像输入所述生成网络，得到第一输出结果；将所述第一输出结果或所述第二高分辨率图像输入所述判别网络，得到第二输出结果；基于所述第一输出结果及所述第二输出结果，计算所述生成网络的损失和所述判别网络的损失；基于所述生成网络的损失和所述判别网络的损失，对所述深度学习超分辨率网络的参数进行更新，以确定目标深度学习超分辨率网络
。6.<...

【专利技术属性】
技术研发人员：罗先刚，郭迎辉，张其，周芮，蒲明博，
申请(专利权)人：天府兴隆湖实验室，
类型：发明
国别省市：