本发明专利技术提出了一种基于双边对抗生成网络的线扫描图像超分辨率方法。通过将线扫描图像送入去噪网络去除线扫描图像包含的条纹噪声，然后送入融合网络充分融合线扫描图像的潜在信息，最后通过解码器重构得到高质量的高分辨率图像。在整个过程中，统一加权损失函数的设计使得去除图像噪声和提高图像质量之间保持了有效平衡，充分解决了图像超分辨率包含噪声、质量不佳等问题。声、质量不佳等问题。声、质量不佳等问题。
【技术实现步骤摘要】
一种基于双边生成对抗网络的线扫描图像超分辨率方法
[0001]本专利技术属于图像超分辨率领域，涉及一种基于双边生成对抗网络的线扫描图像超分辨率方法，适用于复杂成像环境的图像超分辨率场景。
技术介绍
[0002]图像超分辨率是指从退化的低分辨率图像中恢复高分辨率图像，该技术是计算机视觉、医学图像处理、科学计算等许多领域的共性科学问题和核心技术。
[0003]传统的图像超分辨率方法是基于插值的，比如最近邻插值、双线性插值、双三次插值等。但它无法充分建立从低分辨率图像到高分辨率图像的映射。为了解决这一问题，许多人尝试提出了有效的改进办法。基于重构模型的算法通过添加图像的先验知识作为约束，使得高分辨率图像重建中的病态问题得到一定程度解决。Rasti等人[1]提出了一种迭代反投影，通过模拟低分辨率图像和观察图像之间的差异获得高分辨率图像。Dong[2]等人提出了一种具有结构稀疏性的非局部低秩正则化方法。随着深度学习的迅速发展，不少学者利用深度学习来提高图像超分辨率的性能。Shi[3]等人提出了高效亚像素卷积网络，通过提取低分辨率的特征，实现更好的重建质量和更高的计算效率。Ledig[4]等人将生成对抗网络应用于图像超分辨率，获得了更符合人类视觉效果的重建结果。X.Tian[5]等人利用空间光调制器的逐像素扫描能力将图像超分辨率性能提升到了新的高度，但重建算法无法在去除条纹噪声和超分辨率之间保持平衡。
[0004]上述算法只能将图像超分辨率性能提高到一定程度。具备逐像素扫描能力的空间光调制器虽然可以获得高质量的重建结果，但检测器填充因子会导致像素响应的不均匀性，视觉上表现为条纹噪声。因此如何利用空间光调制器的线扫描结果实现高质量高分辨率图像重建，同时去除条纹噪声将是本专利技术的关键问题。
[0005]参考文献
[0006][1]P.Rasti,H.Demirel,and G.Anbarjafari,“Image resolution enhancement by using interpolation followed by iterative back projection,”in 2013 21st Signal Processing and Communications Applications Conference(SIU),(IEEE,2013),pp.1
–
4.
[0007][2]W.Dong,G.Shi,X.Li,Y.Ma,and F.Huang,“Compressive sensing via nonlocal low
‑
rank regularization,”IEEE Transactions on Image Process.23,3618
–
3632(2014).
[0008][3]W.Shi,J.Caballero,F.Husz
á
r,J.Totz,A.P.Aitken,R.Bishop,D.Rueckert,and Z.Wang,“Real
‑
time single image and video super
‑
resolution using an efficient sub
‑
pixel convolutional neural network,”in Proceedings of the IEEE conference on Computer Vision and Pattern Recognition,(2016),pp.1874
–
1883.
[0009][4]C.Ledig,L.Theis,F.Husz
á
r,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang et al.,“Photo
‑
realistic single image super
‑
resolution using a generative adversarial network,”in Proceedings of the IEEE conference on Computer Vision and Pattern Recognition,(2017),pp.4681
–
4690.
[0010][5]X.Tian,Y.Xiao,R.Liu,F.He,and J.Ma,“Line
‑
wise scanning
‑
based super
‑
resolution imaging,”Opt.Lett.47,2230
–
2233(2022).
技术实现思路
[0011]本专利技术旨在实现线扫描图像超分辨率重建。由于现阶段的线扫描图像重建方法仍然是传统方法，存在无法有效融合线扫描图像信息的问题以及无法平衡去除噪声和超分辨率的问题。故本专利技术提出了一种基于双边生成对抗网络的线扫描图像超分辨率方法。通过本专利技术提出的方法，线扫描图像的信息得以充分融合，并且重建图像不含噪声，获得了较高的PSNR和SSIM指标，在去噪和超分辨率之间达到了高度平衡，具有很好的视觉效果。
[0012]本专利技术所采用的技术方案是：一种基于双边生成对抗网络的线扫描图像超分辨率方法，包括以下步骤：
[0013]步骤1：构建多层卷积组成的去噪生成网络Gr，Gc。如图2所示，它们均包括8个3*3卷积层，前7个卷积层的通道数均为32，最后一个卷积层的通道数为1。每个卷积层后面都紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。
[0014]利用卷积层能提取深层特征的优势，提取线扫描图像的深层次特征，去除高频噪声，该网络输出的图像大小和输入图像大小一致；
[0015]步骤2：构建与去噪网络相匹配的鉴别网络Dr，Dc：如图3所示，它们都包括6个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256。每个卷积层后面均紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个参数化线性整流层(LeakyReLU层)。在最后的参数化线性整流层中，加入一个通道数为1024的全连接层(FC层)、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。
[0016]步骤3：构建编码
‑
解码器构成的融合生成网络Gf：其中编码器为双支路残差融合网络，同时，在不同特征层设计融合模块，更有利于将双支路残差融合网络提取的特征有效融合。经过多个不同层次的特征融合而得到的特征图具有非常强的表征能力，将其送入解码器生成最终的高分辨率图像；
[0017]编码器如图4所示，它包括两条支路，每条支路包括dcn个反卷积层，dcn的大小为：...
【技术保护点】
【技术特征摘要】
1.一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于，包括如下步骤：步骤1，构建多层卷积组成的去噪生成网络Gr和Gc；步骤2，构建与去噪网络相匹配的鉴别网络Dr和Dc；步骤3，构建编码
‑
解码器构成的融合生成网络Gf；步骤4，构建与融合生成网络相匹配的鉴别网络Df；步骤5，构建双边生成对抗网络G，将去噪生成网络Gr和Gc并行连接到融合生成网络Gf从而得到双边生成对抗网络G，其中鉴别网络Dr，Dc，Df分别与Gr，Gc，Gf保持对抗关系；步骤6，在步骤5得到的双边生成对抗网络G中输入线扫描图像R
in
，C
in
，输出不含噪声的图像Gr(R
in
)、Gc(C
in
)和最终输出的高分辨率图像SR。2.如权利要求1所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：所述去噪生成网络Gr和Gc均包括8个3*3卷积层，前7个卷积层的通道数均为32，最后一个卷积层的通道数为1，每个卷积层后面都紧跟一个归一化层，每个归一化层后面都紧跟一个线性整流层。3.如权利要求1所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：所述鉴别网络Dr和Dc均包括6个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256；每个卷积层后面均紧跟一个归一化层，每个归一化层后面都紧跟一个参数化线性整流层，最后的参数化线性整流层中，加入一个通道数为1024的全连接层、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。4.如权利要求1所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：步骤3中编码器包括两条支路，每条支路包括dcn个反卷积层，dcn的大小为：dcn＝log2(r)其中r为超分辨率的倍数；每个反卷积层后面紧跟一个归一化层，每个归一化层后面都紧跟一个线性整流层，每条支路的最后一个反卷积层后面的ReLU层则连接4个残差段，其中每个残差段包括2个残差基本块，残差基本块通过跳跃连接影响输出，它的输出公式可表示为：F1＝ReLU(BN(f
3*3
(x)))；F
out
＝ReLU(BN(f
3*3
(F1))+x)其中，F
out
为残差基本块的输出，x为残差基本块的输入，f
3*3
表示3*3的卷积操作；在每个残差段之间引入融合模块，它能将两条支路的信息充分融合，它是双输入双输出结构，其输出公式为：y1＝ReLU(BN(f
3*3
(concat(x1,x2))))y2＝ReLU(BN(f
3*3
(x2)))其中x1,x2表示输入，concat表示在通道维...
【专利技术属性】
技术研发人员：田昕，饶佳豪，肖滢，刘芮，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。