【技术实现步骤摘要】
本专利技术属于图像质量处理，设计一种高分辨率图像重建方法及系统，尤其涉及一种基于差分输出和生成对抗卷积神经网络的高分辨率图像重建方法及系统。
技术介绍
1、图像作为视觉信息的来源，蕴含了大量的有价值信息，成为人们获取外界原始信息的主要途径。图像质量的好坏直接影响到人们的主观感受和信息量获取，因此，对图像信息进行合理处理成为各领域中不可或缺的手段[1-2]。
2、近年来，学者提出的网络模型srgan[3]和esrgan[4]及其改进版本real-esrgan[5]都是在基于生成对抗网络(gan)的基础上构建的。概括来讲，都是在有限训练集内，通过生成网络和判别网络的对抗学习，得到图像重建模型。
3、然而，从目前发表的文献来看，同样基于esrgan网络训练出的模型，在不同数据集下的性能表现良莠不齐。其中，大部分模型都出现了过拟合问题，导致图像出现重影，过度锐化，细节丢失等问题。数据集对于模型性能的影响太大。近年来，对于esrgan性能提升的研究主要集中在数据集的优化上，通过找到使模型稳定性更强，过拟合程度更低的数据集，提升模型性能。然而，图像的种类繁多，细节部分的差异更是失之毫厘，差之千里。有限数据集无法包含所有可能出现的失真图像，仅仅通过优化数据集并没有解决模型的本质问题。现有图像超分辨率重建算法在此问题上还存在不足，需要进一步加强算法优化和改进，以实现更准确和可靠的图像重建。
4、[1]wang z,bovik ac,sheikh h r,et al.image quality assessme
5、[2]bovik a c.automatic prediction of perceptual image and videoquality[j].proceedings of the ieee,2013,101(9):2008-2024.
6、[3]ledig c,theis l,huszár f,et al.photo-realistic single image super-resolution using a generative adversarial network[c]//proceedings of the ieeeconference on computer vision and pattern recognition.2017:4681-4690.
7、[4]wang x,yu k,wu s,et al.esrgan:enhanced super-resolution generativeadversarial networks[c]//proceedings of the european conference on computervision(eccv)workshops.2018:0-0.
8、[5]wang x,xie l,dong c,et al.real-esrgan:training real-world blindsuper-resolution with pure synthetic data[c]//proceedings of the ieee/cvfinternational conference on computer vision.2021:1905-1914.
技术实现思路
1、为了解决现有技术图像重建方法出现的过拟合问题，以及较为依靠数据集的问题，本专利技术提出了一种基于差分输出和生成对抗卷积神经网络的图像重建方法及系统，可以应用于医学、军事等领域图像的重建。
2、本专利技术的方法所采用的技术方案是：一种基于差分输出的图像重建方法，包括以下步骤：
3、步骤s1，输入低分辨率图像并进行预处理；
4、步骤s2，将处理后的图像输入差模发生器获得差模信号；
5、步骤s3，将差模信号输入生成对抗网络，得到高分辨率重建差模图像；
6、所述生成对抗网络包括生成网络模块和判断网络模块，所述生成网络模块括卷积网络层、上采样层、leakyrelu激活函数层，其中卷积网络层的输入通道数为输入rgb图像通道数，输出通道数为rgb图像通道数；所述判断网络模块，包括卷积网络层、全局平均池化层、leakyrelu激活函数层、归一化层，其中卷积网络层的输入通道数为输入rgb图像通道数，输出通道数为判别的类别数；
7、步骤s4，对高分辨率重建差模图像去除共模噪声后，获得最终高分辨率图像。
8、进一步的，步骤s1中，对输入低分辨率图像进行图像归一化预处理。
9、进一步的，步骤s2中，所述差模发生器首先对预处理后的低分辨率图像进行差模化得到两个低分辨率图像，其中一个是原低分辨率图像，一个是负数低分辨率图像，用于输入生成对抗网络。
10、进一步的，所述生成网络模块的处理过程如下；
11、首先对输入的一组差模信号利用一个卷积核大小为9×9的卷积操作提取特征，然后利用16个3×3卷积块提取特征，所述3×3卷积块，包括两个3×3卷积和一个leakyrelu激活函数，然后利用一个卷积核大小为3×3的卷积操作提取特征，然后利用一个基于插值算法的上采样层优化上层参数，然后利用一个卷积核大小为9×9的卷积操作提取特征，获得一组高分辨率重建差模图像，上述所有卷积步数均为1。
12、进一步的，所述判断网络模块的处理过程如下；
13、首先利用七个卷积核大小为3×3的卷积操作提取特征，然后利用全局平均池化得到特征图，然后利用两个1×1的卷积操作提取特征，最终归一化获得判断类别，上述卷积步数均为1。
14、进一步的，步骤s3中，对高分辨率重建差模图像进行差分输出从而去除共模噪声，所述差分输出表示高分辨率重建差模图像与差模输出的负数低分辨率图像相减。
15、进一步的，步骤s3中，所述生成对抗网络是训练好的生成对抗网络，训练过程包括以下子步骤：
16、步骤s31，使用含高低分辨率图像的div2k数据集；
17、步骤s32，对数据集进行预处理，将低分辨率图像输入差模发生器获得差模信号；
18、所述预处理，包括对输入图像的无重叠裁剪和归一化，所述无重叠裁剪是将图像均匀裁剪成若干大小为相同像素的小块，用以降低数据的复杂度，所述归一化利用最大最小值归一化使数据更加集中，然后将处理好的数据集划分为训练集和测试集；
19、步骤s33，将差模信号和对应高分辨率图像输入生成对抗网络中进行训练，通过反向传播算法不断优化模型参数，使其能够准确地重建高分辨率图像；
20、进一步的，步骤s33中，训练过程采用生成网络模块和判断网络模块联合训练，采本文档来自技高网...
【技术保护点】
1.一种基于差分输出的图像重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：步骤S1中，对输入低分辨率图像进行图像归一化预处理。
3.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：步骤S2中，所述差模发生器首先对预处理后的低分辨率图像进行差模化得到两个低分辨率图像，其中一个是原低分辨率图像，一个是负数低分辨率图像，用于输入生成对抗网络。
4.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：所述生成网络模块的处理过程如下；
5.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：所述判断网络模块的处理过程如下；
6.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：步骤S3中，对高分辨率重建差模图像进行差分输出从而去除共模噪声，所述差分输出表示高分辨率重建差模图像与差模输出的负数低分辨率图像相减。
7.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：步骤S3中，所述生成对抗网络是训
8.根据权利要求7所述的一种基于差分输出的图像重建方法，其特征在于：步骤S33中，训练过程采用生成网络模块和判断网络模块联合训练，采用交叉熵损失，训练至生成对抗网络收敛，即训练损失曲线保持平稳不再下降，将判断网络模块判断失败概率最大的图像作为最终的重建结果。
9.一种基于差分输出的图像重建系统，其特征在于，包括以下单元：
10.一种基于差分输出的图像重建设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于差分输出的图像重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：步骤s1中，对输入低分辨率图像进行图像归一化预处理。
3.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：步骤s2中，所述差模发生器首先对预处理后的低分辨率图像进行差模化得到两个低分辨率图像，其中一个是原低分辨率图像，一个是负数低分辨率图像，用于输入生成对抗网络。
4.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：所述生成网络模块的处理过程如下；
5.根据权利要求1所述的一种基于差分输出的图像重建方法，其特征在于：所述判断网络模块的处理过程如下；
6.根据权利要求1所述的一种基于差分输出的图像重建...
【专利技术属性】
技术研发人员：袁程浩，归子涵，刘瑨玮，杨光义，贺威，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。