基于SRGAN的光学显微镜图像轻型超分辨率重建方法技术

本发明专利技术公开了一种基于SRGAN的光学显微镜图像轻型超分辨率重建方法，包括步骤：收集高分辨率光学显微镜图像，由高分辨率光学显微镜图像生成成对的高清图像和低清图像制作数据集，数据集中高清图像与低清图像对应构成训练集数据；将训练集数据输入到改进型SRGAN网络进行训练，改进型SRGAN网络包括将SRGAN网络的生成器的残差块数量设置为不大于10并将残差块中的卷积方式更换为深度可分离卷积方式；由训练好的改进型SRGAN网络对低清光学显微镜图像进行超分辨率重建。本发明专利技术可大幅减少网络的参数量并保证图像重建质量。参数量并保证图像重建质量。参数量并保证图像重建质量。

【技术实现步骤摘要】
基于SRGAN的光学显微镜图像轻型超分辨率重建方法


[0001]本专利技术涉及一种图像超分辨率重建方法，特别是涉及一种基于SRGAN的光学显微镜图像轻型超分辨率重建方法。

技术介绍

[0002]光学显微镜就是观察微观世界的常用工具之一，其价格低廉，能够实时、动态、无接触式的直接观察目标，被广泛应用。但是由于受到光学显微镜品质及各方面因素的影响，获得的光学显微镜图像的分辨率总是受到很大的限制。利用计算机提高这些图像分辨率、增强视觉效果的方法共有两类，一种是基于插值的方法，另一种是基于深度学习的方法。
[0003]基于插值的方法是将图像直接尺寸扩大后，利用临近像素信息对新增加的像素点进行赋值。这种方法虽然能够提高图像的分辨率，但是其仅仅提高了图像的尺寸，并没有提高图像的细节表现，因而插值法的性能非常有限。
[0004]基于深度学习的方法是利用计算机找出高清图像与低清之间的关系，从而实现图像的超分辨率重建，提高图像质量。现有技术有采用三个卷积层的卷积神经网络来提高图像分辨率，但是该方法结构简单，性能有限，在细节表现方面不尽人意。也有基于生成对抗网络的图像超分辨率重建方法，即SRGAN。该方法虽然性能较强，但是网络参数量较大，计算复杂，对硬件设备要求高。因此如何对超分辨率重建方法进行改进，在保证较高的性能的前提下，减少网络参数量和减小权值模型对存储空间的占用，降低对设备的要求和算法计算量，满足光学显微镜图像超分辨率实际需求，成为光学显微镜图像轻型超分辨率重建待解决的关键问题。

技术实现思路

[0005]针对上述现有技术的缺陷，本专利技术提供了一种基于SRGAN的光学显微镜图像轻型超分辨率重建方法，目的是减少网络的权值模型和生成器参数量，保证图像重建效果的同时降低计算量。
[0006]本专利技术技术方案如下：一种基于SRGAN的光学显微镜图像轻型超分辨率重建方法，包括以下步骤：
[0007]S1、收集高分辨率光学显微镜图像，由所述高分辨率光学显微镜图像生成成对的高清图像和低清图像制作数据集，所述数据集中高清图像与低清图像对应构成训练集数据；
[0008]S2、将训练集数据输入到改进型SRGAN网络进行训练，所述改进型SRGAN网络包括将SRGAN网络的生成器的残差块数量设置为不大于10并将所述残差块中的卷积方式更换为深度可分离卷积方式；
[0009]S3、由训练好的改进型SRGAN网络对低清光学显微镜图像进行超分辨率重建。
[0010]进一步地，所述残差块中依次包括逐点卷积扩张、批标准化、ReLU6、逐深度卷积、批标准化、ReLU6、逐点卷积压缩、批标准化、Linear及加和操作，所述加和是将所述Linear
的输出与所述残差块的输入相加。
[0011]进一步地，所述逐点卷积扩张和所述逐点卷积压缩时的卷积核大小为1*1，所述逐点卷积扩张的扩大倍数为6，所述逐点卷积压缩的缩小倍数为6，所述逐深度卷积的卷积核大小为3*3。
[0012]进一步地，所述步骤S2中将训练集数据输入到改进型SRGAN网络进行训练，具体为：S201、将低清图像输入所述生成器得到一张与高清图像分辨率相同的重建图像，所述高清图像为与所述低清图像相对应，将所述重建图像和所述高清图像输入判别器进行判别，得出所述重建图像与所述高清图像相似程度为对抗损失，提取所述重建图像和所述高清图像的特征图，计算所述特征图的相似程度为内容损失；
[0013]S202、根据所述对抗损失和所述内容损失对所述改进型SRGAN网络的权值进行修改；
[0014]S203、替换使用不同的低清图像和高清图像，重复步骤S201和S202。
[0015]进一步地，所述步骤S201中计算特征图的相似程度时利用VGG19网络提取特征图并采用MSE方式计算所述内容损失。
[0016]进一步地，所述步骤S1中由所述高分辨率光学显微镜图像生成成对的高清图像和低清图像制作数据集具体为：S101、对所述高分辨率光学显微镜图像随机位置裁剪为统一大小的高清图像；S102、对所述高清图像进行双三次插值法进行下采样，获得对应的低清图像。
[0017]进一步地，所述下采样的采样因子为4。
[0018]本专利技术所提供的技术方案的优点在于：
[0019]本专利技术方法与采用原始SRGAN网络在图像重建性能上相差无几，但是本专利技术方法网络的参数量大大降低，生成器的权值模型文件占用空间更小；随着生成器参数的减少，算法的计算量更小，降低了对硬件的要求，应用更广泛。
附图说明
[0020]图1是基于SRGAN的光学显微镜图像轻型超分辨率重建方法的流程示意图。
[0021]图2是改进型SRGAN网络的生成器结构示意图。
[0022]图3是改进型SRGAN网络的判别器结构示意图。
[0023]图4是残差块结构示意图。
[0024]图5是实验时的高清图像示例图。
[0025]图6是使用不同方法的超分辨重建图像。
[0026]图7是使用不同方法对宫颈上皮瘤变细胞图像超分辨率重建的细节放大图。
具体实施方式
[0027]下面结合实施例对本专利技术作进一步说明，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本说明之后，本领域技术人员对本说明的各种等同形式的修改均落于本申请所附权利要求所限定的范围内。
[0028]请结合图1所示，本专利技术实施例的基于SRGAN的光学显微镜图像轻型超分辨率重建方法，S1、收集高分辨率光学显微镜图像，由高分辨率光学显微镜图像生成成对的高清图像
和低清图像制作数据集，数据集中高清图像与低清图像对应构成训练集数据；S2、将训练集数据输入到改进型SRGAN网络进行训练；S3、在对改进的SRGAN进行训练之后，将光学显微镜的低清图像放入训练好的网络，就可以得到超分辨率重建图像。
[0029]改进型SRGAN网络基于SRGAN网络基于现有技术的SRGAN网络修改，SRGAN是基于生成对抗网络的经典超分辨率网络，SRGAN主要分为两部分，生成器和判别器。生成器将输入的低清图像分辨提高，生成一张高分辨的重建图像，生成器的目标是让判别器无法区分输入的图像是其生成的重建图像还是高清图像。判别器则是对输入的重建图像和高清图像进行判别，判别器的目标是尽可能将重建图像和高清图像识别出来。在多次训练中，生成器和器的能力都得到提升，最终理想的目标是判别器无法判断输入图像是重建图像还是高清图像。请结合图2及图3所示，本专利技术是对生成器的进行了一系列改进，包括将SRGAN网络的生成器的残差块数量设置为不大于10(本实施例为8个残差块)并将残差块中的卷积方式更换为深度可分离卷积方式。判别器结构则保持与原SRGAN网络的判别器相同，在生成器及判别器结构中，模块k
x
n
y
s
z
的k表示卷积核大小，n表示特征图大小，s表示步长。
[0030]残差块结构示意图如图4所示。可以看出，深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SRGAN的光学显微镜图像轻型超分辨率重建方法，其特征在于，包括以下步骤：S1、收集高分辨率光学显微镜图像，由所述高分辨率光学显微镜图像生成成对的高清图像和低清图像制作数据集，所述数据集中高清图像与低清图像对应构成训练集数据；S2、将训练集数据输入到改进型SRGAN网络进行训练，所述改进型SRGAN网络包括将SRGAN网络的生成器的残差块数量设置为不大于10并将所述残差块中的卷积方式更换为深度可分离卷积方式；S3、由训练好的改进型SRGAN网络对低清光学显微镜图像进行超分辨率重建。2.根据权利要求1所述的基于SRGAN的光学显微镜图像轻型超分辨率重建方法，其特征在于，所述残差块中依次包括逐点卷积扩张、批标准化、ReLU6、逐深度卷积、批标准化、ReLU6、逐点卷积压缩、批标准化、Linear及加和操作，所述加和是将所述Linear的输出与所述残差块的输入相加。3.根据权利要求2所述的基于SRGAN的光学显微镜图像轻型超分辨率重建方法，其特征在于，所述逐点卷积扩张和所述逐点卷积压缩时的卷积核大小为1*1，所述逐点卷积扩张的扩大倍数为6，所述逐点卷积压缩的缩小倍数为6，所述逐深度卷积的卷积核大小为3*3。4.根据权利要求1至3中任意一项所述的基于SRGAN的光学显微镜图像轻型超分辨率重建方法，其特征在于，所述步骤S...

【专利技术属性】
技术研发人员：钱振江，周红超，刘永俊，
申请(专利权)人：常熟理工学院，
类型：发明
国别省市：