一种基于迁移学习的高质量超透镜图像恢复方法技术

本发明专利技术公开了一种基于迁移学习的高质量超透镜图像恢复方法，其特征在于，包括：将待恢复超透镜图像II输入至构建的超透镜图像恢复网络中，得到高质量超透镜图像；构建所述超透镜图像恢复网络过程中：基于迁移学习的思想，利用采集的自然图像数据集对预训练网络进行训练，获得训练好的预训练模型；获取清晰图像和待恢复超透镜图像I，使用预训练模型对待恢复超透镜图像I进行预处理，获得超透镜图像数据集；接着利用超透镜图像数据集对超透镜图像恢复网络进行训练，获得训练好的超透镜图像恢复模型。本发明专利技术不仅能显著提升超透镜图像的信噪比，还能实现边缘细节区域的高质量恢复，从而达到恢复超透镜图像的目的。而达到恢复超透镜图像的目的。

【技术实现步骤摘要】
一种基于迁移学习的高质量超透镜图像恢复方法


[0001]本专利技术涉及数字图像处理领域，具体涉及一种基于迁移学习的高质量超透镜图像恢复方法。

技术介绍

[0002]受超透镜结构中纳米元材料、形状和排列的影响，超透镜成像质量受限于相位共振和固有色散，导致超透镜图像信噪比低，边缘及细节信息严重失真，阻碍了进一步的观察与研究。传统的图像质量恢复方法中，均值滤波法虽然可以实现信噪比的提升，但会模糊图像的边缘和特征信息；Sobel边缘检测算子虽然对灰度渐变和噪声较多的图像进行边缘增强的效果较好，但由于超透镜图像自身质量差，恢复效果不尽人意。
[0003]在授权公告号为CN111724318B的专利技术专利《基于混合高阶偏微分方程模型的图像去噪方法》中公开了一种基于混合高阶偏微分方程模型的图像去噪方法，既能够保护图像边缘信息又能够抑制区域内部的阶梯效应。该方法提出对输入的含噪图像进行二维离散傅里叶变换和有限差分法进行计算，从而找到图像的边缘，进而获得去噪结果图像。公开号为114331891A的专利文献公开了一种基于深度学习的超透镜色差恢复方法，提出了一种基于深度学习的超透镜色差恢复方法，能够实现快速低成本的对超透镜拍摄的图像进行色差恢复。这种方法通过设计色差恢复损失函数，构建标准图像与超透镜色差图像之间的双向映射关系，从而实现超透镜色差的快速恢复，消除图片边缘模糊等问题。但针对初始质量差的超透镜图像，这两种方法在超透镜图像的细节、边缘区域恢复效果不理想，均无法实现高质量的超透镜图像恢复。

技术实现思路

[0004]本专利技术针对传统图像质量恢复方法难以实现高质量的超透镜图像恢复的问题，提出了一种基于迁移学习的高质量超透镜图像恢复方法。该方法提出基于迁移学习的思想，利用预训练网络对自然图像数据集进行预训练，获得训练好的预训练模型；进而获取清晰图像和待恢复超透镜图像，使用预训练模型对待恢复超透镜图像进行预处理，获得超透镜图像数据集；接着利用超透镜图像恢复网络继续对超透镜图像数据集进行训练，获得训练好的超透镜图像恢复模型。基于迁移学习，利用两个串联网络，实现高质量的超透镜图像恢复。
[0005]一种基于迁移学习的高质量超透镜图像恢复方法，包括：将待恢复超透镜图像II输入至构建的超透镜图像恢复网络中，得到高质量超透镜图像；构建所述超透镜图像恢复网络过程中：基于迁移学习的思想，利用采集的自然图像数据集对预训练网络进行训练，获得训练好的预训练模型；获取清晰图像和待恢复超透镜图像I，使用预训练模型对待恢复超透镜图像I进行预处理，获得超透镜图像数据集；接着利用超透镜图像数据集对超透镜图像恢复网络进行训练，获得训练好的超透镜图像恢复模型。
[0006]一种基于迁移学习的高质量超透镜图像恢复方法，包括以下步骤：
[0007]1)获取高质量自然图像和低质量自然图像，从而得到自然图像数据集；
[0008]2)利用预训练网络，训练步骤1)中自然图像数据集，得到训练好的预训练模型；
[0009]3)获取清晰图像和待恢复超透镜图像，并将待恢复超透镜图像输入到步骤2)中训练好的预训练模型，得到超透镜图像，从而获得超透镜图像数据集；
[0010]4)将步骤3)中的超透镜图像数据集输入到超透镜图像恢复网络中进行训练，获得训练好的超透镜图像恢复模型；
[0011]5)利用步骤4)，将待恢复超透镜图像输入到训练好的超透镜图像恢复模型中，实现超透镜图像质量恢复。
[0012]作为优选，所述自然图像数据集由从ImageNet数据集中选取的高质量自然图像以及由所述高质量自然图像卷积球差得到的低质量自然图像组成。
[0013]所述高质量自然图像为像素尺寸大于等于256乘以256的图像；
[0014]所述低质量自然图像是指由高质量自然图像卷积球差得到的，像素尺寸大于等于256乘以256的图像。
[0015]所述低质量自然图像为由所述高质量自然图像利用泽尼克多项式，通过Matlab与强度为0.3的球差进行卷积得到。
[0016]所述自然图像数据集由高质量自然图像
‑
低质量自然图像对组成。
[0017]作为优选，所述预训练模型包含生成器I和判别器I；其中生成器I由三层卷积层组成的编码器、九个残差块组成的转换器和一层反卷积层和一层卷积层组成的解码器串联构成，判别器I由三层卷积层组成。
[0018]所述清晰图像是指像素尺寸大于等于256乘以256的图像。
[0019]所述待恢复超透镜图像I为由超透镜拍摄得到的、与所述清晰图像对应的、像素尺寸大于等于256乘以256的图像。
[0020]所述超透镜图像数据集由清晰图像
‑
超透镜图像对组成。
[0021]作为优选，所述超透镜图像恢复网络选用CycleGan网络。
[0022]作为进一步优选，所述CycleGan网络包括超透镜图像转清晰图像的生成对抗神经网络和清晰图像转超透镜图像生成对抗神经网络。其中超透镜图像转清晰图像的生成对抗神经网络包括生成器II和判别器II，清晰图像转超透镜图像生成对抗神经网络包括生成器III和判别器III。
[0023]作为更进一步优选，所述生成器II和生成器III均由包含两个卷积层，一个池化层的浅层编码器、三个卷积层，一个池化层构成的深层编码器，还有包含三层全连接层的解码器构成；判别器II和判别器III均由五层卷积层组成。
[0024]作为优选，超透镜图像转清晰图像的生成对抗神经网络和清晰图像转超透镜图像生成对抗神经网络结构相同。
[0025]相对于现有技术，本专利技术具有以下有益的技术效果：
[0026]目前传统图像质量恢复方法难以恢复超透镜图像的细节、边缘区域，对信噪比的提升不高。为了实现高质量的超透镜图像恢复，本专利技术基于迁移学习获得预处理网络，进而将预处理网络与超透镜图像恢复网络串联，不仅能显著提升超透镜图像的信噪比，还能利用迁移学习对自然图像进行训练，将自然图像数据集的细节特征迁移到超透镜图像中，实现边缘细节区域的高质量恢复，从而达到恢复超透镜图像的目的。
[0027]本专利技术结构简单，易于实现，适用范围广，通用性强。
附图说明
[0028]图1是本专利技术的基于迁移学习的高质量超透镜图像恢复方法的流程图。
[0029]图2是本专利技术实例中高质量自然图像P1。
[0030]图3是本专利技术实例中低质量自然图像P2。
[0031]图4是本专利技术实例中清晰图像P3。
[0032]图5是本专利技术实例中待恢复超透镜图像P4。
[0033]图6是本专利技术实例中超透镜图像P5。
[0034]图7是本专利技术实例中的恢复结果对比P6。
具体实施方式
[0035]下面结合说明书附图来详细说明本专利技术，但本专利技术并不限于此。
[0036]如图1所示，一种基于迁移学习的高质量超透镜图像恢复方法，包括如下步骤：
[0037](1)获取高质量自然图像和低质量自然图像，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的高质量超透镜图像恢复方法，其特征在于，包括：将待恢复超透镜图像II输入至构建的超透镜图像恢复网络中，得到高质量超透镜图像；构建所述超透镜图像恢复网络过程中：基于迁移学习的思想，利用采集的自然图像数据集对预训练网络进行训练，获得训练好的预训练模型；获取清晰图像和待恢复超透镜图像I，使用预训练模型对待恢复超透镜图像I进行预处理，获得超透镜图像数据集；接着利用超透镜图像数据集对超透镜图像恢复网络进行训练，获得训练好的超透镜图像恢复模型。2.根据权利要求1所述的基于迁移学习的高质量超透镜图像恢复方法，其特征在于，所述自然图像数据集由从ImageNet数据集中选取的高质量自然图像以及由所述高质量自然图像卷积球差得到的低质量自然图像组成。3.根据权利要求2所述的基于迁移学习的高质量超透镜图像恢复方法，其特征在于，所述高质量自然图像为像素尺寸大于等于256乘以256的图像；所述低质量自然图像为由所述高质量自然图像利用泽尼克多项式,通过Matlab与强度为0.3的球差进行卷积得到。4.根据权利要求1所述的基于迁移学习的高质量超透镜图像恢复方法，其特征在于，所述预训练模型包含生成器I和判别器I；其中生成器I由三层卷积层组成的编码器、九个残差块组成的转换器和一层反卷积层和一...

【专利技术属性】
技术研发人员：李润坤，李旸晖，黄泽钿，张鑫，洪博闻，宁俭华，陈旺磊，吴豪，王乐，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：