一种基于深度学习的视网膜超分辨重建系统及方法技术方案

本发明专利技术公开了一种基于深度学习的视网膜超分辨重建系统，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层，得到高分辨率眼底图像。

A retinal super-resolution reconstruction system and method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的视网膜超分辨重建系统及方法
本专利技术涉及超分辨
，尤其涉及一种基于深度学习的视网膜超分辨重建系统及方法。
技术介绍
图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。目前，超分辨率重建的理论和方法包含三个主要方向：基于插值的超分辨率重建、基于重构的超分辨率重建和基于学习的超分辨率重建。基于插值的超分辨率重建的方法。这种方法将每一张图像都看做是图像平面上的一个点，那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解，但是也存在着一些明显的缺陷。首先，它假设像素灰度值的变化是一个连续的、平滑的过程，但实际上这种假设并不完全成立。其次，在重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。基于重构的超分辨率重建方法。这种方法则是从图像的降质退化模型出发，假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的基于重构的方法包括迭代反投影法、凸集投影法和最大后验概率法等。基于学习的超分辨重建方法。这种方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码和深度学习方法。近年来深度学习在各个领域取得不多成绩。2014年，Dong等人首次将深度学习应用到图像超分辨率重建领域，他们使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系，自此，在超分辨率重建率领域掀起了深度学习的浪潮。但是这些方法大多数是通过残差连接，或者密集连接的方式来提高网络结构的表征能力，没有考虑到卷积网络所提取特征对超分辨率重要性，导致得到的图像分辨率不高，效果不佳。
技术实现思路
本专利技术提供了一种基于深度学习的视网膜超分辨重建系统及方法，利用深度学习网络从单张低分辨率视网膜图像恢复对应的高分辨率图像；提出一个深度学习模型，该模型由上采样和下采样模块与通道注意力模块级联组成，从而使得模型从时域与频率两个方面提取更加具有辨别性的特征。为了解决上述技术问题，本专利技术实施例提供了一种基于深度学习的视网膜超分辨重建系统，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层，得到高分辨率眼底图像。作为优选方案，所述上采样和下采样模块和所述通道注意力模块的数量均为多个且数量相同；所述上采样和下采样模块和所述通道注意力模块依次交替连接。作为优选方案，相邻的每个所述上采样和下采样模块和所述通道注意力模块进行短连接，构成局部残差模块。作为优选方案，在所述3x3和1x1卷积层的输入端和所述反卷积和3x3卷积层的输出端进行长连接。作为优选方案，所有的卷积层后均含有激励函数relu。本专利技术实施例还提供了一种基于深度学习的视网膜超分辨重建方法，基于上述所述的基于深度学习的视网膜超分辨重建系统进行低分辨率图像重建，其步骤包括：获取低分辨率的眼底图像，将所述眼底图像通过3x3和1x1卷积层进行提取浅层特征；将所述浅层特征通过局部残差模块产生权重向量，根据函数对特征层赋予不同的权值；经过多个局部残差模块后的特征层通过反卷积层使得特征层从低分辨率扩展为高分辨率特征层；低分辨率图像通过上采样与高分辨率特征层相加产生高分辨率眼底图像。作为优选方案，所述获取低分辨率的眼底图像的步骤，具体包括：获取多例眼底图片，通过下采样的方式对所述眼底图片转换成低分辨率图片。作为优选方案，所述对特征层赋予不同的权值用于代表通道与关键信息的相关度。相比于现有技术，本专利技术实施例具有如下有益效果：本专利技术利用深度学习网络从单张低分辨率视网膜图像恢复对应的高分辨率图像。提出一个深度学习模型，该模型由密集连接块与通道注意力块级联组成，从而使得模型从时域与频率两个方面提取更加具有辨别性的特征。另外，模型通过局部与全局的残差连接，使得模型训练稳定，有利于高频信息的恢复。附图说明图1：为本专利技术基于深度学习的视网膜超分辨重建系统的结构示意图；图2：为本专利技术实验结果生成图像视觉效果差异图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参照图1，本专利技术优选实施例提供了一种基于深度学习的视网膜超分辨重建系统，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层，得到高分辨率眼底图像。在本实施例中，所述上采样和下采样模块和所述通道注意力模块的数量均为多个且数量相同；所述上采样和下采样模块和所述通道注意力模块依次交替连接。在本实施例中，相邻的每个所述上采样和下采样模块和所述通道注意力模块进行短连接，构成局部残差模块。在本实施例中，在所述3x3和1x1卷积层的输入端和所述反卷积和3x3卷积层的输出端进行长连接。在本实施例中，所有的卷积层后均含有激励函数relu。本专利技术从时域与频域两个角度提出一个新颖的网络结构，该网络结构主要本文档来自技高网...

【技术保护点】
1.一种基于深度学习的视网膜超分辨重建系统，其特征在于，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；/n所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；/n低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层，得到高分辨率眼底图像。/n

【技术特征摘要】
1.一种基于深度学习的视网膜超分辨重建系统，其特征在于，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；
所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；
低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层，得到高分辨率眼底图像。


2.如权利要求1所述的基于深度学习的视网膜超分辨重建系统，其特征在于，所述上采样和下采样模块和所述通道注意力模块的数量均为多个且数量相同；所述上采样和下采样模块和所述通道注意力模块依次交替连接。


3.如权利要求2所述的基于深度学习的视网膜超分辨重建系统，其特征在于，相邻的每个所述上采样和下采样模块和所述通道注意力模块进行短连接，构成局部残差模块。


4.如权利要求3所述的基于深度学习的视网膜超...

【专利技术属性】
技术研发人员：蔡宏民，范志豪，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44