【技术实现步骤摘要】
基于自适应卷积神经网络的图像超分辨方法
本专利技术属于技术图像处理领域，特别图像超分辨方法，可用于医疗诊断，卫星成像及道路监控。技术背景近年来，随着社会的发展，图像超分辨技术在医疗诊断，卫星成像，道路监控等领域起到重要作用。单幅图像超分辨是一个病态问题，很多科研工作者针对这一病态问题提出了很多算法，主要包括基于插值的算法，基于重建的算法和基于学习的算法。在基于学习的算法中，基于卷积神经网络的深度学习算法取得了明显优于传统算法的优势，成为当前研究的热点。但是当前基于卷积神经网络的算法还存在一些不足：在网络规模方面，该类方法由于网络层数较浅无法充分学习LR图像和HR图像之间的非线性映射关系，后来开始增加网络深度，由此又产生了三个问题：(1)深层网络模型参数多，网络规模大，在重建过程中花费更多时间；(2)深层网络模型中浅层特征在后面的层中影响微弱，造成浅层特征信息的丢失；(3)深层网络在训练过程中难以收敛；在上采样操作所在位置方面，该类方法往往在图像超分辨之前进行插值预处理，再使用神经网络进行重构，由此产生的问题是：1...
【技术保护点】
1.一种基于自适应卷积神经网络的图像超分辨方法，其特征在于，包括如下：/n(1)对标准数据集中的高分辨率图像HR进行下采样，得到对应的低分辨率图像LR，形成HR-LR图像对；/n(2)将HR-LR图像对按指定大小进行分块，对每个LR图像块计算其单位图像大小的信息熵h(X)和总变差tv(X)；/n(3)将复杂度划分成三个等级，依次对应简单图，一般图和复杂图，对LR单位图像大小的信息熵和总变差进行归一化处理，并乘以各自权重，得到LR图像块复杂度C(X)，再根据复杂度所属等级制作相应训练集
【技术特征摘要】
1.一种基于自适应卷积神经网络的图像超分辨方法，其特征在于，包括如下：
(1)对标准数据集中的高分辨率图像HR进行下采样，得到对应的低分辨率图像LR，形成HR-LR图像对；
(2)将HR-LR图像对按指定大小进行分块，对每个LR图像块计算其单位图像大小的信息熵h(X)和总变差tv(X)；
(3)将复杂度划分成三个等级，依次对应简单图，一般图和复杂图，对LR单位图像大小的信息熵和总变差进行归一化处理，并乘以各自权重，得到LR图像块复杂度C(X)，再根据复杂度所属等级制作相应训练集Tiscale为第i个等级，放大因子为scale的训练集，i＝1,2,3，scale＝2,3,4，为该训练集中第j个放大因子为scale的HR-LR图像对，j＝1,2,…,N，N为该训练集的样本总数；
(4)构建依次由浅层特征提取、深层特征提取、特征融合和上采样四部分级联，并在全局进行残差学习的自适应密集连接残差网络，其中，深层特征提取部分根据输入图像复杂度的不同包含不同数量的特征消融块，形成不同网络分支；
(5)以设定的概率确定选择哪种等级的训练集T，从所选数据集T中随机获取batch_size个训练数据，并对这些数据随机做水平、垂直翻转和90度旋转操作处理，其中选择简单图像训练集的概率为0.1，选择一般图像训练集的概率为0.3，选择复杂图像训练集的概率为0.6；
(6)将(5)处理后的数据输入到(4)构建的自适应密集连接残差网络中，并根据处理后数据的复杂度等级选择对应的网络进行训练，得到训练好的自适应密集连接残差网络；
(7)按(2)和(3)对待重建图像按指定大小分块，计算每个块的复杂度Ci(X)，i＝1,2,…,M，M为待重建图像所分成的总块数，计算所有块复杂度的平均值，并加上设定的阈值0.25，得到待重建图像的复杂度C(X)；
(8)将待重建图像输入到训练好的自适应密集连接残差网络，根据待重建图像复杂度C(X)自适应选择对应的网络进行重构，得到超分辨后的图像。
2.根据权利要求1所述的方法，其特征在于：(1)中对标准数据集中的高分辨率图像HR进行下采样，是选用DIV2K的训练集，分别按照2倍、3倍、4倍尺寸进行双三次下采样处理，得到自适应密集连接残差网络的训练样本HR-LR图像。
3.根据权利要求1所述的方法，其特征在于：
所述(2)中的指定大小，是指LR图像的大小为32×32，HR图像的大小为(32×scale)×(32×scale)，scale＝2,3,4分别对应2倍放大因子、3倍放大因子和4倍放大因子；
所述(2)中计算每个LR单位图像的信息熵h(X)和总变差tv(X)，其实现如下：
(2a)将RGB通道的LR图像块转换成YCbCr通道的LR图像块，得到Y通道图像，其中转换公式如下：
Y＝0.299×R+0.587×G+0.114×B，
其中R代表红色通道，G代表绿色通道，B代表蓝色通道，Y代表明亮度；
(2b)计算Y通道图像的信息熵H(X)：
H(X)＝-∑p(i)log(p(i))，i＝0,1,…,255，
其中，p(i)表示图像块中灰度值i出现的概率；
(2c)根据信息熵H(X)计算Y通道图像单位图像信息熵h(X)：
(2d)计算Y通道图像的总变差TV(X)：
其中xi,j为(i,j)位置处的灰度值，xi,j+1为(i,j+1)位置处的灰度值，xi+1,j为(i+1,j)处的灰度值；
(2e)根据总变差TV(X)计算Y通道图像单位图像总变差tv(X)：
4.根据权利要求1所述的方法，其特征在于：
所述(3)中得到的LR图像块复杂度C(X)，其实现过程如下：
(3a)从(2)计算的LR单位图像信息熵h(X)和总变差tv(X)中分别找到最大值和最小值hmax(X)，hmin(X)，tvmax(X)，tvmin(X)，其中hmax(X)，tvmax(X)分别为最大单位图像信息熵和总变差，hmin(X)，tvmin(X)分别为最小单位图像信息熵和总变差；
(3b)分别设置归一化后信息熵和总变差的权重为0.5；
(3c)根据hmax(X),hmin(X),tvmax(X),tvmin(X)和设置的权重计算LR图像块复杂度：其中，h(X),tv(X)分别为当前LR单位图像信息熵和总变差，且C(X)∈[0,1]；
所述(3)中将复杂度划分成三个等级，是指将复杂度C(X)∈[0,1]分为[0,0.4)，[0.4,0.6)，[0.6,1]三个区间，分别对应简单图、一般图和复杂图三个等级。
5.根据权利要求1所述的方法，其特征在于：(4)中自适应密集连接残差网络中的浅层特征部分，由两层卷积层级联构成，其公式表示如下：
F-1＝Fs_1(x)，
F0＝Fs_2(F-1)
其中，F-1为经过浅层特征部分的第一层卷积层输出，Fs_1(·)为第一层浅层特征提取操作，卷积核大小为3×3，输入图像维度为dim＝3，输出特征维度为64，x为输入图像；
F0为经过浅层特征部分的第二层卷积输出，Fs_2(·)为第二层浅层特征提取操作，卷积核大小为3×3，输入和输出特征维度均为64，F-1为浅层特征部分的第二层卷积输入。
6.根据权利要求1所述的方法，其特征在于：(4)中自适应密集连接残差网络中的深层特征部分，由简单图网络分支、一般图网络分支和复杂图网络分支并联构成，每一网络分支又由不同数量的特征消融块密集连接组成，其中：
简单图网络分支包含2个特征消融块，一般图网络分支包含3个特征消融块，复杂图网络分支包含4个特征消融块。
7.根据权利要求6所述的方法，其特征在于：所述三种网络分支之间的参数共享，即一般图网络分支的3个特征消融块中前2个特征消融块与简单图网络分支中2个特征消融块相同，复杂图网络分支的4个特征消融块中前3个特征消融块与一般图网络分支中的3个特征消融块相同；
每个特征消融块的表达式如下：
F1＝Fl1(F0)，
F2＝Fl2(F0,F1)，
F3＝Fl3(F0,F1,F2)，
F4＝Fl4(F0,F1,F2,F3)
其中，F1为经过第一个特征消融块的输出，第一个特征消融块包含一层卷积层，卷积核大小为3×3，输入和输出特征维度为64，Fl1(·)为第一个特征消融块操作，F0为第一个特征消融块的输入；
F2为经过第二个特征消融块的输出，第二个特征消融块由两层卷积层级联构成，第二个特征消融块的第一层卷积核大小为3×3，输入特征维度为128，输出特征维度为64；第二层卷积核大小为3×3，输入和输出特征维度均为64，Fl2(·)为第二个特征消融块的两层卷积级联操作，F0,F1同时为第二个特征消融块的输入；
F3为经过第三个特征消融块的输出，第三个特征消融块由三层卷积层级联构成，第三个特征消融块的第一层卷积核大小为3×3，输入特征维度为192，输出特征维度为128；第二层卷积核大小为3×3，输入特征维度为128，输出特征维度为64；第三层卷积核大小为3×3，输入和输出特征维度均为64，Fl3(·)为第三个特征消融块的三层卷积级联操作，F0,F1,F2同时为第三个特征消融块的...
【专利技术属性】
技术研发人员：魏德运，王昭武，李远敏，江明杰，慎毅，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。