基于多路径深度卷积神经网络的超分辨率重建方法技术

本发明专利技术公开了一种基于多路径深度卷积神经网络的超分辨率重建方法，包括如下步骤：获得总训练集、总训练集图像预处理、测试集准备和用卷积神经网络的卷积层实现图像重建；本发明专利技术提出的多路径卷积神经网络结构，在原有的单路径神经网络基础上增加了多条支路，能够对不同尺度的图像特征用不同数量的卷积核处理，不增加总体参数量的同时在重建质量和视觉效果上较原先的方法均有提升。

Super resolution reconstruction method based on multi-path deep convolution neural network

The invention discloses a super-resolution reconstruction method based on a multipath depth convolution neural network, which comprises the following steps: obtaining a total training set, image preprocessing of the total training set, preparation of the test set, and image reconstruction using the convolution layer of the convolution neural network; and the multipath convolution neural network structure proposed by the invention is in the original. Some single-path neural networks add more than one branch to deal with different scales of image features with different number of convolution kernels, without increasing the amount of overall parameters at the same time, the quality of reconstruction and visual effects are improved compared with the original method.

【技术实现步骤摘要】
基于多路径深度卷积神经网络的超分辨率重建方法
：本专利技术涉及一种基于多路径深度卷积神经网络的超分辨率重建方法，属于图像处理

技术介绍
：随着科技的发展和人类社会的进步，信息交流和处理越来越重要，相比于文字、声音、气味等信息，图像信息具有直观、形象和信息量大的特点，研究发现，在人类所获取的全部信息中，视觉信息的比例高达60％，所以图像成为了人们工作生活中获取信息的重要来源，对图像的研究与处理具有重要的意义。分辨率是对屏幕图像精密度的度量，它是显示器显示像素的数量。屏幕图像的点、线、面由一个个像素组成，因此构成图像的像素越多，屏幕图像画面就越精细清晰，同样的图像区域内能传达的信息量也越丰富，视觉效果也越好，这种情况称之为高分辨率(HighResolution，简称HR),反之则称为低分辨(LowResolution,简称LR)。分辨率反映了图像所包含的信息量丰富程度，也是图像细节表现能力高低的度量。对采样系统中的硬件设备进行改善是提高图像分辨率的一种途径，主要有两种方法：提高传感单元的密度；增加传感单元的数量。这两种方法均增加了硬件设备的成本，并且前者使得传感芯片尺寸变小而带来了更多的干扰噪声。作为一种软件技术，图像超分辨率(Super-Resolution，简称SR)重建算法可以在硬件设备约束下实现图像或视频分辨率的增强，提高图像或视频的视觉效果。图像超分辨率重建技术的目的是提高输入图像的分辨率，即通过增强输入图像内容的清晰度或者恢复输入图像自身并不存在的细节信息，最终输出高质量的HR图像。超分辨率重建技术适用于难以获得高质量图像的场合，例如视频监控和遥感中，前者得到的往往是只有几十个像素的低质量人脸，而对于后者HR数字成像设备的成本往往过于高昂，受到硬件成本的限制和人们对高的图像分辨率的不懈追求，图像SR重建技术获得广泛的研究关注。图像SR重建算法是一种由一副LR图像或一个LR图像序列重构恢复出HR图像的技术。这一技术获得的HR图像可以恢复出观测图像丢失的高频细节信息，具有更好的视觉效果，有利于对图像的各种后续处理，而图像SR技术的目标是解决这个典型的病态问题。超分辨率重建算法通常分为三类:基于插值、基于重建和基于学习的超分辨率重建算法，基于插值的方法实现简单计算效率高，但是重建结果过于平滑，无法产生高频细节；基于重建的方法无法处理自然图像中的复杂图像结构；基于学习的方法依赖样本图像库建立低分辨率图像和高分辨率图像之间的映射，当输入新的低分辨率图像时，根据这种映射关系重建出高分辨率图像，所以此类方法的关键是针对样本图像库的学习算法本身，本专利技术主要采用的是基于学习的超分辨率重建方法。公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
：本专利技术的目的是针对上述问题，探索适用于自然图像超分辨率问题的深度卷积神经网络结构，从网络深度和宽度两方面进行考虑，在不增加网路总体参数量的前提下提高图像重建的质量和视觉效果。为实现上述目的，本专利技术具体实施步骤如下：一种基于多路径深度卷积神经网络的超分辨率重建方法，包括如下步骤：(1)获得总训练集：训练集是通用的超分辨网络训练集91images和伯克利分割数据集中的200images，原始的训练集为291张自然图片，对每一张训练图片分别进行0.9,0.8,0.7,0.6倍数的缩小，并且进行90°，180°，270°旋转以及镜像翻转，原先训练集中的一张自然图片经过数据增强得到20张图片，总训练集大小为291*20＝5820张自然图片；(4)总训练集图像预处理：将总训练集中的图片用BICUBIC方法分别进行2倍，3倍和4倍分辨率缩小，切割成41*41大小的图片块，patch大小设置为64，并将训练集保存为HDF5格式作为卷积神经网络的输入；(5)测试集准备：设定4组测试集分别为：Set5、Set14、B100、Urban100,其中Set5、Set14、B100是三个常用图像超分辨率数据集，分别包含5张、14张、100张不同尺寸的自然图片，urban100是100张不同的城市场景图片；测试集按照步骤(2)中训练集进行相同的预处理，BICUBIC后输入网络进行图像超分辨率重建，patch大小设置为2；(4)用卷积神经网络的卷积层实现图像重建：分为三个部分：特征提取、特征映射和图像重建，特征提取和图像恢复部分各用一个3*3卷积核实现，特征映射部分用27个3*3卷积核实现；首先将训练集和测试集中RGB的彩色图像转换成YCbCr颜色空间，只计算Y通道即亮度通道，然后切成大小是41*41的patch作为输入；每一个卷积层后均紧跟一个ReLU激活函数。图像超分辨率是指由一幅低分辨率图像(LowResolution,简称LR)或低分辨率图像序列恢复出高分辨率图像(HighResolution,简称HR)，该技术是计算机视觉领域中的经典问题，能够在原先的低分辨率图片中增加有效信息，提高图片的视觉效果。本专利技术针对单张图像的超分辨率问题，旨在利用深度卷积神经网络探索一种实现速度快、恢复品质高的图像超分辨率方法。本专利技术进一步限定的技术方案为：进一步的：步骤(2)和(4)中的卷积神经网络具体为：共包括29个卷积层，每一层卷积核大小均为3*3，特征图数量为64即通过卷积产生64种特征，为使输出特征图大小不变，padding设置为1；特征提取部分包含一层；特征映射部分包含29层；图像恢复部分包含一层，输出特征图数量为1，即网络学习到的高分辨率残差图像，最长路径感受野计算：RFn-1＝(RFn-1)*Stride+Kerneral_size，其中,RFn为第n层对第n-1层的感受野，Stride为卷积步长，Kerneral_size为卷积核大小，采用toptodown的计算方式,从最后一层逐层向前计算感受野；神经网络的最后一层对最后第二层的感受野为3，根据公式前向推导得感受野为41，即生成的高分辨率图像中的每一个像素点均与输入图像中的41*41个像素点有关系。进一步的：步骤(3)中的超分辨率方法具体为：在原有的链式卷积神经网络结构基础上引入多路径结构，从第二个卷积层开始，每两个卷基层并联一个额外的卷积层，且并联的卷积层参数与原来的卷积层参数共享，在每一并联结构的末端进行特征融合，多个类似的并联结构嵌套构成多路径结构，能够在不增加网络参数的情况下提升网络的重建性能。进一步的：卷积神经网络结构的第一部分为图像块的提取和特征表示，利用卷积网络的性质提取残差图像的特征。进一步的：具体过程用如下公式表示：F1(X)＝max(0,W1*X+B1)，其中，W1和B1分别表示卷积滤波器和偏置，W1的大小为c*f1*f1*n1，c为输入图像的通道数，f1为卷积滤波器的大小，n1为卷积滤波器的数量；W1将n1个卷积滤波器应用于图像，而每个卷积核大小为c*f1*f1；输出由n1个特征网络图组成；B1是一个n1维的向量，其每一个元素分别和一个卷积滤波器有关。进一步的：网络的第二部分中利用多路径结构对特征进行映射和融合，其公式为：F2(X)＝max(0,W2*F1(X)+B2)，F3(X)＝max(0,W本文档来自技高网...

【技术保护点】
1.一种基于多路径深度卷积神经网络的超分辨率重建方法，包括如下步骤：(1)获得总训练集：训练集是通用的超分辨网络训练集91images和伯克利分割数据集中的200images，原始的训练集为291张自然图片，对每一张训练图片分别进行0.9,0.8,0.7,0.6倍数的缩小，并且进行90°，180°，270°旋转以及镜像翻转，原先训练集中的一张自然图片经过数据增强得到20张图片，总训练集大小为291*20＝5820张自然图片；(2)总训练集图像预处理：将总训练集中的图片用BICUBIC方法分别进行2倍，3倍和4倍分辨率缩小，切割成41*41大小的图片块，patch大小设置为64，并将训练集保存为HDF5格式作为卷积神经网络的输入；(3)测试集准备：设定4组测试集分别为：Set5、Set14、B100、Urban100,其中Set5、Set14、B100是三个常用图像超分辨率数据集，分别包含5张、14张、100张不同尺寸的自然图片，urban100是100张不同的城市场景图片；测试集按照步骤(2)中训练集进行相同的预处理，BICUBIC后输入网络进行图像超分辨率重建，patch大小设置为2；(4)用卷积神经网络的卷积层实现图像重建：分为三个部分：特征提取、特征映射和图像重建，特征提取和图像恢复部分各用一个3*3卷积核实现，特征映射部分用27个3*3卷积核实现；首先将训练集和测试集中RGB的彩色图像转换成YCbCr颜色空间，只计算Y通道即亮度通道，然后切成大小是41*41的patch作为输入；每一个卷积层后均紧跟一个ReLU激活函数。...

【技术特征摘要】
1.一种基于多路径深度卷积神经网络的超分辨率重建方法，包括如下步骤：(1)获得总训练集：训练集是通用的超分辨网络训练集91images和伯克利分割数据集中的200images，原始的训练集为291张自然图片，对每一张训练图片分别进行0.9,0.8,0.7,0.6倍数的缩小，并且进行90°，180°，270°旋转以及镜像翻转，原先训练集中的一张自然图片经过数据增强得到20张图片，总训练集大小为291*20＝5820张自然图片；(2)总训练集图像预处理：将总训练集中的图片用BICUBIC方法分别进行2倍，3倍和4倍分辨率缩小，切割成41*41大小的图片块，patch大小设置为64，并将训练集保存为HDF5格式作为卷积神经网络的输入；(3)测试集准备：设定4组测试集分别为：Set5、Set14、B100、Urban100,其中Set5、Set14、B100是三个常用图像超分辨率数据集，分别包含5张、14张、100张不同尺寸的自然图片，urban100是100张不同的城市场景图片；测试集按照步骤(2)中训练集进行相同的预处理，BICUBIC后输入网络进行图像超分辨率重建，patch大小设置为2；(4)用卷积神经网络的卷积层实现图像重建：分为三个部分：特征提取、特征映射和图像重建，特征提取和图像恢复部分各用一个3*3卷积核实现，特征映射部分用27个3*3卷积核实现；首先将训练集和测试集中RGB的彩色图像转换成YCbCr颜色空间，只计算Y通道即亮度通道，然后切成大小是41*41的patch作为输入；每一个卷积层后均紧跟一个ReLU激活函数。2.根据权利要求1所述的基于多路径深度卷积神经网络的超分辨率重建方法，其特征在于：步骤(2)和(4)中的卷积神经网络具体为：共包括29个卷积层，每一层卷积核大小均为3*3，特征图数量为64即通过卷积产生64种特征，为使输出特征图大小不变，padding设置为1；特征提取部分包含一层；特征映射部分包含29层；图像恢复部分包含一层，输出特征图数量为1，即网络学习到的高分辨率残差图像，最长路径感受野计算：RFn-1＝(RFn-1)*Stride+Kerneral_size，其中,RFn为第n层对第n-1层的感受野，Stride为卷积步长，Kerneral_size为卷积核大小，采用toptodown的计算方式,从最后一层逐层向前计算感受野；神经网络的最后一层对最后第二层的感受野为3，根据公式前向推导得感受野为41，即生成的高分辨率图像中的每一个像素点均与输入图像中的41*41个像素点有关系。3.根据权利要求1所述的基于多路径深度卷积神经网络的超分辨率重建方法，其特征在于：步骤(3)中的超分辨率方法具体为：在原有的链式卷积神...

【专利技术属性】
技术研发人员：邵文泽，陈龙，葛琦，王力谦，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32