基于深层门限卷积神经网络的图像超分辨方法技术

本发明专利技术公开一种基于深层门限卷积神经网络的图像超分辨方法，主要解决现有技术在网络加深时图像超分辨效果会降低的问题。其实现步骤是：1.获取成对的低分辨和高分辨图像数据作为训练数据；2.定义一种门限卷积层，用它取代现有的卷积层，构建一个端到端的深层门限卷积神经网络；3.将训练数据输入深层门限卷积神经网络用Adam优化方法进行训练；4.利用训练好的深层门限卷积神经网络进行图像超分辨。本发明专利技术有效的减小了深层神经网络的梯度衰减的问题，实现了深层网络的图像超分辨应用，增强了图像超分辨效果；提高了图像超分辨的速度，可用于卫星遥感领域，医学领域，交通监控及视频压缩。

Image super-resolution method based on deep threshold convolutional neural networks

The invention discloses an image super-resolution method based on a deep threshold convolutional neural network, which mainly solves the problem that the super-resolution effect of the prior art when the network is deepened is reduced. It comprises following steps: obtaining 1. pairs of low resolution and high resolution image data as the training data; the 2. definition of a threshold volume layer which is used for replacing the existing convolution layer, build a deep end to threshold convolution neural network end; 3. the training data for training the Adam threshold optimization method deep convolutional neural network input; 4. to use deep convolutional neural network trained threshold for image super-resolution. The invention effectively reduces the gradient deep neural network attenuation problem, realize the image super resolution of deep web application, enhance image superresolution; improve the image super resolution speed, the field can be used in the fields of medicine, remote sensing, traffic monitoring and video compression.

【技术实现步骤摘要】
基于深层门限卷积神经网络的图像超分辨方法
本专利技术属于图像处理
，具体是一种图像超分辨方法，可用于卫星遥感领域，医学领域，交通监控领域以及视频压缩领域等。
技术介绍
图像超分辨是指从一个低分辨图片中学习恢复出高分辨图像的一种技术。相比较于低分辨图像来说，高分辨图像可以表达更多详细的信息，其细节表达能力更强，因此，图像超分辨在很多的领域都有着极大应用，如卫星遥感领域，医学领域，交通监控领域，以及视频压缩领域等。目前为止，图像的超分辨方法主要有三个主要分类：基于插值，基于重建和基于学习的方法。而基于学习的方法由于引入了先验信息的样例，增加了更有效的约束，提高了重建图像的准确性，所以在近几年来取得了极大的发展，逐渐成为图像超分辨的主流方法，而且其性能也远远超过了另外两种方法。在基于学习的方法中大致又分为两大方向：基于字典学习的方法和基于神经网络的方法。基于字典学习的方法主要是基于稀疏编码的超分辨算法SCSR，它是由Yang等人就是从压缩感知理论出发提出的，这种方法的流程是：首先从输入图像中有重合的提取图像块，并拉成一个向量，并进行减均值和归一化的预处理；然后经过低分辨学到的字典进行本文档来自技高网...

【技术保护点】
基于深度门限卷积神经网络的图像超分辨方法，包括：1)获取成对的低分辨和高分辨图像数据：对自然图像先进行下采样处理，然后再用双线性三次插值法，得到与之对应的低分辨图像，最后随机采样，得到大小相同的成对低分辨图像和高分辨图像作为训练数据；2)对基于卷积神经网络的图像超分辨模型SRCNN进行改进，构建一个端到端的深层门限卷积神经网络：2a)定义一种门限卷积层，并用它来代替SRCNN中的卷积层，得到浅层的门限卷积神经网络；2b)将浅层的门限卷积神经网络拓展到更多层神经网络，且最后一层采用反卷积神经网络重构高分辨图像，得到多层门限卷积神经网络和一层反卷积神经网络级联的深层门限卷积神经网络；3)用Adam...

【技术特征摘要】
1.基于深度门限卷积神经网络的图像超分辨方法，包括：1)获取成对的低分辨和高分辨图像数据：对自然图像先进行下采样处理，然后再用双线性三次插值法，得到与之对应的低分辨图像，最后随机采样，得到大小相同的成对低分辨图像和高分辨图像作为训练数据；2)对基于卷积神经网络的图像超分辨模型SRCNN进行改进，构建一个端到端的深层门限卷积神经网络：2a)定义一种门限卷积层，并用它来代替SRCNN中的卷积层，得到浅层的门限卷积神经网络；2b)将浅层的门限卷积神经网络拓展到更多层神经网络，且最后一层采用反卷积神经网络重构高分辨图像，得到多层门限卷积神经网络和一层反卷积神经网络级联的深层门限卷积神经网络；3)用Adam优化方法对深层门限卷积神经网络进行训练：3a)将低分辨图像样本作为深层门限卷积神经网络的输入，计算其输出与高分辨图像样本之间的重构误差其中xhi为训练时第i幅高分辨图像，xli为训练时第i幅低分辨图像，M表示该深层门限卷积神经网络；3b)将重构误差E作为目标函数，用Adam优化方法优化该目标函数，得到一组最优的深层门限卷积神经网络参数；4)用3b)中得到的最优的深层门限卷积神经网络参数所对应的深层门限卷积神经网络实现对低分辨图像到高分辨图像的超分辨映射：4a)对于输入的低分辨图像，通过一次门限卷积后得到低分辨图像所对应的特征图像；4b)由4a)中得到的低分辨图像的特征图像再经过多层的门限卷积神经网络精确的映射到高分辨图像的特征图像；4c)由4b)中得到的高分辨图像的特征图像经过一层反卷积网络重构得到我们的高分辨图像。2.根据权利要求1所述的方法，其中步骤1)中的双线性三次插值法，得到与之对应的低分辨图像，通过下式进行：f(i+u,j+v)＝ABC其中，u表示横向的插值位置，v表示纵向的插值位置，i为当前像素点的横坐标，j为当前像素点的纵坐标，f(i+u,j+v)表示图像在(i+u,j+v)处插值后的像素值；A是横向因子矩阵，B矩阵是包括像素值f(i,j)在内的周围共计16个点的像素值组成的矩阵，C是纵向因子矩阵，这三个矩阵分别表示如下：A＝[S(1+u)S(u)S(1-u)S(2-u)]，S是插值基函数；

【专利技术属性】
技术研发人员：陈渤，刘明贵，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61