基于深度度量学习的图像超分辨方法技术

本发明专利技术公开了一种基于深度度量学习的图像超分辨方法，解决了特征提取的不准确及固定的邻域大小的问题。主要步骤为：对训练样例图像分块并训练一个深度度量神经网络模型；将低分辩率训练样例送入训练好的神经网络得到低分辩图像的特征库；将输入的低分辩图像分块送入神经网络得到其特征；利用稀疏多流形嵌入的方法在低分辩图像的特征库中寻找近邻，计算编码系数，将编码系数与对应高分辨率图像块相乘，得到高分辨率图像块，拼接高分辨率图像块完成图像超分辨重构。本发明专利技术采用深度度量神经网络学习特征，近邻选取的比较准确，并自适应的选择邻域大小，有效提高了重构图像质量并改善细节信息，适用于各种自然图像的超分辨率重构。

Image superresolution method based on depth metric learning

The invention discloses an image super-resolution method based on depth measurement learning, which solves the problem of inaccurate feature extraction and fixed neighborhood size. The main steps are as follows: the training sample image block and training a neural network model for depth measurement; the low resolution training examples into the trained neural network has characteristics of low resolution image database; the low resolution input image block into the neural network to get its characteristics; using the method of sparse manifold embedding for nearest neighbor in the feature library of low resolution image, calculate the encoding coefficients, the encoding coefficients corresponding to the high resolution image block multiplication, high resolution images, high resolution image mosaic block image super-resolution reconstruction. The invention uses depth metric to learn the characteristics of neural network, and the neighbor selection is more accurate, and adaptively choose the neighborhood size, which effectively improves the reconstructed image quality and improves the detail information, and applies to the super-resolution reconstruction of various natural images.

【技术实现步骤摘要】
基于深度度量学习的图像超分辨方法
本专利技术属于图像处理
，主要涉及图像超分辨重构，具体是一种深度度量学习的图像超分辨重构方法，该方法可用于各类自然图像的超分辨率重构。
技术介绍
图像超分辨重构是通过一幅或多幅低分辨率图像，重构出更高分辨率的图像。这种方法克服了传统图像传感器的分辨率限制和代价高的缺点，是一种低成本、高效的提高成像质量的方法。基于邻域嵌入的方法是一种有代表性的基于学习的图像超分辨重构方法，特征表示和近邻选取是这种方法中最重要的两个部分，如何得到一个比较好的特征空间，如何获得流形结构中比较准确的近邻关系，对超分辨率重建结果有着非常重要的影响。然而，传统的方法仅在图像的初级特征空间上求解稀疏编码系数和学习嵌入空间，使得稀疏性与流形假设难以严格满足，直接导致了图像重构质量的下降。
技术实现思路
本专利技术的目的在于克服上述已有技术的缺点，提出一种基于深度度量学习的图像超分辨重构方法，改善特征提取的过程以及固定邻域大小的限制，提高重构图像的效率和质量。本专利技术是一种基于深度度量学习的图像超分辨重构方法，其特征在于，包括有如下步骤：步骤1：将训练样本中的低分辨率图像和高分辨图像分割成对应的图像块，选取每个高分辨率训练样本图像块的前K个近邻作为相似样本对，构建深度度量网络的输入数据X＝{(xi,xj,lij)}；步骤2：将输入数据X＝{(xi,xj,lij)}按照神经网络训练的方法训练一个深度度量神经网络模型步骤3：将训练样本库中的每一个低分辨样本，经过深度度量网络，得到一个新的非线性特征库；步骤4：将输入的低分辨图像分割成图像块，并将每一个图像块经过深度度量神经网络中得到一个新的特征；步骤5：对于每一个图像块的特征，用稀疏多流形嵌入的方法在低分辨率训练样例库中去寻找近邻，得到编码系数，将编码系数与对应高分辨率图像块相乘，得到高分辨率图像块集步骤6：将高分辨率图像块集中的所有高分辨率图像输出小块按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像X*。本专利技术的技术方案是首先对训练样例图像分块并训练一个深度度量神经网络模型；接着将低分辩率训练样例送入训练好的神经网络得到低分辩图像的特征库；然后将输入的低分辩图像分块后送入神经网络得到其特征；最后利用稀疏多流形嵌入的方法在低分辩图像的特征库中寻找近邻，计算编码系数，将编码系数与对应高分辨率图像块相乘，得到高分辨率图像块，拼接高分辨率图像块完成图像超分辨重构。本专利技术与现有的技术相比具有以下优点：1.本专利技术基于深度度量学习的方法，引入了深度度量神经网络学习图像块的特征，更准确的描述图像本身的方向及纹理性质，通过特征找到的近邻更加准确；2.本专利技术基于稀疏多流形嵌入的思想，用稀疏多流形嵌入的方法在样本库中寻找近邻，重构高分辨图像时恢复效果提高。附图说明图1是本专利技术的总流程图；图2是本专利技术采用的植物训练图像；图3是本专利技术采用的动物训练图像；图4是本专利技术采用的人训练图像；图5是用本专利技术对测试Butterfly图像的重构效果图；图6是用本专利技术对测试Parrot图像的重构效果图；图7是用本专利技术对测试Hat图像的重构效果图；具体实施方法下面结合附图对本专利技术详细说明：本专利技术是一种基于深度度量学习的图像超分辨重构方法，参见图1，本专利技术对图像超分辨重构包括有如下步骤：步骤1：将训练样本中的低分辨率图像和高分辨图像分割成对应的图像块，选取每个高分辨率训练样本图像块的前K个近邻作为相似样本对，构建深度度量网络的输入数据X＝{(xi,xj,lij)}。步骤2：将输入数据X＝{(xi,xj,lij)}按照神经网络训练的方法训练一个深度度量神经网络模型。其中步骤2中的对深度度量神经网络对进行训练，包括有如下步骤：2a)设置网络的层数M，阈值τ，学习率μ，迭代次数T，正则化参数λ，收敛误差ε；2b)初始化网络权重W(m)为标准正态分布的数据，偏置b(m)为0，迭代次数t＝1，其中m表示第几层网络，深度度量学习算法描述为如下的优化问题：其中，λ是一个正则化参数，是广泛意义上的逻辑损失函数，β是一个形状参数，||A||F表示矩阵的F范数，表示特征空间的度量距离；2c)随机从训练样本X中选取一对训练样本分别作为网络输入，从m＝1,2,...M，逐层计算网络的输出：h(m)＝s(W(m)x+b(m))，s是一个非线性的激活函数，逐个元素操作，比如tanh函数或者sigmoid函数；2d)从m＝M,M-1,...,1，通过反向传播的方法逐层计算梯度：其中，⊙表示逐个元素乘积；2e)更新W(m),b(m)：2f)计算Jt，如果t＞1并且|Jt-Jt-1|＜ε或者t≥T则停止迭代,否则t＝t+1，转入步骤2c继续迭代；步骤3：将训练样本库中的每一个低分辨样本，经过深度度量网络，得到一个新的非线性特征库。步骤4：将输入的低分辨图像分割成图像块，并将每一个图像块经过深度度量神经网络中得到一个新的特征。步骤5：对于每一个图像块的特征，用稀疏多流形嵌入的方法在低分辨率训练样例特征库中去寻找近邻，得到编码系数，将编码系数与对应高分辨率图像块相乘，得到高分辨率图像块集4a)在低分辨率特征小块集中寻找ftq的k个近邻构成近邻集合4a)求解优化问题：计算编码系数。其中，求解优化问题：)计算编码系数cq；其中，为低分辨率特征小块ftq的近邻构成的样本矩阵，4b)传递重建权重cq，通过线性组合得到高分辨率小块步骤6：将高分辨率图像块集中的所有高分辨率图像输出小块按顺序放到待重构的高分辨率图像的对应位置上，得到最终的高分辨率图像X*。本专利技术的效果可以通过以下实验进一步说明：1)实验条件我们将本章的方法与几种基于不同特征的超分辨率重建方法在3倍放大的条件下得到的重建结果在主观感受和客观评价指标上进行比较，参与对比的方法分别为：Bicubic插值、NE、NISR、SASR、DGNE。实验仿真环境：采用软件MATLAB2012R作为仿真工具，CPU是AMDA8-5550M，主频为2.10GHz，内存64G，操作系统为Windows7旗舰版。2)仿真内容仿真1：分别采用本专利技术与一二阶梯度特征、一阶梯度和Norm特征、PDLG特征对测试图像进行重构实验，计算不同特征下重建结果的平均PSNR、SSIM和FSIM值，实验结果如表1所示。表1不同特征下重构结果的数值指标仿真2：分别采用本专利技术与Bicubic插值、NE、NISR、SASR、DGNEK方法对测试图像Butterfly进行重构实验，实验结果如图5所示，其中图5(a)为输入低分辨率图像、图5(b)为Bicubic插值方法的重构结果、图5(c)为NE方法的重构结果、图5(d)为NISR的重构结果、图5(e)为SASR方法的重构结果、图5(f)为DGNE方法的重构结果，图5(g)为本专利技术的重构结果、图5(h)为高分辨原图。仿真3：分别采用本专利技术与Bicubic插值、NE、NISR、SASR、DGNEK方法对测试图像Parrots进行重构实验，实验结果如图6所示，其中图6(a)为输入低分辨率图像、图6(b)为Bicubic插值方法的重构结果、图6(c)为NE方法的重构结果、图6(d)为NISR的重构结果、图6(e)为SASR方法的重构结果、图6(f)为DGNE方法的本文档来自技高网...

【技术保护点】
一种基于深度度量学习的图像超分辨重构方法，其特征在于，包括有如下步骤：步骤1：将训练样本中的低分辨率图像和高分辨图像分割成对应的图像块，选取每个高分辨率训练图像块的前K个近邻作为相似样本对，构建深度度量网络的输入数据X＝{(xi,xj,lij)}；步骤2：将输入数据X＝{(xi,xj,lij)}按照神经网络训练的方法训练一个深度度量神经网络模型；步骤3：将训练样本库中的每一个低分辨样本，经过深度度量网络，得到一个新的非线性特征；步骤4：将输入的低分辨图像分割成图像块，并将每一个图像块经过深度度量神经网络中得到一个新的特征；步骤5：对于每一个图像块的特征，用稀疏多流形嵌入的方法在低分辨率训练样例库中去寻找近邻，得到编码系数，将编码系数与对应高分辨率图像块相乘，得到高分辨率图像块集

【技术特征摘要】
1.一种基于深度度量学习的图像超分辨重构方法，其特征在于，包括有如下步骤：步骤1：将训练样本中的低分辨率图像和高分辨图像分割成对应的图像块，选取每个高分辨率训练图像块的前K个近邻作为相似样本对，构建深度度量网络的输入数据X＝{(xi,xj,lij)}；步骤2：将输入数据X＝{(xi,xj,lij)}按照神经网络训练的方法训练一个深度度量神经网络模型；步骤3：将训练样本库中的每一个低分辨样本，经过深度度量网...

【专利技术属性】
技术研发人员：王敏，王勇，
申请(专利权)人：苏州闻捷传感技术有限公司，
类型：发明
国别省市：江苏,32