一种基于残差学习卷积神经网络的多光谱图像反演方法技术

本发明专利技术涉及多光谱成像领域的图像反演问题领域，更具体而言，涉及一种基于残差学习卷积神经网络的多光谱图像反演方法。该方法首先任选一个通道作为主通道(其它通道作为从通道)，利用传统的方法(调焦或图像去模糊算法)获取主通道的清晰图像，然后将该清晰图像输入到各个从通道残差神经网络模型，即可计算出各个从通道残差神经网络模型的输出(即从通道图像与主通道图像间的残差)，最后将该残差与主通道图像相加，即可反演出各个从通道的清晰图像。

A Multispectral Image Retrieval Method Based on Residual Learning Convolutional Neural Network

The invention relates to the field of image inversion in the field of multispectral imaging, and more specifically, to a multispectral image inversion method based on residual learning convolution neural network. This method first chooses one channel as the main channel (other channels as the slave channel), uses the traditional method (focusing or image deblurring algorithm) to obtain the clear image of the main channel, and then inputs the clear image into the residual neural network model of each slave channel, and then calculates the output of the residual neural network model of each slave channel (that is, between the slave channel image and the main channel image). Finally, by adding the residual to the main channel image, the clear images of each slave channel can be retrieved.

【技术实现步骤摘要】
一种基于残差学习卷积神经网络的多光谱图像反演方法
本专利技术涉及多光谱成像领域的图像反演问题领域，更具体而言，涉及一种基于残差学习卷积神经网络的多光谱图像反演方法。
技术介绍
已有的研究发现，多光谱成像系统的成像质量通常较差，难以获取各个通道的清晰图像。主要原因是由离焦(out-of-focus)、衍射方向波长展宽等因素引起。针对该问题，国内外许多研究者展开了深入的研究。针对离焦模糊问题，早期的研究通过调焦方式消除色差导致的成像模糊，该方法主要通过一定算法计算图像清晰度并采用步进电机对前置光学镜头调焦，但在宽光谱范围的成像测量中，完成一次光谱成像测量耗时较长，对运动物体进行测量效果较差；近年来，较为流行的处理思路是通过图像处理的方式将图像去模糊问题转化为一个带先验知识约束的优化问题。沈会良等人针对光谱成像系统失焦模糊问题，利用通道间的图像相关性提取模糊图像的参考图像先验知识，并作为约束添加到优化问题的正则项中。但是该方法需要选取所有通道中最清晰通道作为参考通道；另外，该方法采用高斯型模糊核函数近似描述失焦模糊的退化过程，虽然可以简化问题，但由于模型不能准确逼近实际的失焦点扩散函数，导致离焦模糊图像复原无法取得预期效果。针对衍射方向波长展宽引起的模糊问题，赵慧洁等人提出了期望值最大化迭代去模糊方法，该方法对于同一个换能器取得较好结果，但不同换能器、不同超声驱动频率需采用不同点扩散函数来解决宽光谱范围内衍射方向成像模糊问题。
技术实现思路
为了克服现有技术中所存在的不足，本专利技术提供一种基于残差学习卷积神经网络的多光谱图像反演方法，解决现有多光谱成像系统中普遍存在的清晰图像获取困难问题。为了解决上述技术问题，本专利技术所采用的技术方案为：一种基于残差学习卷积神经网络的多光谱图像反演方法，包括以下步骤：S1、利用多光谱成像系统分别采集K个目标物体的主通道图像与从通道清晰图像，其中，多光谱成像系统包括N个通道，任意选择第i∈{1,2,...,N}个通道作为主通道，剩余通道j∈{1,2,...,i-1,i+1,...,N}作为从通道；建立主通道与从通道图像库其中，和分别表示第k个目标物体的主通道和从通道清晰图像；S2、将图像库S中的主通道和从通道清晰图像和提供给卷积神经网络模型学习，对图像库S执行旋转和添加噪声两种操作算子的处理；S3、构造与每个从通道对应的卷积神经网络模型Mj,j∈{1,2,...,i-1,i+1,...N}训练所需的样本对；S4、设计基于残差学习的卷积神经网络模型结构；S5、卷积神经网络模型训练学习，针对从通道集合中的每个通道j∈{1,2,...i-1,i+1,...,N}，利用随机梯度下降算法，建立每个从通道的卷积神经网络模型Mj，j∈{1,2,...,i-1,i+1,...,N}；S6、对新目标物体第j个从通道图像的反演：若要反演新目标物体L的第j个个从通道的清晰图像，则首先获取主通道第i个通道的清晰图像接着，将主通道第i个通道的清晰图像输入到第j个建立好的卷积神经网络模型Mj，计算该模型的输出残差图像最后，反演从通道集合中的第j个通道的清晰图像S7、针对从通道集合中的每个通道j∈{1,2,...,i-1,i+1,...,N}，重复S6，直至反演出所有从通道的清晰图像。进一步地，所述S1中采集图像通过硬件手段或者软件手段使得采集的图像清晰。进一步地，所述通过硬件手段捕获清晰图像，包括但不限于采用步进电机等对前置光学镜头调焦；所述通过软件手段捕获清晰图像，包括但不限于利用图像去模糊等方法进行清晰图像的恢复。进一步地，所述S2中图像库S执行旋转和添加噪声两种操作算子的处理的具体操作方式为：将图库S中的每一对主/从通道图像都进行相同角度的旋转或添加相同噪声。进一步地，所述旋转的角度包括但不限于0°、45°、90°、135°、180°、225°、270°、315°。进一步地，所述噪声的添加方式为加性或乘性噪声；噪声类型为线性或非线性；噪声的参数为不同的参数组合。进一步地，所述S3中每个样本对包括输入和输出两部分，其中每个样本对的输入为第i个主通道清晰图像Imaster，每个样本对的输出为第j个从通道与主通道之间的残差图像进一步地，所述S4中卷积神经网络模型的结构包含一个输入层、若干个卷积层、池化层、激活函数层、全连接层和输出层。进一步地，所述S4中卷积神经网络模型的拓扑结构，包括但不限于LeNet、AlexNet、Vgg16/Vgg19、GoogLeNet、ResNet等已有的结构类型，也包含自定义的拓扑结构类型。与现有技术相比，本专利技术所具有的有益效果为：本专利技术提供了一种基于残差学习卷积神经网络的多光谱图像反演方法。将多光谱成像系统中各个通道间图像的相关性问题转化为基于残差学习的卷积神经网络建模问题，通过模型的训练，利用任一通道的清晰图像，可以反演出所有通道的图像。该方法无需对各个通道进行调焦或利用图像去模糊方法进行处理，只需获得一个通道的清晰图像并将其作为主通道图像，利用该方法即可快速地反演出其它各个通道(从通道)的清晰图像，从而可以大大提升多光谱成像系统的速度。利用该方法，可以从任意一个通道的清晰图像出发，即可反演出其它各个通道的清晰图像。附图说明图1为基于残差学习卷积神经网络多光谱图像反演方法示意图；图2为基于残差学习的卷积神经网络拓扑结构示意图；图3为20个目标物体多光谱图像库；图4为新目标物体多光谱真实图像；图5为残差图像；图6为卷积神经网络结构参数；图7为新目标物体多光谱图像反演结果；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1-2所示，一种基于残差学习卷积神经网络的多光谱图像反演方法，包括以下步骤：S1、建立主通道与从通道图像库。利用多光谱成像系统分别采集K个目标物体的主通道图像与从通道清晰图像，其中，多光谱成像系统包括N个通道，任意选择第i∈{1,2,...,N}个通道作为主通道，剩余通道j∈{1,2,...,i-1,i+1,...,N}作为从通道；建立主通道与从通道图像库其中，和分别表示第k个目标物体的主通道和从清晰图像；在捕获图像时，可通过硬件手段或者软件手段使得采集的图像清晰，避免出现图像模糊问题。所述通过硬件手段捕获清晰图像，包括但不限于采用步进电机等对前置光学镜头调焦；所述通过软件手段捕获清晰图像，包括但不限于利用图像去模糊等方法进行清晰图像的恢复。S2、数据增强。将图像库S中的主通道和从通道清晰图像和提供给卷积神经网络模型学习，对图像库S执行旋转和添加噪声两种操作算子的处理：将图库S中的每一对主/从通道图像都进行相同角度的旋转或添加相同噪声；所述旋转的角度包括但不限于0°、45°、90°、135°、180°、225°、270°、315°；所述噪声的添加方式为加性或乘性噪声；噪声类型为线性或非线性；噪声的参数为不同的参数组合；S3、构造与每个从通道对应的卷积神经网络模型Mj,j∈{1,2,...,i-1,i+1,...N}训练所需的样本对，本文档来自技高网...

【技术保护点】
1.一种基于残差学习卷积神经网络的多光谱图像反演方法，其特征在于，包括以下步骤：S1、利用多光谱成像系统分别采集K个目标物体的主通道图像与从通道清晰图像，其中，多光谱成像系统包括N个通道，任意选择第i∈{1,2,...,N}个通道作为主通道，剩余通道j∈{1,2,...,i‑1,i+1,...,N}作为从通道；建立主通道与从通道图像库

【技术特征摘要】
1.一种基于残差学习卷积神经网络的多光谱图像反演方法，其特征在于，包括以下步骤：S1、利用多光谱成像系统分别采集K个目标物体的主通道图像与从通道清晰图像，其中，多光谱成像系统包括N个通道，任意选择第i∈{1,2,...,N}个通道作为主通道，剩余通道j∈{1,2,...,i-1,i+1,...,N}作为从通道；建立主通道与从通道图像库其中，和分别表示第k个目标物体的主通道和从通道清晰图像；S2、将图像库S中的主通道和从通道清晰图像和提供给卷积神经网络模型学习，对图像库S执行旋转和添加噪声两种操作算子的处理；S3、构造与每个从通道对应的卷积神经网络模型Mj,j∈{1,2,...,i-1,i+1,...N}训练所需的样本对；S4、设计基于残差学习的卷积神经网络模型结构；S5、卷积神经网络模型训练学习，针对从通道集合中的每个通道j∈{1,2,...i-1,i+1,...,N}，利用随机梯度下降算法，建立每个从通道的卷积神经网络模型Mj，j∈{1,2,...,i-1,i+1,...,N}；S6、对新目标物体第j个从通道图像的反演：若要反演新目标物体L的第j个个从通道的清晰图像，则首先获取主通道第i个通道的清晰图像接着，将主通道第i个通道的清晰图像输入到第j个建立好的卷积神经网络模型Mj，计算该模型的输出残差图像最后，反演从通道集合中的第j个通道的清晰图像S7、针对从通道集合中的每个通道j∈{1,2,...,i-1,i+1,...,N}，重复S6，直至反演出所有从通道的清晰图像。2.根据权利要求1所述的一种基于残差学习卷积神经网络的多光谱图像反演方法，其特征在于：所述S1中采集图像通过硬件手段或者软件手段使得采集的图像清晰。3.根据权利要求2所述的一种基于残差学习卷...

【专利技术属性】
技术研发人员：陈媛媛，李墅娜，常晓丽，景宁，王志斌，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14