一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法技术

本发明专利技术公开了一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法，属于图像处理技术领域。本发明专利技术主要包括以下步骤：1、制作高分辨率与低分辨率的灰度图像块训练集；2、构建一个多任务的深度神经网络用于模型训练；3、基于构建的深度网络和制作的训练集对网络模型进行训练；4、依据学习的模型参数，输入一幅低分辨率的灰度图像，得到的输出即是重建的高分辨率的彩色图像。本发明专利技术通过结合拥有优良性能的深度超分辨网络和着色网络，不仅增强了卫星图像的细节部分，而且还可同时对灰度图像进行着色使它自动产生符合真实感的彩色卫星图像，还减少了执行的步骤和时间，在灰度图像着色、卫星遥感遥测等领域中有着广泛的应用前景。

A method of simultaneous superresolution and coloring of satellite images based on multi task depth neural network

【技术实现步骤摘要】
一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
本专利技术属于图像处理
，更具体地说，涉及一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法。
技术介绍
随着具有单一功能的网络性能越来越强，人们对具有能够处理复杂多任务的网络的需求也日益增加。传统的方法是将一个网络的输出作为另一个网络的输入，然后才能得到最后的结果。由于这种方法不仅需要人工交互，而且逐一执行会浪费许多时间，还要考虑两个网络之间是否存在兼容性问题等诸多问题，使得人们不得不寻求其他方法。现有网络需具有两个非常重要的功能，即超分辨率和着色。在超分辨率方面，重建技术可以划分成不同的类型，主要可以划分为3类：基于插值的方法、基于重建的方法、基于学习的方法。其中，基于学习的方法通常从一个外部数据集中学习高分辨率图像与低分辨率图像之间的映射关系，然后利用学习的映射关系来重建高分辨率图像，是目前最热门的方法。比如Dong等人首次将卷积神经网络应用到图像超分辨率重建任务中，他们通过构建一个三层卷积神经网络来生成超分辨率图像；还有He等人通过残差单元来重建高分辨率图像。在着色方面，方法可以从最早的基于互动的，比如本文档来自技高网...

【技术保护点】
一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法，其步骤为：步骤1、利用卫星彩色图像数据集，制作高分辨率与低分辨率的图像块训练集；步骤2、构建一个多任务的深度神经网络用于模型训练；步骤3、依据步骤1制作的训练集和步骤2构建的网络，调整网络参数，进行网络训练；步骤4、将一幅低分辨率的灰度图像作为网络的输入，利用步骤3学习得到的参数重建一幅高分辨率的彩色图像作为输出。

【技术特征摘要】
1.一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法，其步骤为：步骤1、利用卫星彩色图像数据集，制作高分辨率与低分辨率的图像块训练集；步骤2、构建一个多任务的深度神经网络用于模型训练；步骤3、依据步骤1制作的训练集和步骤2构建的网络，调整网络参数，进行网络训练；步骤4、将一幅低分辨率的灰度图像作为网络的输入，利用步骤3学习得到的参数重建一幅高分辨率的彩色图像作为输出。2.根据权利要求1所述的一种基于多任务深度神经网络的卫星图像同时进行超分辨和着色的方法，其特征在于：步骤1制作高分辨率与低分辨率的彩色图像块训练集的过程为：针对一常用的卫星图像处理数据集中每张彩色图像，首先对高分辨率图像进行两次双三次插值，得到与高分辨率图像对应的相同尺寸低分辨率图像；然后将每张高分辨率图像和低分辨率图像裁剪成多个图像块，并且相邻的图像块之间存在重合部分，由此得到用于深度网络训练的高分辨率图像块与低分辨率图像块的集合。3.根据权利要求1或2所述的一种基于多任务深度神经网络的卫星图像同时进行超分辨和着色的方法，其特征在于：步骤2中构建一个43层的深度网络模型，一共分为三个部分，首先对图像进行预处理，之后的20层构成超分辨网络，最后的23层构成着色网络；在图像预处理部分，将彩色图像从RGB转换到Lab颜色空间，然后将彩色图像分为两部分，一部分为L向量，作为整个网络的输入；另一部分是ab向量，作为最后着色网络的标签；在超分辨网络中，一共包含了9个残差层和两个卷积层，其中每个残差单元有两个卷积层；每个卷积层之后接一个PReLU激活层；残差单元如公式(1)所示：yi＝0.9*h(xi)+0.1*F(xi,wi)xi+1＝f(yi)(1)其中，xi表示为第i层的残差单元的特征输入，wi表示为第i层权重和偏置项的设置，F代表残差函数，f则代表激活函数PReLU，h为恒等式映射h(xi)＝xi；该深度网络将学习低分辨率的灰度图像块和高分辨率的灰度图像块之间的映射关系，如公式(2)所示：x＝F(y,Φ)(2)其中，x,y分别为高分辨率的灰度图像块和低分辨率的灰度图像块，Φ为超分辨率网络学习到的模型参数，用于后续高分辨率图像重建；在着色网络中，倒数第4层为反卷积层，剩余均为卷积层；在每个卷积层和反卷积层之后接一个Relu激活层；网络输入是超分辨网络输出的高分辨率的灰度图像块，该网络将学习高分辨率的灰度图像块和ab彩色分量图像块之间的映射关系，如公式(3)所示：x＝f(y,θ)(3)其中，x,y分别为ab彩色分量图像块和高分辨率的灰度图像块，θ为着色网络学习到的模型参数。4.根据权利要求3所述的一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法，其特征在于：步骤2中网络训练的损失函数在超分辨网络和着色网络中采用不同的方法，在超分辨率网络中，损失函数采用均方误差表示，如公式(4)所示：其中，N为步骤1所得训练集中样本数量，xi,yi为第i个高分辨率图像块和对应的低分辨率图像块；在着色网络中，损失函数采用多项式交叉熵损失表示，如公式(5)所示：

【专利技术属性】
技术研发人员：刘恒，伏自霖，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：安徽,34