一种基于互补卷积特征的高分辨率遥感影像融合方法及系统技术方案

本申请公开了一种基于互补卷积特征的高分辨率遥感影像融合方法及系统，在选取的高分辨率遥感影像上进行目标物手工标注；将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；分别进行特征提取，分别得到全色图像特征图和多光谱图像特征图；叠加全色图像特征图和多光谱图像特征图，送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。在进行高分辨率遥感影像融合时，形成一个基于互补卷积特征融合的完整体系，可以对全色图像和多光谱图像分别进行特征提取，叠加后输入融合网络最终得到融合图像，大大提升了图像质量。并且虑了样本的多样性，图像大小灵活多变，特征提取更为符合图像特点，使得融合后的图像质量更好。

A high resolution remote sensing image fusion method and system based on complementary convolution feature

【技术实现步骤摘要】
一种基于互补卷积特征的高分辨率遥感影像融合方法及系统
本申请涉及遥感图像处理
，具体涉及一种基于互补卷积特征的高分辨率遥感影像融合方法及系统。
技术介绍
近年来，高分辨率遥感影像被广泛应用于城市规划、生产生活乃至军事方面。全色图像的分辨率较高，图像更为清晰，但灰度图像缺少色彩信息，多光谱图像有着丰富的颜色信息但是分辨率较低，为了结合两种影像的优势，得到质量更为优越的遥感图像，图像融合至关重要。遥感影像融合作为目标检测、变化检测等实验和应用的一项关键预处理步骤，可以将全色图像的高分辨率和多光谱图像的色彩信息相结合，为后期实验和应用提供更高质量的图像，以提升实验和应用结果的性能。2019年多媒体工具和应用期刊公开了一篇用于图像融合的算法，名称为：FusionCNN：一种基于深度卷积神经网络的遥感图像融合算法(FusionCNN:aremotesensingimagefusionalgorithmbasedondeepconvolutionalneuralnetworks)，该融合方法的输入是一对源图像，而输出是具有端到端属性的融合图像。在预处理步骤中，使用多光谱图像的低频信息来增强全色图像。此方法使用大量训练数据来学习自适应强鲁棒融合功能，克服了传统的手动制定融合规则的融合方法的缺点，并通过Landsat和Quickbird卫星数据验证了其有效性。2019年信息融合期刊公开了一篇基于张量的遥感图像融合方法，名称为：通过基于张量的稀疏建模和超拉普拉斯先验融合全色和多光谱遥感影像(Thefusionofpanchromaticandmultispectralremotesensingimagesviatensor-basedsparsemodelingandhyper-Laplacianprior)，该方法用于非凸稀疏建模，通常称为全锐化。在这种方法中，通过插值方法对多光谱图像进行采样，并对全色和低分辨率多光谱图像建模基于张量的加权保真度项，以恢复更多的空间细节。此外，总变化正则化还用于描述梯度场上潜在的高分辨率多光谱图像的稀疏性。对于模型求解，此方法设计了一种基于乘数的算法的交替方向方法，以有效地求解所提出的模型。与几种最新的图像融合方法相比，对由不同传感器收集的许多数据集进行的广泛实验证明了融合方法的有效性。2019年电子影像期刊公开了一篇用于遥感图像融合的算法，名称为：基于显着性检测的互结构联合滤波遥感图像融合算法(Remotesensingimagefusionalgorithmbasedonmutual-structureforjointfilteringusingsaliencydetection)，该文提出的多模态图像融合提供了更全面的信息，对于遥感图像融合，解决了可能造成块状伪影等不足。这种基于互结构的遥感图像融合方法，用于联合滤波和显着性检测，使用联合滤波来促进从源图像正确提取高频和低频，并且提高了低频融合的效果，高频子带计算了改进的Laplace的扩展和以实现更好的融合。将该方法与其他五种经典融合方法进行了比较，实验结果表明，该算法有效地保留了图像的结构信息和纹理信息，提高了融合图像的清晰度，在主观和客观评估中具有许多优势。综上所述，遥感图像融合是各种目标检测、变化检测等实验进行的基础，将全色图像和多光谱图像的优点相结合，得到的高质量的图像能够提升后期实验及应用的准确性和效率，对实际应用有着很大的影响。随着深度学习的应用越来越广泛以及融合方法的不断改进和完善，现如今大多数融合方法开始使用卷积神经网络，以达到更加好的融合效果，提高融合图像质量。图像融合技术日趋成熟，但目前传统的融合方法存在有失真和畸变等现象，需要进一步改进。
技术实现思路
本申请为了解决上述技术问题，提出了如下技术方案：第一方面，本申请实施例提供了一种基于互补卷积特征的高分辨率遥感影像融合方法，所述方法包括：在选取的高分辨率遥感影像上进行目标物手工标注；将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图；叠加全色图像特征图和多光谱图像特征图；将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。采用上述实现方式，在进行高分辨率遥感影像融合时，形成一个基于互补卷积特征的融合的完整体系，可以对全色图像和多光谱图像分别进行特征提取，叠加后输入融合网络最终得到融合图像，大大提升了图像质量。本图像融合流程考虑了样本的多样性，图像大小灵活多变，特征提取更为符合图像特点，使得融合后的图像质量更好。结合第一方面，在第一方面第一种可能的实现方式中，所述在选取的高分辨率遥感影像上进行目标物的手工标注，包括：选取遮蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像；在所述两种高分辨图像上截取适当大小的影像，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络，包括：按照后期实验需要，将标注完成的全色图像和多光谱图像裁剪为统一的尺寸，作为特征提取网络的输入。结合第一方面，在第一方面第三种可能的实现方式中，所述通过特征提取网络分别对全色图像和多光谱图像进行特征提取，包括：将全色图像和多光谱图像进行区分；将区分后的单通道的全色图像和多通道的多光谱图像分别输入特征提取网络进行特征提取。结合第一方面，在第一方面第四种可能的实现方式中，所述叠加全色图像特征图和多光谱图像特征图，包括：将对应的全色图像特征图和多光谱图像特征图，在通道维度上进行叠加，得到叠加后的特征图。结合第一方面第四种可能的实现方式，在第一方面第五种可能的实现方式中，所述将叠加后的特征图送入特征融合网络进行特征融合，包括：将叠加后的特征图输入到遥感融合网络；使用遥感融合网络的编码-解码式结构对特征图进行图像融合。第二方面，本申请实施例提供了一种基于互补卷积特征的高分辨率遥感影像融合系统，所述系统包括：标注模块，用于在选取的高分辨率遥感影像上进行目标物手工标注；输入模块，用于将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；特征提取模块，用于通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图；叠加模块，用于叠加全色图像特征图和多光谱图像特征图；特征融合模块，用于将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。结合第二方面，在第二方面第一种可能的实现方式中，所述标注模块包括：图像选取单元，用于选取遮蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像；标注单元，用于在所述两种高分辨图像上截取适当大小的影像，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。结合第二方面，在第二方面第二种可能的实现方式中，所述特征提取模块包括：图像区本文档来自技高网...

【技术保护点】
1.一种基于互补卷积特征的高分辨率遥感影像融合方法，其特征在于，所述方法包括：/n在选取的高分辨率遥感影像上进行目标物手工标注；/n将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；/n通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图；/n叠加全色图像特征图和多光谱图像特征图；/n将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。/n

【技术特征摘要】
1.一种基于互补卷积特征的高分辨率遥感影像融合方法，其特征在于，所述方法包括：
在选取的高分辨率遥感影像上进行目标物手工标注；
将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；
通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图；
叠加全色图像特征图和多光谱图像特征图；
将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。


2.根据权利要求1所述的方法，其特征在于，所述在选取的高分辨率遥感影像上进行目标物的手工标注，包括：
选取遮蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像；
在两种高分辨图像上截取适当大小的影像，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。


3.根据权利要求2所述的方法，其特征在于，所述将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络，包括：
按照后期实验需要，将标注完成的全色图像和多光谱图像裁剪为统一的尺寸，作为特征提取网络的输入。


4.根据权利要求1所述的方法，其特征在于，所述通过特征提取网络分别对全色图像和多光谱图像进行特征提取，包括：
将全色图像和多光谱图像进行区分；
将区分后的单通道的全色图像和多通道的多光谱图像分别输入特征提取网络进行特征提取。


5.根据权利要求1所述的方法，其特征在于，所述叠加全色图像特征图和多光谱图像特征图，包括：将对应的全色图像特征图和多光谱图像特征图，在通道维度上进行叠加，得到叠加后的特征图。


6.根据权利要求5所述的方法，...

【专利技术属性】
技术研发人员：徐涛，卢泽珊，刘鹍，刘振，刘庆杰，刁心怡，陈俊彤，沈茂鑫，蔺文静，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37