多光谱图像锐化方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种多光谱图像锐化方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：分别对多光谱图像和多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；并对预处理后的多光谱图像和全色图像进行拼接处理，得到待处理图像；继而采用预设的多尺度细节注入网络模型，对待处理图像进行处理，得到多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。通过多尺度细节注入网络模型中，每个尺度的卷积层提取多光谱图像在该尺度下的细节信息，并结合预处理后的多光谱图像，得到高空间分辨率的多光谱图像，提取多光谱图像的细节信息，提高锐化效果，同时提高了对于多光谱图像的锐化效率。

Method, device, equipment and storage medium of multispectral image sharpening

【技术实现步骤摘要】
多光谱图像锐化方法、装置、设备及存储介质
本专利技术涉及图像处理
，具体而言，涉及一种多光谱图像锐化方法、装置、设备及存储介质。
技术介绍
多光谱图像是指包含多个带的图像，每个带是一幅灰度图像。多光谱图像在灾情检测、情报收集和地质检测等领域得到了广泛的应用，因此，提升多光谱图像的空间分辨率也变得越来越重要。相关技术中，通过卫星采集多光谱图像和全色图像，控制器采用小波变换、拉普拉斯金字塔的方式提取全色图像中的细节信息，并将该细节信息插入至多光谱图像中，得到高空间分辨率的多光谱图像。但是，相关技术中，采用小波变换、拉普拉斯金字塔的方式获取高空间分辨率的多光谱图像，降低了获取高空间分辨率的多光谱图像的效率，且处理后的多光谱图像不够清晰。
技术实现思路
本专利技术的目的在于，针对上述现有技术中的不足，提供一种多光谱图像锐化方法、装置、设备及存储介质，以便解决相关技术中获取高空间分辨率的多光谱图像的效率较低，且处理后的多光谱图像不够清晰的问题。为实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种多光谱图像锐化方法，包括：分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；对所述预处理后的多光谱图像和所述全色图像进行拼接处理，得到待处理图像；采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，所述多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的所述卷积层用以提取所述多光谱图像在所述尺度下的细节信息，所述细节注入层用以根据所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像，得到所述高空间分辨率的多光谱图像。进一步地，所述分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像，包括：分别对所述多光谱图像和所述全色图像进行下采样，得到低分辨率的多光谱图像和全色图像；对所述低分辨率的多光谱图像进行上采样，得到与所述低分辨率的全色图像的尺度相同的多光谱图像；所述预处理后的多光谱图像为所述尺度相同的多光谱图像，所述预处理后的全色图像为所述低分辨率的全色图像。进一步地，所述待处理图像的部分波段数据为所述预处理后的多光谱图像的数据，所述待处理图像的另一部分波段数据为所述预处理后的全色图像的数据。进一步地，所述采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像之前，所述方法还包括:对所述待处理图像进行分块采样，得到多个采样块；所述采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，包括：采用所述多尺度细节注入网络模型，对多个所述采样块进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。进一步地，所述多尺度细节注入网络模型通过如下方式进行训练得到：获取多光谱图像样本，以及全色图像样本；分别对所述多光谱图像样本和所述全色图像样本进行预处理，得到预处理后的多光谱图像样本和全色图像样本；对所述预处理后的多光谱图像样本和所述全色图像样本进行拼接处理，得到待处理图像样本；采用所述多尺度细节注入网络模型，对所述待处理图像样本进行处理，得到所述多尺度细节注入网络模型输出的预测多光谱图像；根据所述预测多光谱图像和所述多光谱图像样本对应的参照图像，确定所述多尺度细节注入网络模型的损失函数值；根据所述损失函数值，对每个尺度的所述卷积层中卷积核的权重矩阵和/或偏置矩阵进行更新。进一步地，每个尺度的所述卷积层包括多个子卷积层，每个尺度的所述卷积层中的最后一个子卷积层用以提取所述多光谱图像在所述尺度下的细节信息。进一步地，所述细节注入层用以对所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像进行叠加处理，得到所述高空间分辨率的多光谱图像。第二方面，本专利技术实施例还提供了一种多光谱图像锐化装置，包括：预处理模块，用于分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；拼接模块，用于对所述预处理后的多光谱图像和所述全色图像进行拼接处理，得到待处理图像；输出模块，用于采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，所述多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的所述卷积层用以提取所述多光谱图像在所述尺度下的细节信息，所述细节注入层用以根据所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像，得到所述高空间分辨率的多光谱图像。进一步地，所述预处理模块，具体用于分别对所述多光谱图像和所述全色图像进行下采样，得到低分辨率的多光谱图像和全色图像；对所述低分辨率的多光谱图像进行上采样，得到与所述低分辨率的全色图像的尺度相同的多光谱图像；所述预处理后的多光谱图像为所述尺度相同的多光谱图像，所述预处理后的全色图像为所述低分辨率的全色图像。进一步地，所述待处理图像的部分波段数据为所述预处理后的多光谱图像的数据，所述待处理图像的另一部分波段数据为所述预处理后的全色图像的数据。进一步地，所述装置还包括：获取模块，用于对所述待处理图像进行分块采样，得到多个采样块；所述输出模块，具体用于采用所述多尺度细节注入网络模型，对多个所述采样块进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。进一步地，所述多尺度细节注入网络模型通过如下方式进行训练得到：获取多光谱图像样本，以及全色图像样本；分别对所述多光谱图像样本和所述全色图像样本进行预处理，得到预处理后的多光谱图像样本和全色图像样本；对所述预处理后的多光谱图像样本和所述全色图像样本进行拼接处理，得到待处理图像样本；采用所述多尺度细节注入网络模型，对所述待处理图像样本进行处理，得到所述多尺度细节注入网络模型输出的预测多光谱图像；根据所述预测多光谱图像和所述多光谱图像样本对应的参照图像，确定所述多尺度细节注入网络模型的损失函数值；根据所述损失函数值，对每个尺度的所述卷积层中卷积核的权重矩阵和/或偏置矩阵进行更新。进一步地，每个尺度的所述卷积层包括多个子卷积层，每个尺度的所述卷积层中的最后一个子卷积层用以提取所述多光谱图像在所述尺度下的细节信息。进一步地，所述细节注入层用以对所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像进行叠加处理，得到所述高空间分辨率的多光谱图像。第三方面，本专利技术实施例还提供了一种多光谱图像锐化设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计本文档来自技高网...

【技术保护点】
1.一种多光谱图像锐化方法，其特征在于，包括：/n分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；/n对所述预处理后的多光谱图像和所述全色图像进行拼接处理，得到待处理图像；/n采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，所述多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的所述卷积层用以提取所述多光谱图像在所述尺度下的细节信息，所述细节注入层用以根据所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像，得到所述高空间分辨率的多光谱图像。/n

【技术特征摘要】
1.一种多光谱图像锐化方法，其特征在于，包括：
分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像；
对所述预处理后的多光谱图像和所述全色图像进行拼接处理，得到待处理图像；
采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，所述多尺度细节注入网络模型包括：多个尺度的卷积层以及细节注入层，每个尺度的所述卷积层用以提取所述多光谱图像在所述尺度下的细节信息，所述细节注入层用以根据所述多光谱图像在多个所述尺度下的细节信息，以及所述预处理后的多光谱图像，得到所述高空间分辨率的多光谱图像。


2.如权利要求1所述的方法，其特征在于，所述分别对多光谱图像和所述多光谱图像匹配的全色图像进行预处理，得到预处理后的多光谱图像和全色图像，包括：
分别对所述多光谱图像和所述全色图像进行下采样，得到低分辨率的多光谱图像和全色图像；
对所述低分辨率的多光谱图像进行上采样，得到与所述低分辨率的全色图像的尺度相同的多光谱图像；
所述预处理后的多光谱图像为所述尺度相同的多光谱图像，所述预处理后的全色图像为所述低分辨率的全色图像。


3.如权利要求2所述的方法，其特征在于，所述待处理图像的部分波段数据为所述预处理后的多光谱图像的数据，所述待处理图像的另一部分波段数据为所述预处理后的全色图像的数据。


4.如权利要求1所述的方法，其特征在于，所述采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像之前，所述方法还包括:
对所述待处理图像进行分块采样，得到多个采样块；
所述采用预设的多尺度细节注入网络模型，对所述待处理图像进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像，包括：
采用所述多尺度细节注入网络模型，对多个所述采样块进行处理，得到所述多尺度细节注入网络模型输出的高空间分辨率的多光谱图像。


5.如权利要求2所述的方法，其特征在于，所述多尺度细节注入网络模型通过如下方式进行训练得到：
获取多光谱图像样本，以及全色图像样本；

【专利技术属性】
技术研发人员：万余庆，贺霖，魏云迅，朱嘉炜，
申请(专利权)人：中煤航测遥感集团有限公司，西安煤航遥感信息有限公司，
类型：发明
国别省市：陕西;61