一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统技术方案

本发明专利技术涉及一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统，属于超分辨率成像技术领域。首先基于深度学习理论，针对RGB图像与高光谱图像分别构建深度RGB图像特征提取器和高光谱图像特征提取器。使用特征提取器分别提取RGB参考图像和高光谱图像的多层级特征。使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐。当得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像。本方法无需显式的中间步骤与人工干预，仅使用高光谱相机、RGB相机以及必要的固定装置的情况下，利用拍摄到的不对齐的高分辨率RGB图像，对低分辨率高光谱进行空间超分辨率。辨率高光谱进行空间超分辨率。辨率高光谱进行空间超分辨率。

【技术实现步骤摘要】
一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统


[0001]本专利技术涉及一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统，属于计算摄像学中的超分辨率成像


技术介绍

[0002]不同于传统黑白图像和RGB图像，高光谱图像在光谱维度上具有更为细致的划分，高光谱图像可能包含数百至数千个波段，因此，高光谱图像不仅可以获取到物体的图像特征，还可以获取物体的光谱特征。这种特性使得高光谱图像在各种探测领域极为实用，因为不同的实际物体会在电磁频谱中留下唯一的“光谱指纹”，这些指纹可以被用来识别物体的组成成分。例如，石油的光谱特征可以帮助矿物学家找到油田。
[0003]现有的高光谱成像设备，往往依赖于大量高灵敏度的传感器、高速电脑，以及海量存储设备来拍摄高光谱图像。这导致了高光谱成像系统十分复杂、价格昂贵。为降低成本，现有的商用高光谱相机往往会在保证光谱分辨率的情况下，牺牲部分空间分辨率。
[0004]高光谱超分辨率技术，旨在使用软件的方法来提高高光谱图像的空间分辨率。现有的高光谱分辨率技术根据输入可以分为两种，一种是只输入单张低分辨率高光谱图像，通过算法重建出缺失高频细节以提高空间分辨率，这种方法通常被称为高光谱单图超分。另一种是同时输入一张低分辨率的高光谱图像和一张匹配的高分辨率RGB图像，利用RGB的高分辨率空间信息辅助高光谱的超分辨率，这种方法被称为高光谱融合。
[0005]现有的高光谱单图超分算法，大部分依赖于深度学习方法。此类基于深度学习的高光谱单图超分算法，通常使用精心设计的深层非线性神经网络来对低分辨率高光谱图像到高分辨率高光谱图像的映射进行建模，然后利用相关数据以及合适的损失函数优化网络的参数进行训练，使其逼近真实的映射关系。这类方法往往能在一定的放大倍率内(小于四倍)取得相当不错的结果。但是，对于更大的放大倍率(大于四倍)，这类单图超分算法却无法取得令人满意的结果。
[0006]高光谱融合方法，利用匹配的高分辨率的RGB图像作为辅助，进行高光谱图像超分。此类方法，有些是基于优化方法设计各种先验约束，也有一些基于深度学习。得益于配对的高分辨率RGB图像，这类方法往往能够在高放大倍率上取得较高光谱单图超分方法更好的效果。其主要缺点在于，大部分现有方法都依赖于RGB图像和高光谱图像是精确对齐的，如果RGB参考图像与高光谱图像不对齐，则这类方法的超分效果则会大打折扣。
[0007]精确对齐的高分辨率RGB参考图像在实际应用中的获取并不容易，往往需要借助分光镜将输入光路分为两路，然后分别由高光谱相机和RGB相机同时进行成像。与此同时，为了实现精确对齐，整个成像系统还需要精确校准。这一系列要求，会大幅提升系统的复杂度，并使成本大幅增加，且由于分光镜的使用会进一步降低输入光路的亮度，对高光谱成像十分不利。
[0008]因此，围绕如何提升高光谱图像成像质量、降低整体系统成本，扩大高光谱图像应用场景，迫切需要一种能够在高分辨率RGB参考图像与低分辨率高光谱图像不完全对齐的
情况下，仍能够保持较好表现的高光谱融合超分辨率方法与系统。

技术实现思路

[0009]本专利技术的目的是针对现有技术存在的不足，为减少现有高光谱融合超分辨率技术对RGB参考图像精确对齐的依赖，创造性地提出一种基于非对齐RGB图像的融合高光谱超分辨率方法和系统。
[0010]本专利技术采用以下技术方案实现。
[0011]一种基于非对齐RGB图像的融合高光谱超分辨率方法，以低分辨率的高光谱图像以及其对应的高分辨率RGB参考图像作为输入，并且不要求RGB参考图像与高光谱图像完全对齐。
[0012]本专利技术所述的高光谱超分辨率方法，用于提高高光谱图像的空间分辨率。将待处理的图像称为低分辨率高光谱图像，将经过超分辨率之后的图像称为相对的高分辨率高光谱图像。高分辨率RGB图像与高分辨率高光谱图像拥有相同的分辨率。高分辨率与低分辨率之间的分辨率差距，取决于模型运行时指定的缩放倍数。
[0013]步骤1：构建神经网络；
[0014]首先，基于深度学习理论，针对RGB图像与高光谱图像，分别构建深度RGB图像特征提取器和高光谱图像特征提取器；使用这两个特征提取器，分别提取RGB参考图像和高光谱图像的多层级特征；
[0015]之后，使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐；
[0016]得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像；
[0017]步骤2：训练阶段；
[0018]使用处理后的非对齐高光谱融合数据集，迭代训练步骤1构建的神经网络的可训练参数并进行存储；
[0019]之后，基于SIFT和RANSAC的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像；使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配；将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像；将处理好的数据作为训练数据；
[0020]步骤3：使用阶段，利用步骤1训练阶段得到的模型参数，根据输入的高光谱图像和RGB参考图像，预测对应的高分辨率高光谱图像；
[0021]首先将合成低分辨率高光谱图像以及配对的RGB图像输入深度神经网络，获得预测的高分辨率高光谱图像；然后，将预测图像与训练场景的真实高分辨率图像，计算均方误差损失函数；之后，使用反向传播技术计算深度神经网络各个节点的梯度，使用参数优化器更新网络参数；重复使用数据集中的每个样本，反复执行更新，直至损失降到设定阈值以下。
[0022]进一步地，为了有效实施上述方法，本专利技术提出了一种基于非对齐RGB图像的融合高光谱超分辨率系统，包括数据采集子系统、数据处理子系统、训练子系统和推理子系统。
[0023]其中，数据采集子系统用于采集配对的非对齐高分辨率RGB图像与低分辨率高光
谱图像。这些数据将被用于训练。
[0024]可选地，数据采集子系统包含高光谱相机、RGB相机和相机固定装置，其中，高光谱相机与RGB相机平行固定在固定装置上。通过调整两台相机的角度与焦距，使其能够拍摄出包含同一场景的清晰图像。
[0025]数据处理子系统用于对数据采集子系统采集到的不对齐图像对进行处理。具体地，处理内容可以包括：使用基于SIFT(尺度不变特征变换，Scale
‑
invariant feature transform)和RANSAC(随机抽样一致算法，RANdom SAmple Consensus)的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像。使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配。将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像。将处理好的数据作为训练数据。
[0026]训练子系统使用经数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非对齐RGB图像的融合高光谱超分辨率方法，其特征在于，将待处理的图像称为低分辨率高光谱图像，将经过超分辨率之后的图像称为相对的高分辨率高光谱图像；高分辨率RGB图像与高分辨率高光谱图像拥有相同的分辨率；高分辨率与低分辨率之间的分辨率差距，取决于模型运行时指定的缩放倍数；以低分辨率的高光谱图像以及其对应的高分辨率RGB参考图像作为输入，并且不要求RGB参考图像与高光谱图像完全对齐；步骤1：构建神经网络；首先，基于深度学习理论，针对RGB图像与高光谱图像，分别构建深度RGB图像特征提取器和高光谱图像特征提取器；使用这两个特征提取器，分别提取RGB参考图像和高光谱图像的多层级特征；之后，使用多层级的深度光流估计网络，将RGB参考图像与高光谱图像的多层级特征进行对齐；得到对齐的RGB图像特征以及高光谱图像特征之后，构建深度自适应特征解码器，对对齐后的特征进行解码，重建出高分辨率的高光谱图像；步骤2：训练阶段；使用处理后的非对齐高光谱融合数据集，迭代训练步骤1构建的神经网络的可训练参数并进行存储；之后，基于SIFT和RANSAC的对齐算法，对图像对进行对齐，使用光谱响应函数合成高光谱图像对应的合成RGB图像；使用基于直方图的颜色匹配算法，对合成RGB图像以及非对齐参考RGB图像进行颜色匹配；将采集到的高分辨率高光谱图像降采样，得到合成低分辨率高光谱图像；将处理好的数据作为训练数据；步骤3：使用阶段，利用步骤1训练阶段得到的模型参数，根据输入的高光谱图像和RGB参考图像，预测对应的高分辨率高光谱图像；首先将合成低分辨率高光谱图像以及配对的RGB图像输入深度神经网络，...

【专利技术属性】
技术研发人员：付莹，赖泽强，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：