一种多光谱与全色图像联合配准与模糊核估计方法与系统技术方案

本发明专利技术公开了一种多光谱与全色图像联合配准与模糊核估计方法与系统，本发明专利技术方法包括建立图像偏移量学习子网络、空间和光谱模糊核估计子网络，连接得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核。本发明专利技术仅利用从卫星直接得到的低空间分辨率多光谱图像和高空间分辨率的全色图像以及其空间光谱联系，可无监督训练学习得到配准的全色图像以及空间和光谱模糊核，可应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

【技术实现步骤摘要】
一种多光谱与全色图像联合配准与模糊核估计方法与系统
本专利技术涉及遥感卫星的高分辨率图像处理技术，具体涉及一种多光谱与全色图像联合配准与模糊核估计方法与系统。
技术介绍
高分辨率遥感卫星多光谱图像相对可见光图像拥有更加丰富的光谱信息，可提供重要地物如水体、植被、建筑等关键指数计算，被广泛应用于自然灾害监测、农作物长势分析、环境污染治理和土地资源调查等领域。然而，受限于多光谱相机空间和光谱分辨率相互制约的固有矛盾，目前多光谱遥感卫星仅能获取低空间分辨率的多光谱图像和高空间分辨率的全色（灰度）图像，通过融合多光谱与全色图像来获取高空间分辨率高光谱图像是解决这一矛盾的有效手段。为了提高图像融合质量，需要对卫星获取的低空间分辨率多光谱图像和高空间分辨率全色图像精确建模，其中实现两图像间精确配准和相对空间光谱模糊核估计十分重要。然而传统方法大多采用先图像配准再模糊核估计的步骤，配准过程与模糊核估计过程相互独立，往往无法使得配准与模糊核估计效果达到最优，而不精确的配准和空间模糊核估计过程又会极大地削弱后续图像融合性能，导致融合的多光谱图像细节不清晰、光谱保本文档来自技高网...

【技术保护点】
1.一种多光谱与全色图像联合配准与模糊核估计方法，其特征在于，包括：/n1）建立图像偏移量学习子网络，以根据输入的多光谱图像、全色图像得到全色图像相对多光谱图像的图像偏移量；根据多光谱图像、已配准全色图像之间的空间和光谱联系建立空间和光谱模糊核估计子网络以估计空间模糊核与光谱模糊核；/n2）连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络，得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；/n3）结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核。/n

【技术特征摘要】
1.一种多光谱与全色图像联合配准与模糊核估计方法，其特征在于，包括：
1）建立图像偏移量学习子网络，以根据输入的多光谱图像、全色图像得到全色图像相对多光谱图像的图像偏移量；根据多光谱图像、已配准全色图像之间的空间和光谱联系建立空间和光谱模糊核估计子网络以估计空间模糊核与光谱模糊核；
2）连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络，得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；
3）结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核。


2.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤1）中多光谱图像、已配准全色图像之间的空间和光谱联系是指：多光谱图像Y和已配准全色图像Z的光谱模糊核R两者的空间卷积操作结果进行光谱下采样操作后得到的第一下采样结果、已配准全色图像Z和多光谱图像Y的空间模糊核C两者的空间卷积操作结果进行空间下采样操作后得到的第二下采样结果两者相等。


3.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤1）中建立的图像偏移量学习子网络包括：
一个边缘扩充层，用于对输入的多光谱图像做边缘扩充，使之能在缩放的时候保持正确的位置和比例关系；
一个通道平均层，用于对边缘扩充后的多光谱图像做通道平均，压缩为单通道图像，降低计算参数量，使得训练更加稳定；
一个图片缩放层，用于对经过通道平均的多光谱图像进行放大操作；
一个堆叠层，用于将输入的全色图像、放大的多光谱图像堆叠在一起得到堆叠特征F1；
两个空洞卷积层，用于依次对堆叠特征F1进一步特征提取得到扩大感受野特征F2；
两个常规卷积层，用于依次对扩大感受野特征F2进一步特征提取并回归出全色图像每个像素在行、列两个方向上的偏移量，从而得到全色图像相对多光谱图像的图像偏移量F3。


4.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤1）中建立的空间和光谱模糊核估计子网络包括：一个用于对输入的多光谱图像做光谱下采样的全连接层，该全连接层仅包含1个节点，无偏置，其可学习权重参数大小为L×1，L为多光谱图像通道数，该学习权重参数为待求解的光谱模糊核R；一个用于对输入的全色图像做空间下采样的带步长的卷积层，该卷积层的步长为s，卷积层的步长s为已配准全色图像Z、多光谱图像Y的尺寸比值，该卷积层仅包含一个卷积核，该卷积核为待求解的空间模糊核C，该卷积核有两个待优化参数，包括模糊核大小k和标准差σ，且模糊核大小k引入插值操作使得模糊核大小k处处可导。


5.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤2）中连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络具体是指将图像偏移量学习子网络输出...

【专利技术属性】
技术研发人员：李树涛，郭安静，佃仁伟，康旭东，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43