基于单张RGB图像和非监督学习的高光谱图像复原方法技术

本发明专利技术公开了一种基于单张RGB图像和非监督学习的高光谱图像复原方法，包括如下步骤：A)获取同一区域内的高光谱图像数据和RGB图像数据，研究高光谱图像数据的统计属性、相邻波段的光谱响应差、不同波段间的结构相似性以及高光谱图像数据与RGB图像数据间的相关性；B)依据高光谱图像数据的统计属性、相邻波段的光谱响应差、不同波段间的结构相似性以及高光谱图像数据与RGB图像数据之间相关性设计损失函数，以能够以无监督的方式训练深度卷积神经网络，从而得到高光谱图像数据与RGB图像数据间的非线性映射关系；C)根据该非线性映射关系利用RGB图像数据复原高光谱图像数据。本发明专利技术能够实现利用单张RGB图像复原高光谱图像，实用性高。

【技术实现步骤摘要】
基于单张RGB图像和非监督学习的高光谱图像复原方法
本专利技术涉及图像复原方法，具体涉及一种基于单张RGB图像和非监督学习的高光谱图像复原方法。
技术介绍
高光谱成像现已广泛应用于遥感，环境监测，异常检测和计算机视觉任务中，例如物体识别，分类和跟踪。但由于高光谱成像设备的局限性，高光谱的成像分辨率经常遭受空间、光谱或时间的不利影响而下降。现有技术中的基于深度学习的方法多是在RGB(红绿蓝色彩模式)图像和相应的高光谱图像的可用性下以有监督的方式学习的，这需要具有足够的先验知识，并对先验知识进行人工标注，因而工作量庞大，学习成本高，且对于实际应用来说不具备良好的实用性与便利性。有鉴于此需要提供一种基于单张RGB图像和非监督学习的高光谱图像复原方法。
技术实现思路
本专利技术所要提供的是一种基于单张RGB图像和非监督学习的高光谱图像复原方法，其能够实现利用单张RGB图像复原高光谱图像，且实用性高。为实现以上专利技术目的，本专利技术提供一种基于单张RGB图像和非监督学习的高光谱图像复原方法，包括如下步骤：A)获取高光谱图像数据集中同一研究区域内的高光谱图像数据以及RGB图像数据，以研究所述高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性、以及所述高光谱图像数据与所述RGB图像数据之间的相关性；B)依据所述高光谱图像数据的所述统计属性、所述相邻波段的光谱响应差和所述不同波段之间的结构相似性，以及所述高光谱图像数据与所述RGB图像数据之间相关性设计损失函数，以能够以无监督的方式训练深度卷积神经网络，从而得到所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系；C)根据所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系利用所述RGB图像数据复原所述高光谱图像数据。具体地，所述步骤A)中，同一研究区域内的所述RGB图像数据和多组所述高光谱图像数据之间的所述统计属性Ic(u，v)表示为：其中，(u，v)表示空间坐标，H(u，v，i)表示i波段的所述高光谱图像数据，c∈{R，G，B}，R为红色通道，G为绿色通道，B为蓝色通道。rc(i)表示通道c在波长i处的频谱响应。进一步具体地，所述步骤A)中，将所述高光谱图像数据归一化，并设所述高光谱图像数据中的波段跨度为d纳米，则所述相邻波段的光谱响应差D表示为：其中，k和k+d(n-1)表示所述高光谱图像数据中的波段范围，H(u，v，i+d)表示i+d波段的所述高光谱图像数据，||·||1表示L1范数。进一步具体地，所述步骤A)中，所述不同波段之间的结构相似性由结构相似度ssim(X，Y)表示：其中，X＝H(u，v，x)，表示x波段的所述高光谱图像数据；Y＝H(u，v，x)，表示少波段的所述高光谱图像数据；C1和C2为常量；wx是x波段的所述高光谱图像数据在窗口w中的区域，是wx的灰度平均值；和是wx的方差和与wy的协方差。进一步具体地，所述步骤A)中，所述高光谱图像数据与所述RGB图像数据之间的相关性Sc表示为：其中，Sc的取值范围为[0，1]，Ic表示输入所述深度卷积神经网络的所述RGB图像数据。进一步具体地，所述步骤B)中的所述损失函数loss包括图像输入输出差异losspro，图像输入输出相关性losscor和图像输出波段间的相似性lossself。进一步具体地，所述图像输入输出差异losspro基于所述统计属性得出：其中，pro(H)表示所述RGB图像数据经所述深度卷积神经网络处理后得到的反向映射图像数据，H表示经所述深度卷积神经网络重构的所述高光谱图像数据。进一步具体地，所述图像输入输出相关性losscor基于所述高光谱图像数据与所述RGB图像数据之间的相关性得出：进一步具体地，所述图像输出波段间的相似性lossself基于所述相邻波段的光谱响应差得出：更具体地，所述步骤E)中，所述损失函数loss表示为：loss＝losspro+losscor+αlossself其中，α为平衡因子。本专利技术的基于单张RGB图像和非监督学习的高光谱图像复原方法，先是要研究相关的高光谱图像数据集中的某一研究区域内的高光谱图像数据与相对应区域中的RGB图像之间的关联性，包括高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性，以及高光谱图像数据与所述RGB图像数据之间的相关性，并依据上述高光谱图像数据与RGB图像数据之间的关联性设计出损失函数，以将该损失函数应用于深度卷积神经网络，从而实现对高光谱图像数据与RGB图像数据之间的非线性映射关系进行无监督学习，以能够实现利用单张RGB图像复原高光谱图像，且不需要对图像数据进行人工标注，从而提高了利用RGB图像复原高光谱图像的效率，具有良好的实用性。本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。附图说明图1是本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法的步骤图；图2是本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法的原理图；图3是本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法中高光谱图像的相邻波段间的光谱响应差图；图4是本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法中深度卷积神经网络复原高光谱图像(无监督学习)的过程示意图；图5是本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法中高光谱图像数据集上高光谱图像的S平均值图；图6是本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法中高光谱图像数据与RGB图像数据之间的相关性图；图7是本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法与稀疏编码方法的效果对比图；图8是本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法中80组测试图像上的定量比较图，其中图8-(a)为RMSE定量比较图、图8-(b)为MRAE定量比较图、图8-(c)为SSIM定量比较图。具体实施方式以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。如图1和图2所示，在本专利技术基于单张RGB图像和非监督学习的高光谱图像复原方法的一种实施例中，其复原高光谱图像的步骤包括：A)获取高光谱图像数据集中同一研究区域内的高光谱图像数据以及RGB图像数据，以研究高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性、以及高光谱图像数据与RGB图像数据之间的相关性；具体地，以研究在iCVL高光谱图像数据集上某一研究区域内的高光谱图像数据为例，该研究区域内RGB图像所对应的高光谱图像包括多组，则RGB图像数据与多组高光谱图像数据之间的统计属性Ic(u，v)表示为：其中，(u，本文档来自技高网...

【技术保护点】
1.一种基于单张RGB图像和非监督学习的高光谱图像复原方法，其特征在于，包括如下步骤：/nA)获取高光谱图像数据集中同一研究区域内的高光谱图像数据以及RGB图像数据，以研究所述高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性、以及所述高光谱图像数据与所述RGB图像数据之间的相关性；/nB)依据所述高光谱图像数据的所述统计属性、所述相邻波段的光谱响应差和所述不同波段之间的结构相似性，以及所述高光谱图像数据与所述RGB图像数据之间相关性设计损失函数，以能够以无监督的方式训练深度卷积神经网络，从而得到所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系；/nC)根据所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系利用所述RGB图像数据复原所述高光谱图像数据。/n

【技术特征摘要】
1.一种基于单张RGB图像和非监督学习的高光谱图像复原方法，其特征在于，包括如下步骤：
A)获取高光谱图像数据集中同一研究区域内的高光谱图像数据以及RGB图像数据，以研究所述高光谱图像数据的统计属性、相邻波段的光谱响应差和不同波段之间的结构相似性、以及所述高光谱图像数据与所述RGB图像数据之间的相关性；
B)依据所述高光谱图像数据的所述统计属性、所述相邻波段的光谱响应差和所述不同波段之间的结构相似性，以及所述高光谱图像数据与所述RGB图像数据之间相关性设计损失函数，以能够以无监督的方式训练深度卷积神经网络，从而得到所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系；
C)根据所述高光谱图像数据与所述RGB图像数据之间的非线性映射关系利用所述RGB图像数据复原所述高光谱图像数据。


2.根据权利要求1所述的基于单张RGB图像和非监督学习的高光谱图像复原方法，其特征在于，所述步骤A)中，同一研究区域内的所述RGB图像数据和多组所述高光谱图像数据之间的所述统计属性Ic(u,v)表示为：



其中，(u,v)表示空间坐标，H(u,v,i)表示i波段的所述高光谱图像数据，c∈{R,G,B}，R为红色通道，G为绿色通道，B为蓝色通道。rc(i)表示通道c在波长i处的频谱响应。


3.根据权利要求2所述的基于单张RGB图像和非监督学习的高光谱图像复原方法，其特征在于，所述步骤A)中，将所述高光谱图像数据归一化，并设所述高光谱图像数据中的波段跨度为d纳米，则所述相邻波段的光谱响应差D表示为：



其中，k和k+d(n-1)表示所述高光谱图像数据中的波段范围，H(u,v,i+d)表示i+d波段的所述高光谱图像数据，‖·‖1表示L1范数。


4.根据权利要求3所述的基于单张RGB图像和非监督学习的高光谱图像复原方法，其特征在于，所述步骤A)中，所述不同波段之间的结构相似性由结构相似度ssim(X,Y)表示：



其中，X＝H(u,v,x)，...

【专利技术属性】
技术研发人员：张俊超，赵党军，陈溅来，杨德贵，梁步阁，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43