一种混合型高光谱图像重构的方法及系统技术方案

本申请提供了一种混合型高光谱图像重构的方法及系统。所述方法包括：图像传感器拍摄目标视野获取目标待重构图像，其中，所述目标待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；将所述第一区域图像重构为第一区域的高光谱图像；将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。

【技术实现步骤摘要】
【国外来华专利技术】一种混合型高光谱图像重构的方法及系统
本申请涉及人工智能领域，尤其涉及一种混合型高光谱图像重构的方法及系统。
技术介绍
近年来，高光谱图像采集在遥感、农业、工业检测等各应用领域中扮演着越发重要的角色。一般情况下，高光谱图像的采集需要在常规的图像传感器前加装滤波装置以获得多个不同波段的窄带光信号，例如，基于利奥(Lyot)滤镜组的液晶可调滤镜(Liquidcrystaltunablefilter,LCTF)，但是由于其原理是按照时间顺序收集多个单一波段的图像来进行高光谱图像采集的，因此只适用于拍摄静止的景物；或者添加分光装置如基于弹光效应的声光可调滤镜(Acousto-opticaltunablefilter,AOTF)并通过图像传感器的不同区域接收不同波段的光，因此可以实现瞬时的高光谱拍摄。以上进行高光谱图像采集的两种方法均需要添加外置装置，降低了整体系统的便携性，提高了成本；并且为了获得较高的光谱分辨率，均一定程度上牺牲了时域分辨率或空间分辨率。
技术实现思路
本申请提供了一种混合型高光谱图像重构的方法及系统，用于解决高光谱图像采集方法便携性低、成本高的缺点。第一方面，本申请提供了一种混合型高光谱图像重构的方法，所述方法包括以下步骤：图像传感器拍摄目标视野获取目标待重构图像，其中，所述目标待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；将所述第一区域图像重构为第一区域的高光谱图像；将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。可选地，所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。可选地，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。可选地，在所述第一区域的高光谱图像中出现波段重叠区域的情况下，所述方法还包括：获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。可选地，将所述第一区域图像重构为第一区域的高光谱图像包括：将所述第一区域图像输入RGB重构模型YRGB＝DRGBX，根据RGB图像字典DRGB，获得所述权重系数矩阵X，其中，YRGB为输出的RGB图像，DRGB为RGB图像字典，X为权重系数矩阵，所述权重系数矩阵反映了所述输出的RGB图像YRGB和RGB图像字典DRGB之间的映射关系，所述RGB图像字典DRGB根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S获得；根据所述权重系数矩阵X输入高光谱图像重构模型Yh＝DhX，根据高光谱图像字典Dh，获得所述第一区域的高光谱图像，其中，Yh为输出的高光谱图像，Dh为高光谱图像字典，X为权重系数矩阵，所述权重系数矩阵反映了所述输出的高光谱图像Yh和高光谱图像字典Dh之间的映射关系，所述高光谱图像字典Dh是在所述获取待重构图像之前，通过将所述权重系数矩阵X初始化为0，并使用高光谱图像样本集对高光谱图像重构模型进行训练后获得的。可选地，在所述图像传感器拍摄目标视野获取目标待重构图像之前，所述方法还包括：将所述权重系数矩阵X初始化0，并使用高光谱图像样本集对高光谱图像重构模型进行训练，获得高光谱图像字典Dh；根据所述高光谱图像字典Dh以及所述图像传感器的光谱响应函数S，获得RGB图像字典DRGB，其中，DRGB＝SDh。可选地，所述第二滤光片包括多个超级像素，其中，所述多个超级像素中的每个超级像素是多个单波长像素片排列组合形成的正方形像素的集合，所述多个超级像素中的每个超级像素位于所述图像传感器成像区域的四个象限的中心位置。可选地，所述图像传感器基于半导体薄膜技术，其中，所述第一滤光片是RGB染料滤光片；所述第二滤光片是通过沉积、图形化、刻蚀方法中的任意一种制备的F-P腔薄膜阵列；或者，所述第二滤光片是利用光子晶体在CMOS传感器阵列上构成的反射式多通道滤波片。可选地，所述获得重构后的目标高光谱图像之后，所述方法还包括：将拍摄所述目标区域使用的第一滤光片切换为第二滤光片。第二方面，提供了一种混合型高光谱图像重构系统，所述系统包括：获取单元，所述获取单元用于使用图像传感器拍摄目标视野获取目标待重构图像，其中，所述待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；重构单元，所述重构单元用于将所述第一区域图像重构为第一区域的高光谱图像；融合单元，所述融合单元用于将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。可选地，所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于所述第二区域图像。可选地，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。可选地，所述系统还包括补拍单元，所述补拍单元用于在所述第一区域的高光谱图像中出现波段重叠区域的情况下，获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；所述补拍单元还用于对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；所述融合单元还用于将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得所述重构后的目标高光谱图像。可选地，所述重构单元具体用于将所述第一区域图像输入RGB重构模型YRGB＝DRGBX，根据RGB图像字典DRGB，获得所述权重系数矩阵X，其中，YRGB为输出的RGB图像，DRGB为RGB图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的RGB图像YRGB和RGB图像字典DRGB之间的映射关系，所述RGB图像字典DRGB根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S获得；所述重构单元具体用于根据所述权重系数矩阵X输入高光谱图像重构模型Yh＝DhX，根据高光谱图像字典Dh，获得所述第一区域的高光谱图像，其中，Yh为输出的高光谱图像，Dh为高光谱图像字典，X为权重系数矩阵，所述本文档来自技高网...

【技术保护点】
1.一种混合型高光谱图像重构的方法，其特征在于，所述方法包括：/n图像传感器拍摄目标视野获取目标待重构图像，其中，所述目标待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；/n将所述第一区域图像重构为第一区域的高光谱图像；/n将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。/n

【技术特征摘要】
【国外来华专利技术】1.一种混合型高光谱图像重构的方法，其特征在于，所述方法包括：
图像传感器拍摄目标视野获取目标待重构图像，其中，所述目标待重构图像分为第一区域图像和第二区域图像，所述第一区域图像为RGB图像，所述第二区域图像为高光谱图像；
将所述第一区域图像重构为第一区域的高光谱图像；
将所述第一区域的高光谱图像与所述第二区域图像进行图像融合，获得重构后的目标高光谱图像。


2.根据权利要求1所述的方法，其特征在于，所述图像传感器包括第一滤光片和第二滤光片，所述第一滤光片用于获得第一区域图像，所述第二滤光片用于获得所述第二区域图像。


3.根据权利要求2所述的方法，其特征在于，所述第二区域图像是所述图像传感器使用第二滤光片拍摄获得所述第二区域的多光谱图像后，对所述多光谱图像进行空间分辨率的恢复操作后获得的高光谱图像。


4.根据权利要求1所述的方法，其特征在于，在所述第一区域的高光谱图像中出现波段重叠区域的情况下，所述方法还包括：
获得所述波段重叠区域在所述目标视野中对应的目标区域，其中，所述波段重叠区域包括各个光波段边缘重叠的区域；
使用第二滤光片对所述目标区域进行补拍，获得一张或者多张所述目标区域的多光谱图像；
对所述一张或者多张目标区域的多光谱图像进行空间分辨率恢复，获得一张或者多张目标区域的高光谱图像；
将所述一个或者多个目标区域的高光谱图像、所述第一区域的高光谱图像以及所述第二区域图像进行图像融合，获得所述重构后的目标高光谱图像。


5.根据权利要求1所述的方法，其特征在于，将所述第一区域图像重构为第一区域的高光谱图像包括：
将所述第一区域图像输入RGB重构模型YRGB＝DRGBX，根据RGB图像字典DRGB，获得所述权重系数矩阵X，其中，YRGB为输出的RGB图像，DRGB为RGB图像字典，X为权重系数矩阵，所述权重系数矩阵X反映了所述输出的RGB图像YRGB和RGB图像字典DRGB之间的映射关系，所述RGB图像字典DRGB根据所述高光谱图像字典Dh以及图像传感器的光谱响应函数S获得；
根据所述权重系数矩阵X输入高光谱图像重构模型Yh＝DhX，根据高光谱图像字典Dh，获得所述第一区...

【专利技术属性】
技术研发人员：王星泽，赖嘉炜，
申请(专利权)人：合刃科技深圳有限公司，
类型：发明
国别省市：广东;44