【技术实现步骤摘要】
本申请涉及光电子，尤其涉及基于多维采集的高光谱及深度融合成像方法、装置及系统。
技术介绍
1、高光谱成像技术和深度成像技术分别提供了被采集目标的光谱信息和深度信息，在不同维度上解释了场景的基本信息组成。其中，光谱信息在遥感、农业和医学成像等领域有各种应用，而深度信息为自动驾驶、机器人、移动摄影和增强/混合现实提供了关键功能。受到硬件系统设备的限制，原始的高光谱成像和深度成像技术都需要扫描才能获得精确的测量结果。由于图像传感器和算法重建的重大发展，快照高光谱成像和非扫描深度成像得到了迅速发展，为单次曝光即可获得高分辨率和高精度的深度和光谱信息提供了可能。
2、目前，现有技术中已有基于压缩感知的编码孔径光谱成像方式，如编码孔径快照式光谱成像cassi等，可以通过单次曝光同时捕获自然场景的空间和光谱信息。然而，现有的基于压缩感知的单次编码孔径光谱成像方式无法从不同的角度对目标场景进行成像，因此会影响到最终成像结果的准确性；同时，即使采用两次不同的采集结果进行成像处理，不但会影响成像的效率，也无法保证两次采集结果融合的有效性。
技术实现思路
1、鉴于此，本申请实施例提供了基于多维采集的高光谱及深度融合成像方法、装置及系统，以消除或改善现有技术中存在的一个或更多个缺陷。
2、本申请的一个方面提供了一种基于多维采集的高光谱及深度融合成像方法，包括：
3、获取预设的cassi双镜头多维采集装置采集的针对目标场景的不同视角下的三维高光谱灰度图像数据和全色测量灰度
4、对所述三维高光谱灰度图像数据进行三维重建以得到对应的三维高光谱重建图像数据，并生成该三维高光谱重建图像数据对应的重建灰度图像数据；
5、对所述重建灰度图像数据和所述全色测量灰度图像数据进行立体匹配以得到所述目标场景对应的深度图像数据，并生成该深度图像数据对应的灰度对齐深度图像数据；
6、将所述三维高光谱重建图像数据和所述灰度对齐深度图像数据输入预设的图像融合神经网络，以使该图像融合神经网络对应输出针对所述目标场景的多维度融合成像结果数据。
7、在本申请的一些实施例中，所述cassi双镜头多维采集装置包括：cassi采集支路和全色采集支路；
8、所述cassi采集支路包括：依次连接的第一物镜、分束器、第一中继透镜、棱镜、第二中继透镜和反射式掩码板，以及与所述分束器连接的第一全色相机；其中，所述第一中继透镜和所述第二中继透镜组成4-f相位成像测量系统；
9、所述全色采集支路包括：依次连接的第二物镜和第二全色相机；
10、所述第一物镜和所述第二物镜的设置角度不同以在不同视角下分别对所述目标场景进行图像采集。
11、在本申请的一些实施例中，所述获取预设的cassi双镜头多维采集装置采集的针对目标场景的不同视角下的三维高光谱灰度图像数据和全色测量灰度图像数据，包括：
12、向所述cassi双镜头多维采集装置发送图像采集指令，以使所述全色采集支路采集针对所述目标场景的全色测量灰度图像数据；并使得所述cassi采集支路依次基于所述第一物镜、分束器、第一中继透镜将针对目标场景的三维高光谱成像数据传输至所述棱镜以进行色散处理，并经由所述第二中继透镜将对应的色散结果传输至所述反射式掩码板进行信息编码处理，再由所述第二中继透镜将对应的信息编码结果传输至所述棱镜以进行反色散处理，而后由所述第一中继透镜将对应的反色散结果传输至所述分束器，以使所述第一全色相机输出该反色散结果对应的三维高光谱灰度图像数据；
13、接收针对目标场景的不同视角下的所述三维高光谱灰度图像数据和所述全色测量灰度图像数据。
14、在本申请的一些实施例中，在所述获取预设的cassi双镜头多维采集装置采集的针对目标场景的不同视角下的三维高光谱灰度图像数据和全色测量灰度图像数据之前，还包括：
15、向所述cassi双镜头多维采集装置发送测试采集指令，以使所述cassi采集支路和所述全色采集支路分别针对目标场景采集多组测试图像数据；
16、采用基于标定平面的相机标定方法，基于预设的校准棋盘格和各组所述测试图像数据对所述cassi采集支路和所述全色采集支路进行映射关系标定，以根据对应的映射关系标定结果调整或固定所述cassi采集支路和所述全色采集支路之间的相对位置。
17、在本申请的一些实施例中，所述对所述三维高光谱灰度图像数据进行三维重建以得到对应的三维高光谱重建图像数据，并生成该三维高光谱重建图像数据对应的重建灰度图像数据，包括：
18、采用预设的三维u-net网络对所述三维高光谱灰度图像数据进行三维重建，得到所述三维高光谱灰度图像数据对应的三维高光谱重建图像数据；
19、基于预设的相机响应曲线生成所述三维高光谱重建图像数据对应的重建灰度图像数据。
20、在本申请的一些实施例中，所述对所述重建灰度图像数据和所述全色测量灰度图像数据进行立体匹配以得到所述目标场景对应的深度图像数据，并生成该深度图像数据对应的灰度对齐深度图像数据，包括：
21、基于预设的双目立体匹配神经网络对所述重建灰度图像数据和所述全色测量灰度图像数据进行立体匹配，得到所述目标场景对应的深度图像数据；
22、对所述全色测量灰度图像数据和所述深度图像数据进行灰度对齐处理，得到对应的灰度对齐深度图像数据。
23、在本申请的一些实施例中，所述图像融合神经网络包括：
24、光谱自注意力机制模块，用于提取所述三维高光谱重建图像数据的三维高光谱特征数据；
25、高频信息提取模块，用于基于多种算子分别提取所述灰度对齐深度图像数据和所述三维高光谱重建图像数据的各个高频信息特征数据；
26、融合模块，用于对所述三维高光谱特征数据和各个所述高频信息特征数据进行特征融合处理以得到针对所述目标场景的多维度融合成像结果数据。
27、本申请的另一个方面提供了一种基于多维采集的高光谱及深度融合成像装置，包括：
28、数据获取模块，用于获取预设的cassi双镜头多维采集装置采集的针对目标场景的不同视角下的三维高光谱灰度图像数据和全色测量灰度图像数据；
29、三维重建模块，用于对所述三维高光谱灰度图像数据进行三维重建以得到对应的三维高光谱重建图像数据，并生成该三维高光谱重建图像数据对应的重建灰度图像数据；
30、立体匹配模块，用于对所述重建灰度图像数据和所述全色测量灰度图像数据进行立体匹配以得到所述目标场景对应的深度图像数据，并生成该深度图像数据对应的灰度对齐深度图像数据；
31、数据融合模块，用于将所述三维高光谱重建图像数据和所述灰度对齐深度图像数据输入预设的图像融合神经网络，以使该图像融合神经网络对应输出针对所述目标场景的多维度融合成像结果数据。
32、本申请的第三个方面提供了一种基于多维采集的高光谱本文档来自技高网...
【技术保护点】
1.一种基于多维采集的高光谱及深度融合成像方法，其特征在于，包括：
2.根据权利要求1所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，所述CASSI双镜头多维采集装置包括：CASSI采集支路和全色采集支路；
3.根据权利要求2所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，所述获取预设的CASSI双镜头多维采集装置采集的针对目标场景的不同视角下的三维高光谱灰度图像数据和全色测量灰度图像数据，包括：
4.根据权利要求2所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，在所述获取预设的CASSI双镜头多维采集装置采集的针对目标场景的不同视角下的三维高光谱灰度图像数据和全色测量灰度图像数据之前，还包括：
5.根据权利要求2所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，所述对所述三维高光谱灰度图像数据进行三维重建以得到对应的三维高光谱重建图像数据，并生成该三维高光谱重建图像数据对应的重建灰度图像数据，包括：
6.根据权利要求1所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，所述对
7.根据权利要求1至6任一项所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，所述图像融合神经网络包括：
8.一种基于多维采集的高光谱及深度融合成像装置，其特征在于，包括：
9.一种基于多维采集的高光谱及深度融合成像系统，其特征在于，包括：CASSI双镜头多维采集装置以及基于多维采集的高光谱及深度融合成像装置；
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于多维采集的高光谱及深度融合成像方法。
...【技术特征摘要】
1.一种基于多维采集的高光谱及深度融合成像方法，其特征在于，包括：
2.根据权利要求1所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，所述cassi双镜头多维采集装置包括：cassi采集支路和全色采集支路；
3.根据权利要求2所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，所述获取预设的cassi双镜头多维采集装置采集的针对目标场景的不同视角下的三维高光谱灰度图像数据和全色测量灰度图像数据，包括：
4.根据权利要求2所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，在所述获取预设的cassi双镜头多维采集装置采集的针对目标场景的不同视角下的三维高光谱灰度图像数据和全色测量灰度图像数据之前，还包括：
5.根据权利要求2所述的基于多维采集的高光谱及深度融合成像方法，其特征在于，所述对所述三维高光谱灰度图像数据进行三维重建以得到对应的三维高光谱重建图像数据，并生成该三维高光谱重...
【专利技术属性】
技术研发人员：于振明，马靖越，程黎明，狄珈羽，徐坤，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。