高光谱光场成像方法和系统技术方案

公开了一种根据多幅高光谱光场图像生成高光谱数据立方体的方法。每幅高光谱光场图像均可含不同视角和不同谱带。该方法可包括：计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图；通过将所述幅度直方图、方向直方图和重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角视差图；以及利用该参考视角视差图，生成高光谱数据立方体。所述重叠方向梯度直方图中的直方条可含重叠的方向范围。

Hyperspectral field imaging method and system

A method for generating hyperspectral data cubes from multiple hyperspectral field images is disclosed. Each hyperspectral field image can contain different viewing angles and different spectral bands. The method can include: calculating the amplitude histogram, direction histogram and overlapping direction gradient histogram of multiple pixels; obtaining the feature descriptor not changing with the spectrum by combining the amplitude histogram, direction histogram and overlapping direction gradient histogram; obtaining the corresponding relationship cost of the hyperspectral light field image according to the feature descriptor not changing with the spectrum The hyperspectral light field stereo matching is performed on the hyperspectral light field image to obtain a reference perspective parallax map; and the hyperspectral data cube is generated by using the reference perspective parallax map. The straight square bar in the overlapping direction gradient histogram may contain the overlapping direction range.

【技术实现步骤摘要】
【国外来华专利技术】高光谱光场成像方法和系统
本专利技术总体涉及用于生成高光谱光场图像的高光谱光场成像系统，尤其涉及一种根据所拍摄的高光谱光场图像生成全高光谱数据立方体的方法和系统。
技术介绍
高光谱光场(H-LF)成像为通称光谱成像或光谱分析的一类技术当中的一部分。高光谱光场成像用于对整个电磁光谱内的信息进行收集和处理。高光谱相机/传感器所收集的信息的形式为一组高光谱光场图像。其中，每幅图像均代表电磁光谱内的一段窄的波长段，也称谱带。这些图像可相互组合成为高光谱数据立方体，以供后续处理和分析。高光谱光场成像的目的在于获取具有连续光谱段内各窄谱带的场景图象中每一像素的光谱，从而使得图像中的每一像素均可用于以极高的精度和详实度表征场景中的对象。与普通彩色相机相比，高光谱光场图像能够提供更为详细的场景信息。高光谱光场成像可根据场景内对象的光谱特性，极大地提升人们对场景内对象进行分类的能力。此外，高光谱光场成像还对不同相邻光谱之间的空间关系加以利用，以允许人们拓展出更为精细详实的光谱空间模型，从而实现更加精确的图像分割和分类。本专利技术提出一种根据所拍摄的高光谱光场图像生成全高光谱数据立方体的新方法。
技术实现思路
本专利技术的一个方面涉及一种根据多幅高光谱光场图像生成高光谱数据立方体的方法。每幅高光谱光场图像均可含不同视角和不同谱带。该方法可包括：计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图；通过将所述幅度直方图、方向直方图和重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角视差图；以及利用该参考视角视差图，生成高光谱数据立方体。所述重叠方向梯度直方图中的直方条可含重叠的方向范围。本专利技术的另一方面涉及一种根据多幅高光谱光场图像生成高光谱数据立方体的方法。每幅高光谱光场图像均可含不同视角和不同谱带。该方法可包括：根据所述高光谱光场图像合成RGB颜色值，并将该RGB颜色值映射至谱带，以获得估算光谱；比较所述高光谱光场图像的估算光谱和拍摄光谱，以获得高光谱光场图像的散焦代价；对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角视差图；以及利用该参考视角视差图，生成高光谱数据立方体。本专利技术的另一方面涉及一种用于通过拍摄高光谱光场图像而生成高光谱数据立方体的高光谱光场成像系统。该系统可包括多个多视角高光谱数据终端设备和数据处理单元。所述终端设备可用于拍摄多幅高光谱光场图像，每幅高光谱光场图像均可含不同视角和不同谱带。所述数据处理单元可用于：计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图；通过将所述幅度直方图、方向直方图和重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角视差图；以及利用该参考视角视差图，生成高光谱数据立方体。应该理解的是，以上概括描述和以下详细描述均仅在于例示和说明，并不对所要求保护的本专利技术构成限制。附图说明作为本专利技术的一部分，所附各图示出了若干非限制性实施方式，并与说明书一道阐明本专利技术中的原理。图1为根据本专利技术例示实施方式的高光谱光场成像(HLFI)系统示意图。图2A和图2B为根据本专利技术例示实施方式的高光谱光场成像系统数据捕获单元示意图。图3为根据本专利技术例示实施方式的高光谱光场成像系统数据处理单元示意图。图4A为根据本专利技术例示实施方式的高光谱光场立体匹配方法示意图。图4B为根据本专利技术例示实施方式基于对应关系代价估算视差图的方法流程图。图5为根据本专利技术例示实施方式的特征描述符结构示意图。图6A至图6D所示为根据本专利技术例示实施方式获得散焦代价的方法。图7为根据本专利技术例示实施方式的高光谱光场数据立方体重建方法流程图。具体实施方式以下将对例示实施方式进行详细描述，各实施方式的实施例示于附图中。以下描述通过参考附图做出，其中，除非另有说明，否则不同附图中的相同附图标记表示相同或类似的元件。在以下对本专利技术例示实施方式的描述中，所给出的具体实施方式并非本专利技术的所有实施方式。相反，这些具体实施方式仅为本专利技术所涉及的各个方面当中的系统和方法的具体示例。根据本专利技术实施方式，提供一种高光谱光场成像(HLFI)系统，该系统包括数据捕获单元、数据处理单元和数据显示单元。其中，所述数据捕获单元拍摄多幅多视角高光谱光场图像，作为高光谱光场图像样本，并将这些高光谱光场图像样本发送给所述数据处理单元。该数据处理单元通过对所述高光谱光场图像样本进行预处理而获得已校正无失真高光谱光场图像，并通过实施高光谱光场立体匹配而获得参考视角视差图。随后，所述数据处理单元根据所述视差图生成全高光谱数据立方体，并将这些全高光谱数据立方体发送给所述数据显示单元，以供其显示。在一些实施方式中，所述高光谱光场图像样本为5×6幅高光谱光场图像。其中，每幅图像均摄于不同视角，并对不同的10nm带宽光谱段进行采样。如此，该30幅高光谱光场图像的总光谱便可覆盖整个410nm～700nm可见光谱。在一些实施方式中，所述全高光谱光场数据立方体包含所有的5×6个视角及5×6×30幅图像，其中，30为被采样的谱带数。如此，所述全高光谱光场数据立方体即覆盖划分为30个10nm谱带的整个410～700nm光谱段。1、系统概述图1所示为根据本专利技术实施方式的例示高光谱光场成像系统100。系统100可包括若干部件，其中的某些部件可以为可选部件。在一些实施方式中，系统100可包括图1所示之外的部件。然而，由于所公开的实施方式出于说明目的，因此并无必要将这些组件全部示出。如图1所示，系统100可包括数据捕获单元200、数据处理单元300以及数据显示单元400。数据捕获单元200可包括多个多视角高光谱数据终端设备210和相机校准单元220。数据处理单元300可包括数据预处理单元310、高光谱光场立体匹配单元320以及高光谱光场数据立方体重建单元330。数据显示单元400可包括高光谱光场动态重聚焦单元401和全高光谱光场数据立方体单元402。2、数据捕获单元如图1所示，数据捕获单元200可包括多个多视角高光谱数据终端设备210和相机校准单元220。2.1高光谱数据终端设备图2A和图2B为根据本专利技术实施方式的多个多视角高光谱数据终端设备210的示意图。在一些实施方式中，终端设备210可排列为5行6列的矩形阵列。每一终端设备210的位置均可表示为{i,j}，其中，i代表行号，j代表列号。如图2A所示，每一行的终端设备210均等间隔设于同一平板上。各行可均匀地固定于同一限位支架上，该支架确保每一终端设备与相邻终端设备之间的基线不但相同，而且处于安装精度和技术的限值范围内。基线是指相邻终端设备/相机间的像素距离，单位为毫米。每一终端本文档来自技高网...

【技术保护点】
1.一种根据多幅高光谱光场图像生成高光谱数据立方体的方法，其中，每幅所述高光谱光场图像均具有不同视角和不同谱带，其特征在于，所述方法包括：/n计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图，其中，所述重叠方向梯度直方图中的直方条包括重叠的方向范围；/n通过将所述幅度直方图、所述方向直方图和所述重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；/n根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；/n对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角的视差图；以及/n利用所述参考视角的所述视差图，生成高光谱数据立方体。/n

【技术特征摘要】
【国外来华专利技术】1.一种根据多幅高光谱光场图像生成高光谱数据立方体的方法，其中，每幅所述高光谱光场图像均具有不同视角和不同谱带，其特征在于，所述方法包括：
计算多个像素的幅度直方图、方向直方图和重叠方向梯度直方图，其中，所述重叠方向梯度直方图中的直方条包括重叠的方向范围；
通过将所述幅度直方图、所述方向直方图和所述重叠方向梯度直方图相结合而获得不随光谱变化型特征描述符；
根据所述不随光谱变化型特征描述符，获得所述高光谱光场图像的对应关系代价；
对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角的视差图；以及
利用所述参考视角的所述视差图，生成高光谱数据立方体。


2.如权利要求1所述的方法，其特征在于，所述不随光谱变化型特征描述符用于同时衡量边缘特征和非边缘特征。


3.如权利要求2所述的方法，其特征在于，所述非边缘特征通过结合所述幅度直方图和所述方向直方图的方式进行表征，所述边缘特征由所述重叠方向梯度直方图表征。


4.如权利要求3所述的方法，其特征在于，还包括：
利用权重矩阵和金字塔结构将所述幅度直方图、所述方向直方图和所述重叠方向梯度直方图相结合，以形成所述不随光谱变化型特征描述符。


5.如权利要求1所述的方法，其特征在于，还包括：
以双向加权归一化交叉相关法对所述不随光谱变化型特征描述符进行比较，以获得相似度衡量参数。


6.如权利要求1所述的方法，其特征在于，还包括：
根据所述高光谱光场图像合成RGB颜色值，并将所述RGB颜色值映射至一谱带以获得估算光谱；以及
比较所述高光谱光场图像的估算光谱和拍摄光谱，以获得所述高光谱光场图像的散焦代价。


7.如权利要求6所述的方法，其特征在于，使用K-L(Kullback-Leibler)散度来比较所述高光谱光场图像的估算光谱和拍摄光谱。


8.如权利要求6所述的方法，其特征在于，还包括：
对所述高光谱光场图像实施高光谱光场立体匹配，以获得基于所述对应关系代价和所述散焦代价的所述参考视角的所述视差图。


9.如权利要求1所述的方法，其特征在于，还包括：通过对遮挡像素和非遮挡像素进行单独处理，基于所述对应关系代价估算所述参考视角的初始视差图。


10.如权利要求1所述的方法，其特征在于，还包括：
由排列成多行多列矩形阵列的多个多视角高光谱数据终端设备拍摄所述多幅高光谱光场图像，其中，每一终端设备由单色相机和窄带通滤光片构成。


11.一种根据多幅高光谱光场图像生成高光谱数据立方体的方法，其中，每幅所述高光谱光场图像均具有不同视角和不同谱带，其特征在于，所述方法包括：
根据所述高光谱光场图像合成RGB颜色值，并将所述RGB颜色值映射至谱带，以获得估算光谱；
比较所述高光谱光场图像的估算光谱和拍摄光谱，以获得所述高光谱光场图像的散焦代价；
对所述高光谱光场图像实施高光谱光场立体匹配，以获得参考视角的视差图；以及
利用所述参考视角的视差图，生成高光谱数据立方体。


12.如权利要求11所述的方法，其特征在于，使用K-L(Kullback-Leibler)散度来比较所述...

【专利技术属性】
技术研发人员：虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：上海;31