确定多透镜摄像系统拍摄的图像的波长偏差的方法和装置制造方法及图纸

本发明专利技术涉及一种确定由多透镜摄像系统(1)拍摄的图像的波长偏差的方法，包括以下步骤：

【技术实现步骤摘要】
【国外来华专利技术】确定多透镜摄像系统拍摄的图像的波长偏差的方法和装置


[0001]本专利技术涉及一种方法和一种装置，用于确定多透镜摄像系统拍摄的图像的波长偏差，且特别是对其加以利用，特别是用于色散校准。所述多透镜摄像系统优选地为用于(超)光谱拍摄图像的摄像系统。

技术介绍

[0002]在许多商业和科学领域中，使用除了空间分辨率以外还具有光谱分辨率的摄像机(光谱摄像机)，此光谱分辨率往往超出可见光谱(多光谱摄像机)。例如，在从空中测量地球表面时，常使用的摄像机不仅具有正常的RGB颜色分辨率，还提供高分辨率光谱，甚至可能进入紫外或红外范围。借助这些测量，例如能够识别农业用地中的各个种植区。借此例如能够确定植物的生长状态或健康状态，或者诸如叶绿素或木质素等不同化学元素的分布。
[0003]近数十年来，称作“超光谱成像(Hyperspectral Imaging)”的光谱高分辨率成像技术已被证明适用于这些测量。借助该超光谱成像，例如能够基于以空间分辨方式记录的光谱，识别和区分不同的化学元素。
[0004]在(超)光谱摄像系统的典型结构中，在图像传感器前设有透镜阵列，将主题以多个不同图像(每个透镜一个)的形式映射至图像传感器。这种摄像系统也称作“多透镜摄像系统”。借助位于透镜阵列与图像传感器之间的过滤元件，例如马赛克过滤器或者线性可变过滤器，以不同的光谱范围拍摄图像中的每一个。由此获得主题在不同光谱范围(“通道”)的大量映射。
[0005]然而，现有技术的缺点在于，拍摄的图像无法被最佳地相互比较。这些图像还需要校准。特别是在拍摄与摄像系统的距离不同的对象时(例如，位于背景前的对象，或，在不同距离处的两个或更多个对象)，在通过摄像系统的过滤元件拍摄时，不同的光路导致对象的光谱分类不准确。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的缺点，并且提供一种确定多透镜摄像系统的波长偏差的方法，特别是用于校准多透镜摄像系统和/或改善光谱分辨率。
[0007]本专利技术用以达成上述目的的解决方案为根据权利要求书的一种方法和一种装置。
[0008]本专利技术的确定(并且有利地利用)多透镜摄像系统的拍摄的波长偏差、特别是用于实现色散校准和/或改善光谱分辨率的方法，包括以下步骤：
[0009]‑
为所述多透镜摄像系统的过滤元件的一区域确定光谱灵敏度(“色域”)，所述区域与多透镜摄像系统的图像传感器的一预定区域对应，
[0010]‑
基于确定的光谱灵敏度(确定的色域)，为所述图像传感器的预定区域的至少两个像素确定中心波长，
[0011]‑
基于确定的中心波长，对所述图像传感器的区域和/或用该图像传感器(或图像传感器的对应区域)拍摄的图像进行修正，和/或产生针对图像或用于成像控制的补充性数
据集。
[0012]过滤元件的一个区域的光谱灵敏度反映了在过滤元件后拍摄到图像传感器的哪个像素的哪个颜色(波长)。在理想情形下，这是具有单一(中心)波长的光，在实际情形下则是具有中心波长的波长分布。光谱灵敏度在此也称作“色域”，因为其包括一个域(范围)，取决于过滤元件，不同的颜色在该域中占主导地位。就理想的过滤元件而言，该色域大多以线性可变(线性可变的过滤器)或恒定且分阶(马赛克过滤器)的方式延伸。图像传感器的用于成像的区域应当具有明确定义的(线性变化/分阶恒定的)色域延伸。然而，在实际情况下，就许多过滤元件而言，关键之处在于：光在穿过过滤元件传播的过程中在该过滤元件中经过的路径。在仅为单一中心波长设计的、具有角度相关过滤特性的马赛克过滤器的一个区域内，在笔直入射情况下和在斜向入射情况下测得的中心波长不同。尽管该区别在实践中局限于数nm，其仍会导致系统性的测量误差，并对光谱图像的评估产生负面影响。此外，如下文所述，可以利用该效应来改善光谱分辨率。
[0013]需要指出的是，在此阐释的观察主要涉及因过滤器中的不同光路径而引起的效应。但本专利技术不仅能够掌控这些效应，也能掌控过滤元件中的不均匀性，或者因线性可变过滤元件引起的图像中的波长偏差。
[0014]因此，色域包括有关光的中心波长的信息，光穿过过滤元件入射至图像传感器的预定区域的像素。优选地，针对像素或像素组，色域还包括有关透射光的中心波长的角度相关性的信息。这使精度进一步改善，因为与较远对象的光相比，从较近距离拍摄的对象的光以略有不同的角度穿过过滤系统传播。
[0015]为过滤元件的特定区域确定色域：这些区域被光穿过，用以为图像传感器的预定区域拍摄一个图像或数个图像。对于仅需要通过所述方法修正单独一个图像或图像传感器的对应区域的情况而言，其为用于拍摄相关图像的区域，但也可以将所述方法用于同时修正数个图像，其中，图像传感器上的预定区域相应地较大。
[0016]可以通过直接测量来确定色域。为此，拍摄和/或提供主题的图像，其由多透镜摄像系统在光谱范围内拍摄。对这种拍摄或提供操作的更详细描述参见下文。
[0017]作为替代或补充，也可以通过在将多透镜摄像系统的与图像传感器的该区域对应的光学器件的成像属性考虑在内的情况下，计算在波长以不同入射角入射时的过滤器特性，来确定色域。
[0018]如上所述，需要注意的是，在通过图像传感器的一个区域拍摄图像的情况下，针对图像的不同像素的光以不同的入射角穿过过滤器延伸。因此，并且视情况而定也由于过滤器厚度在相关区域范围内的不均匀性，针对图像传感器的不同像素的光以不同的路径穿过过滤元件。视过滤元件的类型(或过滤元件的区域)而定，可能由此产生过滤器属性的偏移。若z是滤波器的针对以角度a入射的光的中心波长，则对于以角度b穿过滤波器的光而言，产生中心波长z
±
Δz。
[0019]现为图像传感器的预定区域的至少两个像素，优选为预定的感兴趣区域(“Region of Interest”，ROI)的所有像素确定中心波长。然而，为此需要注意的是，所述(至少)两个像素优选地位于适于拍摄单独一个图像的区域内。若图像传感器的区域用于拍摄数个图像，则该步骤应针对每个图像为至少两个像素进行。
[0020]若针对每个“图像”观察两个像素的中心波长，则能够在假定中心波长具有线性延
伸的情况下，通过这些像素确定针对所有像素的修正函数(“支持函数”)。若为非线性延伸，则优选地为两个以上的像素确定中心波长，并由此确定修正函数。在对区域的所有像素的中心波长进行观察的情况下，获得非常准确的结果。修正函数的优点在于，无需为所有像素确定中心波长，而是也可以通过修正函数来设定中心波长。
[0021]借助确定的中心波长，对图像传感器的区域和/或以图像传感器拍摄的对应图像进行修正。作为替代或补充，产生针对图像或用于成像控制的补充性数据集。其中，修正和产生数据集大多具有相同含义，因为在数字化系统中，修正可基于数据集，其被读入并且用于图像传感器或数据的修正。
[0022]修正可以为适配，尤其是校准。但也可以包括将图像信息添加至图像，例如添加补充性的光谱信息，或有关对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种确定多透镜摄像系统(1)的拍摄图像的波长偏差的方法，包括步骤：
‑
为所述多透镜摄像系统(1)的过滤元件(4)的一区域确定色域(F)，其与多透镜摄像系统(1)的图像传感器(3)的预定区域对应，
‑
基于所确定的色域(F)，为图像传感器(3)的预定区域的至少两个像素(P1、P2)确定中心波长(Z)，
‑
基于所确定的中心波长(Z)，对图像传感器(3)的区域和/或用所述图像传感器(3)拍摄的图像(B、B1)进行修正，和/或产生针对所述图像或用于成像控制的补充性数据集。2.根据权利要求1所述的方法，其特征在于，通过用多光谱的多透镜摄像系统(1)拍摄和/或提供主题(M)的图像(B、B1)，和/或，通过在将多透镜摄像系统(1)的与所述区域对应的光学器件(2)的成像属性考虑在内的情况下，计算所述过滤器(4)在波长以不同入射角入射时的特性，来确定所述色域(F)。3.根据前述权利要求中任一项所述的方法，其特征在于，在确定所述中心波长(Z)的范围内，基于确定的至少两个像素(P1、P2)的中心波长(Z)，为所述图像传感器(3)的预定区域的像素(P1、P2)确定修正函数(A)，以及，使用所述修正函数(A)来修正图像传感器(3)的所述区域和/或所述图像(B、B1)。4.根据前述权利要求中任一项所述的方法，其特征在于，在确定色域(F)时，为所述色域添加有关透射光的中心波长(Z)的角度相关性的信息，以及，在修正时将主题(M)的要素的距离考虑在内，其中优选地，根据映射的主题(M)的区域与所述多透镜摄像系统(1)的距离，为所述图像传感器(3)的像素(P1、P2)确定色域(F)。5.根据前述权利要求中任一项所述的方法，其特征在于，还确定拍摄的视差，包括步骤：
‑
通过多光谱的多透镜摄像系统(1)，以不同的光谱范围拍摄和/或提供对象(O)的至少两个图像(B、B1)，
‑
借助数字对象识别系统识别所拍摄的图像(B、B1)中的对象(O)，并用识别出的对象(O)的映射创建虚拟对象(O)，
‑
以绝对图像坐标和/或相对图像(B、B1)中的其他要素的相对坐标的形式，确定所述虚拟对象(O)在图像(B、B1)中的坐标，
‑
根据所确定的坐标，以及图像(B、B1)的拍摄点在多透镜摄像系统(1)的图像传感器(3)上的已知位置，确定对象(O)的视差，
‑
优选地：基于所确定的视差，确定对象(O)与所述多透镜摄像系统(1)和/或与图像(B、B1)中的另一对象(O)的距离，并且使用所述距离来确定色域(F)和/或中心波长...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：科博特有限公司，
类型：发明
国别省市：