一种微型多光谱-3D多模式相机系统及成像方法技术方案

本发明专利技术提供了一种微型多光谱

【技术实现步骤摘要】
一种微型多光谱
‑
3D多模式相机系统及成像方法


[0001]本专利技术涉及多光谱成像
，特别涉及一种微型多光谱
‑
3D多模式相机系统及成像方法。

技术介绍

[0002]在现代化工业、采矿、冶金和农业等各行业中，智能视觉传感和检测技术被大规模应用。视觉传感包括多种成像模式，比如常见的彩色和黑白2D可见光成像，热成像、基于三角法的双目和结构光3D成像，基于飞行时间的TOF 3D成像，和多光谱成像等。彩色2D成像通常为红绿蓝(RGB)三个通道，而多光谱成像一般指高于三个通道的成像(包括从最基本的四个通道到几百个通道的高光谱成像)。
[0003]目前，一个相机系统只能实现一种成像模式，如果需要同时实现两种或两种以上模式的成像，就需要把多个不同的相机进行组合，导致成像系统庞大复杂，同时其成本也会极为高昂。

技术实现思路

[0004]基于此，本专利技术的目的是提供微型多光谱
‑
3D多模式相机系统及成像方法，以解决现有技术中实现多种成像模式需要多个不同相机进行组合，导致成像系统庞大以及成本高昂的问题。
[0005]一种微型多光谱
‑
3D多模式相机系统，包括：
[0006]摄像头模组，包括PCB板，以及设置于所述PCB板上的多个图像传感器；
[0007]衍射光学组件，包括光学基板，以及设置于所述光学基板上的多个衍射光学元件；
[0008]带通滤波镀膜，设置于所述光学基板的一侧，且与所述衍射光学元件位置相对；
[0009]支撑结构，用于支撑所述衍射光学组件，以使所述衍射光学组件位于所述摄像头模组的正上方；
[0010]计算机系统，与所述PCB板电性连接，用于对所述图像传感器采集到的光谱信息进行处理以获取到图像；
[0011]其中，所述光学基板通过光学隔离板划分为多个光学区域，所述光学隔离板的一侧侧壁延伸至与所述PCB板贴合接触，多个所述光学区域呈矩形阵列有序排布，位于不同所述光学区域的光学基板的厚度不同，各个所述光学区域均配置一所述衍射光学元件和一所述带通滤波镀膜，各个所述衍射光学元件的正下方均设置有一所述图像传感器。
[0012]本专利技术的有益效果是：通过在同一块光学基板上通过光学隔离板划分为多个光学区域，在每个光学区域上设置有相应的衍射光学元件和带通滤波镀膜，并在每个光学区域匹配相应的图像传感器，来获取成像目标的多个波段的光谱信息，通过图像传感器采集到的的光谱信息传递至计算机系统，生成相关的多光谱图像，同时在本相机系统中，将多个光学区域呈矩形阵列排布，使得成像通道排布有序，能通过计算机系统采用其他计算公式来进行双目立体匹配以获取到3D图像，本专利技术解决了现有技术中需要通过不同相机来实现多
个成像模式，造成成本费用高昂以及成像系统庞大的问题，实现了在一个相机系统中存有多个成像模式，简化了多模式成像操作。
[0013]优选的，所述微型多光谱
‑
3D多模式相机系统还包括互不干涉的距离传感器和宽光谱光源，所述宽光谱光源用于补光，所述距离传感器和所述宽光谱光源位于所述光学基板的一侧侧壁上，且位于相邻两个所述光学区域的对称轴上。
[0014]优选的，所述支撑结构位于所述光学基板和所述PCB板两者之间，所述支撑结构的一端通过固化胶与所述光学基板固定，另一端与所述PCB板固定。
[0015]优选的，相邻两个所述带通滤波镀膜之间设置有吸光带，所述吸光带用于减少不同所述光学区域之间的杂散光相互干扰，所述吸光带由黑色物质制成。
[0016]本专利技术还提供了一种微型多光谱
‑
3D多模式相机系统成像方法，采用上述中的微型多光谱
‑
3D多模式相机系统，包括如下步骤：
[0017]从目标物体出射多个光谱的光；
[0018]通过多个成像通道对光进行投射，并一一射入相应的图像传感器，各个所述成像通道匹配一所述图像传感器；
[0019]基于多个所述图像传感器采集到的光谱信息，利用计算机系统生成多光谱图像。
[0020]优选的，所述成像通道包括带通滤波镀膜、光学基板以及衍射光学元件，各个所述成像通道中的光学基板厚度不同，多个所述成像通道呈矩形阵列有序排布；
[0021]同一相机系统中所述成像通道数量的计算方式如下：
[0022]N＝P*Q
[0023]其中，N代表所述成像通道的总数，P代表矩形阵列中的列数，Q代表矩形阵列中的行数。
[0024]优选的，所述光学区域的光学基板厚度通过如下计算公式得到：
[0025]T
‑
T
D
＝f(λ
i
)+g(λ
i
)B
i
+T
BP
(λ
i
)
[0026]其中，T代表所述带通滤波镀膜的上表面到所述图像传感器的距离，T
D
代表所述衍射光学元件的厚度，B
i
代表所述光学区域的光学基板厚度，f(λ
i
)代表所述成像通道的焦距，g(λ
i
)代表折射率，T
BP
(λ
i
)代表带通滤波镀膜的厚度，λ
i
代表波长。
[0027]优选的，所述通过多个成像通道对光进行投射，并一一射入相应的图像传感器之后，所述方法还包括：
[0028]基于多个所述成像通道构成至少两个双目组合的图像对，其中对称的两个所述成像通道所获取的图像构成一个所述图像对；
[0029]对各个所述图像对进行跨成像通道双目立体匹配计算，得到深度图；
[0030]利用所述深度图进行虚拟视点的合成，得到初始3D图像；
[0031]将至少两个所述初始3D图像进行融合，以获取到最终3D图像。
[0032]优选的，所述方法还包括：
[0033]基于所述图像传感器获取到的图像进行相机标定、图像矫正，并进行匹配策略和代价函数计算，得到用于输入双目立体匹配计算的图像；
[0034]所述代价函数的计算公式如下：
[0035]C＝Median(C1，C2，...，C
q
)
[0036]其中，C代表Q行中相同位置处q个双目组合的代价函数的均值或中值，C1、C2、C
q
分
别代表Q行中相同位置处第1个、第2个以及第q个双目组合的代价函数。
[0037]优选的，所述进行跨成像通道双目立体匹配计算的计算公式如下：
[0038][0039]其中，Z代表深度值，B代表C＝C
q
的第Q行的双目组合的基线，F
L
、F
R
分别代表C＝C
q
的第Q行双目组合的左侧成像通道的焦距和右侧成像通道的焦距，d代表视差值。
[0040]本专利技术的附加方面和优点将在下面的描述中部分给出，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微型多光谱
‑
3D多模式相机系统，其特征在于，包括：摄像头模组，包括PCB板，以及设置于所述PCB板上的多个图像传感器；衍射光学组件，包括光学基板，以及设置于所述光学基板上的多个衍射光学元件；带通滤波镀膜，设置于所述光学基板的一侧，且与所述衍射光学元件位置相对；支撑结构，用于支撑所述衍射光学组件，以使所述衍射光学组件位于所述摄像头模组的正上方；计算机系统，与所述PCB板电性连接，用于对所述图像传感器采集到的光谱信息进行处理以获取到图像；其中，所述光学基板通过光学隔离板划分为多个光学区域，所述光学隔离板的一侧侧壁延伸至与所述PCB板贴合接触，多个所述光学区域呈矩形阵列有序排布，位于不同所述光学区域的光学基板的厚度不同，各个所述光学区域均配置一所述衍射光学元件和一所述带通滤波镀膜，各个所述衍射光学元件的正下方均设置有一所述图像传感器。2.根据权利要求1所述的微型多光谱
‑
3D多模式相机系统，其特征在于，所述微型多光谱
‑
3D多模式相机系统还包括互不干涉的距离传感器和宽光谱光源，所述宽光谱光源用于补光，所述距离传感器和所述宽光谱光源位于所述光学基板的一侧侧壁上，且位于相邻两个所述光学区域的对称轴上。3.根据权利要求1所述的微型多光谱
‑
3D多模式相机系统，其特征在于，所述支撑结构位于所述光学基板和所述PCB板两者之间，所述支撑结构的一端通过固化胶与所述光学基板固定，另一端与所述PCB板固定。4.根据权利要求1所述的微型多光谱
‑
3D多模式相机系统，其特征在于，相邻两个所述带通滤波镀膜之间设置有吸光带，所述吸光带用于减少不同所述光学区域之间的杂散光相互干扰，所述吸光带由黑色物质制成。5.一种微型多光谱
‑
3D多模式相机系统的成像方法，其特征在于，采用权利要求1
‑
5任意一项所述的微型多光谱
‑
3D多模式相机系统，包括如下步骤：从目标物体出射多个光谱的光；通过多个成像通道对光进行投射，并一一射入相应的图像传感器，各个所述成像通道匹配一所述图像传感器；基于多个所述图像传感器采集到的光谱信息，利用计算机系统生成多光谱图像。6.根据权利要求5所述的微型多光谱
‑
3D多模式相机系统的成像方法，其特征在于，所述成像通道包括带通滤波镀膜、光学基板以及衍射光学元件，各个所述成像通道中的光学基板厚度不同，多个所述成像通道呈矩形阵列有序排布；同一相机系统中所述成像通道数量的计算方式如下：N＝P*Q其中，N代表所述成像通道的总数，P代表矩形阵列中的列...

【专利技术属性】
技术研发人员：田宜彬，曾智，王凌，刘诚，
申请(专利权)人：光沦科技深圳有限公司，
类型：发明
国别省市：