基于镀膜式多光谱相机的立体视觉系统及其标定测距方法技术方案

本发明专利技术总体涉及一种多光谱双目视觉系统，具体地涉及基于镀膜式多光谱相机的立体视觉系统及其标定测距方法。本发明专利技术利用马赛克镀膜的视频多光谱探测器构建具备多光谱双目测距功能的立体视觉系统，以及针对多光谱图像设计的系统标定和匹配算法。具体包括多光谱探测器硬件系统的装配，多光谱图像预处理、系统标定、特征提取、半全局匹配优化以及视差提精的后处理等。本发明专利技术所设计的多光谱双目立体视觉成像系统以及对应的测距算法软件，可以用于各种复杂场景的测距。例如无人驾驶车辆的环境感知；在视频监控数据自动分析；在军用中的伪装涂料或伪装布目标测距分析等。

【技术实现步骤摘要】
基于镀膜式多光谱相机的立体视觉系统及其标定测距方法
本专利技术涉及一种多光谱双目视觉系统，具体地涉及一种基于镀膜式多光谱相机的立体视觉系统以及测距方法。
技术介绍
立体视觉相机尤其是双目相机是一种用途广泛的设备，其能够根据双目视差的原理计算出所拍摄物体相对于相机的三维空间位置。此类设备目前已被广泛应用于生产线检测、车辆主动安全、无人驾驶、三维扫描等领域。在利用双目相机实现双目测距的过程中，左右视图的特征提取和匹配是决定测距精度的重要因素。现有的双目相机多是基于普通CCD或CMOS传感器获取黑白/彩色的高清图像，并通过各种形式的立体匹配算法进行视差信息获取。此类系统存在的问题是当目标和背景颜色、纹理相似时，目标的轮廓难以区分，特征点提取困难，从而造成视差图计算出现错误，影响测距能力。在视频监控、无人驾驶中，此类场景常体现在行人服装、车辆的颜色与背景颜色相似；在军用中，此类场景常见于目标采用了伪装涂料或伪装布的情况，在彩色图像中与背景发生混淆；在其他领域也可能存在此类前景背景难以利用颜色区分的情况。为了在这些复杂场景下保证立体视觉测量的准确性，需要借助彩色图像之外的其他波段提高前景和背景的区分能力，采用多光谱探测器就是很好的选择。如美国的“勇气号”火星探测器曾携带多光谱双目相机，其通过滤光片轮转动的方式分时获取不同波段的图像，实现对静态岩石地貌的多光谱立体测绘。但是，这类系统无法实时成像，难以满足运动目标或运动平台的立体测距需求。
技术实现思路
为了解决现有双目视觉相机在目标和背景颜色相似的情况下难以有效提取特征，进而导致视差图计算误差大、测距精度低的问题，本专利技术提供了一种基于镀膜式多光谱相机的立体视觉系统以及该系统的标定方法及利用该系统实现测距的方法。随着多光谱成像技术的发展，目前市面上的视频级多光谱相机可以实现多波段实时成像，其中一种视频级多光谱相机是在探测器上进行马赛克镀膜(类似彩色探测器的Bayer镀膜)。本专利技术利用该类镀膜式视频级多光谱相机搭建了立体视觉系统，但是由于镀膜式视频级多光谱相机获取的原始图像是经过了马赛克编码的，因此图像表面存在网格状的马赛克现象。在进行相机内外参数标定以及视差图计算时都不能直接使用传统的立体视觉算法。因此，本专利技术基于该系统还设计了相机标定和测距算法。本专利技术的技术解决方案是提供一种基于镀膜式多光谱相机的立体视觉系统，其特殊之处在于：包括多光谱立体相机及与多光谱立体相机相连的计算机；多光谱立体相机用于获取多光谱双目图像IL和IR；计算机上存储有多光谱双目测距算法程序，上述计算机执行所述多光谱双目测距算法程序时实现以下步骤：步骤一：对两幅多光谱双目图像IL和IR进行极线校正；获取两幅满足极线约束的多光谱双目图像IL1和IR1；步骤二：对多光谱双目图像IL1和IR1分别进行辐射校正，获得多光谱双目图像IL2和IR2；步骤三：对多光谱双目图像IL2和IR2分辨率复原，将探测器单通道原始图像采用小波变换的泰勒级数近似估计方法复原为分辨率保持不变的具有多个谱段的多通道图像；步骤四：提取步骤三复原后多光谱双目图像中的光谱信息和结构信息；步骤五：基于步骤四提取的光谱信息和结构信息，利用现有算法计算视差空间图(DSI)，并采用半全局匹配(SGM)的方法进行视差传播；步骤六：利用Winner-Take-All的策略获取视差图，并进行左右交叉验证去除错误点，利用周边区域生长的方式填补视差图中的空洞并进行引导滤波优化；得到处理后的视差图；步骤七：基于步骤六计算出的视差图，以及标定得到的多光谱相机内参数以及系统外参数，可以利用投影公式计算出对应场景点的(X,Y,Z)坐标。进一步地，多光谱立体相机包括系统外形框架、置于系统外形框架内部的图像采集电路板、两台马赛克镀膜式多光谱探测器及两组镜头；两组镜头分别安装在两台马赛克镀膜式多光谱探测器上，构成两台多光谱相机；两台多光谱相机的光轴平行且共面，其安装位置满足双目测距原理要求的相机安放位置关系；图像采集电路板与两台马赛克镀膜式多光谱探测器连接，用于向两台马赛克镀膜式多光谱探测器发送同步采集信号，并收集整合两台马赛克镀膜式多光谱探测器传回的图像数据，通过协议接口发往后端的计算机。马赛克镀膜式光谱探测器是本系统的核心组件，其探测器像元上间隔的镀有不同谱段的纳米级滤光膜，因此能够在一次曝光下对场景进行多谱段实时成像。这种探测器由Bayer插值的彩色CCD/CMOS发展而来。系统外形框架的主要作用一方面在于容纳马赛克镀膜式多光谱探测器以及图像处理板，另一方面在于固定两台马赛克镀膜式多光谱探测器的相对位置，使其满足双目测距原理要求的相机安放位置关系，并保持相对位置关系不变，避免每次使用时都要进行标定。系统外形框架的设计可以根据马赛克镀膜式多光谱探测器的选型进行调整，原则是保持两台马赛克镀膜式多光谱探测器安装牢固、视场基本平行、且具有一定长度的基线。进一步地，上述步骤三即马赛克多光谱复原具体为：3.1)、计算多光谱双目图像IL2和IR2的无网格图像IL3和IR3；3.2)、使用梯度算子计算图像IL3和IR3中每个像素的梯度强度；3.3)、从图像IL3和IR3中分别提取第一个谱段对应的所有像素点，将所有不属于第一个谱段像素点的像素值置零，将被置零的像素点作为待插值像素点；3.4)、对于一个待插值像素点，计算其与附近各个非零像素连线上的最大梯度，作为其与该非零像素之间的梯度，并在后续插值时依次计算权重；3.5)、将步骤3.4)计算得到的每个非零像素的梯度强度的倒数作为权重，对该待插值像素点进行加权平均插值，插值后除以所有权重的和进行归一化；3.6)、对图像IL3和IR3的每一个谱段的每一个待插值像素分别进行步骤3.3)-步骤3.5)的操作；获得图像IL3和IR3所有谱段的分辨率复原结果。本专利技术还提供一种上述的基于镀膜式多光谱相机的立体视觉系统的标定方法，包括以下步骤：步骤a、标定图像的采集过程；标定图像的采集过程和传统方法类似，可以使用棋盘格标定板作为标定靶标。一般来说，标定板的尺寸应该满足其在成像时占据至少一半视场，并能够在两侧图像中同时可见。利用系统采集不同姿态角度的至少7对标定板图像。由于原始图像是由不同谱段交错组成，因此图像具有明显的网格现象(或称马赛克现象)，这对于标定时候的角点提取是不利因素。本专利技术通过下述步骤从原始图像中提取无网格的灰度图像。步骤b、对两台多光谱相机采集的原始图像分别进行小波去网格操作，获得两幅视图的去网格图像；步骤c、基于获取的两幅视图的去网格图像，对两台多光谱相机进行标定，获得两台多光谱相机的内参数(焦距、主点位置、畸变系数等)和基于镀膜式多光谱相机的立体视觉系统的外参数(两台相机之间的旋转和平移)；标定参数计算方法和传统的可见光双目相机标定参数计算方法一致，通过提取棋盘格的角点可以计算出系统的基础矩阵，从而计算出各项参数。步骤d、进行基于白板的辐射度定标，得到两台多光谱相机的各个谱段的相对辐射系数。进一步地，上述步骤b)具体为：b1)、使用小波对原始图像进行三级小波变换，得到各个级别的水平方向、竖直方向以及对角线方向的小波变换图像；b2)、将水平方向和竖直方向的小波变换图像中所有像素值置零；b3)、利用同样的小波基对b2)中本文档来自技高网...

【技术保护点】
1.一种基于镀膜式多光谱相机的立体视觉系统，其特征在于：包括多光谱立体相机及与多光谱立体相机相连的计算机；多光谱立体相机用于获取多光谱双目图像IL和IR；计算机上存储有多光谱双目测距算法程序，所述计算机执行所述多光谱双目测距算法程序时实现以下步骤：步骤一：对两幅多光谱双目图像IL和IR进行极线校正；获取两幅满足极线约束的多光谱双目图像IL1和IR1；步骤二：对多光谱双目图像IL1和IR1分别进行辐射校正，获得多光谱双目图像IL2和IR2；步骤三：对多光谱双目图像IL2和IR2分辨率复原，将探测器单通道原始图像采用小波变换的泰勒级数近似估计方法复原为分辨率保持不变的具有多个谱段的多通道图像；步骤四：提取步骤三复原后多光谱双目图像中的光谱信息和结构信息；步骤五：基于步骤四提取的光谱信息和结构信息，利用现有算法计算视差空间图DSI，并采用半全局匹配SGM的方法进行视差传播；步骤六：利用Winner‑Take‑All的策略获取视差图，并进行左右交叉验证去除错误点，利用周边区域生长的方式填补视差图中的空洞并进行引导滤波优化；得到处理后的视差图；步骤七：基于步骤六计算出的视差图，以及标定参数，利用投影公式计算出对应场景点的(X,Y,Z)坐标。...

【技术特征摘要】
1.一种基于镀膜式多光谱相机的立体视觉系统，其特征在于：包括多光谱立体相机及与多光谱立体相机相连的计算机；多光谱立体相机用于获取多光谱双目图像IL和IR；计算机上存储有多光谱双目测距算法程序，所述计算机执行所述多光谱双目测距算法程序时实现以下步骤：步骤一：对两幅多光谱双目图像IL和IR进行极线校正；获取两幅满足极线约束的多光谱双目图像IL1和IR1；步骤二：对多光谱双目图像IL1和IR1分别进行辐射校正，获得多光谱双目图像IL2和IR2；步骤三：对多光谱双目图像IL2和IR2分辨率复原，将探测器单通道原始图像采用小波变换的泰勒级数近似估计方法复原为分辨率保持不变的具有多个谱段的多通道图像；步骤四：提取步骤三复原后多光谱双目图像中的光谱信息和结构信息；步骤五：基于步骤四提取的光谱信息和结构信息，利用现有算法计算视差空间图DSI，并采用半全局匹配SGM的方法进行视差传播；步骤六：利用Winner-Take-All的策略获取视差图，并进行左右交叉验证去除错误点，利用周边区域生长的方式填补视差图中的空洞并进行引导滤波优化；得到处理后的视差图；步骤七：基于步骤六计算出的视差图，以及标定参数，利用投影公式计算出对应场景点的(X,Y,Z)坐标。2.根据权利要求1所述的基于镀膜式多光谱相机的立体视觉系统，其特征在于：多光谱立体相机包括系统外形框架、置于系统外形框架内部的图像采集电路板、两台马赛克镀膜式多光谱探测器及两组镜头；两组镜头分别安装在两台马赛克镀膜式多光谱探测器上，构成两台多光谱相机；两台多光谱相机的光轴平行且共面，其安装位置满足双目测距原理要求的相机安放位置关系；图像采集电路板与两台马赛克镀膜式多光谱探测器连接，用于向两台马赛克镀膜式多光谱探测器发送同步采集信号，并收集整合两台马赛克镀膜式多光谱探测器传回的图像数据，通过协议接口发往后端的计算机。3.根据权利要求1所述的基于镀膜式多光谱相机的立体视觉系统，其特征在于，步骤三具体为：3.1)、计算多光谱双目图像IL2和IR2的无网格图像IL3和IR3；3.2)、使用梯度算子计算图像IL3和IR3中每个像素的梯度强度；3.3)、从图像IL3和IR3中分别提取第一个谱段对应的所有像素点，将所有不属于第一个谱段像素点的像素值置零，将被置零的像素点作为待插值像素点；3.4)、计算待插值像素点与附近各个非零像素连线上的最大梯度，作为待插值像素点与该非零像素之间的梯度，并在后续插值时依次计算权重；3.5)、将步骤3.4)计算得到的每个非零像素的梯度强度的倒数作为权重，对该待插值像素点进行加权平均插值，插值后除以所有权重的和进行归一化；3.6)、对图像IL3和IR3的每一个谱段的每一个待插值像素点分别进行步骤3.3)-步骤3.5)的操作；获得图像IL3和IR3所有谱段的分辨率复原结果。4.一种权利要求1所述的基于镀膜式多光谱相机的立体视觉系统的标定方法，其特征在于，包括以下步骤：步骤a、标定图像的采集过程；步骤b、对两台多光谱相机采集的原始图像分别进行小波去网格操作，获得两幅视图的去网格图像；步骤c、基于获取的两幅视图的去网格图像，对两台多光谱相机进行标定，获得两台多光谱相机的内参数以及基于镀膜式多光谱相机的立体视觉系统的外参数；步骤d、进行基于白板的辐射度定标，得到两台多光谱相机的各个谱段的相对辐射系数。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：张耿，冯向朋，王爽，胡炳樑，卫翠玉，冯花卉，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西,61