基于主动式双目立体视觉的测量方法及RGBD相机系统技术方案

本发明专利技术属于传感器技术领域，提供了一种基于主动式双目立体视觉的测量方法及RGBD相机系统。该系统包括前端成像子系统和FPGA计算子系统，前端成像子系统包括红外双目成像单元和彩色图像成像单元，FPGA计算子系统包括三目同步单元、数据采集单元、矫正单元、立体匹配单元和配准单元，红外双目成像单元和彩色图像成像单元均与三目同步单元连接，红外双目成像单元和彩色图像成像单元还均与数据采集单元连接，数据采集单元、矫正单元、立体匹配单元和配准单元依次连接。本发明专利技术基于主动式双目立体视觉的测量方法及RGBD相机系统，能够在弱纹理、暗光环境下，实时进行中高精度的三维环境深度感知，实现RGBD相机系统。

Measurement method and RGBD camera system based on active binocular stereo vision

The invention belongs to the field of sensor technology, and provides a measuring method based on active binocular stereo vision and a RGBD camera system. The system includes a front-end imaging subsystem and FPGA computing subsystem, front-end imaging system includes infrared binocular imaging unit and color image forming unit, FPGA computing subsystem includes three synchronization unit, data acquisition unit, correction unit, stereo matching unit and a registration unit, infrared binocular imaging unit and color image forming units are connected with three synchronous unit, infrared binocular imaging unit and color image forming unit is connected with the data acquisition unit, data acquisition unit, correction unit, stereo matching unit and a registration unit which are connected in sequence. The method of the invention of the binocular stereo vision measurement system based on camera and RGBD, can be in weak texture, dark environment, 3D environment depth perception with high accuracy in real time, the realization of RGBD camera system.

【技术实现步骤摘要】
基于主动式双目立体视觉的测量方法及RGBD相机系统
本专利技术涉及传感器
，具体涉及一种基于主动式双目立体视觉的测量方法及RGBD相机系统。
技术介绍
目前，3D传感器主要包含被动3D测量和主动3D测量两种。被动式三维感知技术主要为被动式双目立体视觉成像技术，该方案需要一对相机同时采集场景图像，通过复杂的匹配算法对比左右图像，恢复出视差信息，基于视差信息和三角测量原理，最终得到3D信息。但是，现有的被动式双目系统主要存在几个方面的问题：第一，运算平台的复杂性：目前的双目立体视觉系统的常见方案分为两种：其一为双目相机+高性能PC方式；其二为双目相机+高性能GPU方式；主要原因在于双目立体视觉涉及到的匹配算法的复杂度很高，因此需要性能强大的运算单元，成本高，难以小型化，运算单元的动态负载使得实时性有限，很难保证一致的实时性。第二，环境的适应性：目前的双目系统双目立体匹配部分对于成像场景的要求比较高，由于低光和弱纹理区域不具有丰富的纹理信息，因此该类系统没有较好的表现。而主动式三维感知技术还有基于结构光的三维感知技术、飞行时间法(TimeofFlight，ToF)三维感知技术。其中，结构光三维感知技术又细分为基于空间编码结构光的三维感知技术和基于时间编码结构光的三维感知技术。空间编码结构光技术通过光学系统向场景发射出具有编码信息的图案，通过图像传感器采集图像并对图像进行解码，解码信息将采集图像和发射信息进行精确匹配从而计算出空间三维结构。时间编码结构光技术通过光学系统连续发射一系列的具有周期性的条纹图案，通过图像传感器采集序列图像，对序列条纹图像求解相位信息，根据唯一性相位信息解算出空间三维结构。飞行时间法通过硬件控制使发光元器件发射出脉冲式或者光强周期性变化的光束，光电转换设备，如图像传感器，采集脉冲式光强信号或者周期性光强信号，通过计算脉冲信号的发射和反射信号的时间差，或者周期性光学信号的相位差来计算空间物体与发射器间的距离，从而构建空间三维结构。但是，对于空间编码结构光系统方案，其工作范围有限：空间编码结构光系统利用光学投射系统向场景中投射具有编码信息的纹理图案，相机采集到图像后，对图像进行唯一性解码，从而得到高精度的三维模型。但是，该系统对于工作距离具有较高的要求，在特定环境对系统进行标定后，该系统只能在一定的空间距离内工作，对于超出有效工作距离的部分，由于不能够有效解码，所以无法测得有效的距离。对于时间编码结构光方案，存在如下问题：第一，实时性难以达到：时间编码结构光方案需要投射多张不同编码图案到场景中，并同时解算多帧图案才能够得到一帧深度信息。因此该方案难以达到较高的帧率与实时性。第二，有效工作距离较短：时间编码结构光只能重构较小的三维空间，因为空间越大，物体离发射器越远，编码信息容易畸变，无法准确解码出有效信息，最终无法准确测量。对于ToF系统方案，其环境适应性差：该方案是完全依赖于投射的编码光的飞行时间来求解深度信息，如果环境中和编码光处在同一波段的光较强，会直接影响到测量的最终精度，因此环境的适应性较差。另外，在相机所采集的彩色图像中，每个彩色像素点只包括红(Red，R)、绿(Green，G)、蓝(Blue，B)三种颜色属性，不包括三维空间的深度信息(Depth，D)，无法将彩色信息和深度信息一一对应，不能实现彩色信息与深度信息匹配输出。在弱纹理、暗光环境下，如何实时进行中高精度的三维环境深度感知，实现RGBD相机系统，提高系统实时性，降低时延，是本领域技术人员亟需解决的问题。
技术实现思路
针对现有技术中的缺陷，本专利技术提供了一种基于主动式双目立体视觉的测量方法及RGBD相机系统，能够在弱纹理、暗光环境下，实时进行中高精度的三维环境深度感知，实现RGBD相机系统，提高系统实时性，降低时延。第一方面，本专利技术提供一种基于主动式双目立体视觉的测量方法，该方法包括：同时对目标场景中的红外光和可见光进行成像，分别形成红外图像和彩色图像；对红外图像和彩色图像进行矫正；将矫正后的红外图像进行立体匹配，生成视差图；将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。进一步地，对目标场景中的红外光和可见光进行成像之前，该方法还包括：向目标场景中照射处于红外波段的纹理图案。基于上述任意基于主动式双目立体视觉的测量方法实施例，进一步地，将矫正后的红外图像进行立体匹配，生成视差图，具体包括：对矫正后的红外图像进行噪声抑制和纹理增强处理，红外图像包括左图像和右图像；遍历左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，左图像中特定区域是根据预置参数确定的区域；对每个像素点的匹配代价进行去噪处理；根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值；检测每个像素点与匹配点的匹配度，滤除误匹配点的视差值，将匹配度检验合格的视差值构建视差图。进一步地，遍历左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，具体包括：针对左图像中特定区域中任意一个像素点pl，以像素点pl为中心，建立邻域像素区间；根据像素点pl的位置坐标，在右图像中，确定相同位置坐标的像素点pr，并以像素点pr为中心，建立邻域像素区间；根据像素点pl的邻域像素区间和像素点pr的邻域像素区间，确定匹配代价算法；在右图像中，将像素点pr向指定方向偏移i个像素点的距离，采用匹配代价算法，计算相应的代价值Ci，其中，i＝0,1,2,…,m-1，m为预置参数；根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值，具体包括：针对左图像中特定区域中任意一个像素点pl，在去噪处理后的m个代价值中进行查找，确定最小的代价值；将最小代价值所对应的像素点p'r，作为像素点pl在右图像中的匹配点；计算像素点pl和匹配点p'r在水平像素位置的差值，以作为该像素点pl的视差值d。基于上述任意基于主动式双目立体视觉的测量方法实施例，进一步地，将视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值，具体包括：根据标定的相机参数，将视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标；根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系；将RGB相机坐标系下的三维点坐标进行平面投影变换，计算在彩色图像上的坐标位置，确定配准的彩色像素点，并将RGB相机坐标系下三维点坐标的z轴坐标，作为该配准的彩色像素点的深度值。进一步地，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系之前，该方法还包括：计算指定相机坐标系与RGB相机坐标系的空间位置关系，获取旋转变换量和平移变换量。进一步地，根据标定的相机参数，将视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标，具体包括：根据双目三角法则，将视差图中任意一个像素点坐标P0(u0,v0)，通过如下公式，转换为左相机坐标系下的三维点坐标Pl(x,y,z)，z＝fb/dx＝zu0/fy＝zv0/f其中，d表示视差图中像素点P0(u0,v0)的视差值，f表示相机参数中的焦距，b表示相机参数中的基线，u0表示视差图中像素点P0的横轴坐标，v0表示视差图中像素点P0的纵轴坐本文档来自技高网...

【技术保护点】
一种基于主动式双目立体视觉的测量方法，其特征在于，包括：同时对目标场景中的红外光和可见光进行成像，分别形成红外图像和彩色图像；对所述红外图像和所述彩色图像进行矫正；将矫正后的红外图像进行立体匹配，生成视差图；将所述视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。

【技术特征摘要】
1.一种基于主动式双目立体视觉的测量方法，其特征在于，包括：同时对目标场景中的红外光和可见光进行成像，分别形成红外图像和彩色图像；对所述红外图像和所述彩色图像进行矫正；将矫正后的红外图像进行立体匹配，生成视差图；将所述视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值。2.根据权利要求1所述基于主动式双目立体视觉的测量方法，其特征在于，对目标场景中的红外光和可见光进行成像之前，该方法还包括：向所述目标场景中照射处于红外波段的纹理图案。3.根据权利要求1所述基于主动式双目立体视觉的测量方法，其特征在于，将矫正后的红外图像进行立体匹配，生成视差图，具体包括：对矫正后的红外图像进行噪声抑制和纹理增强处理，所述红外图像包括左图像和右图像；遍历所述左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，所述左图像中特定区域是根据预置参数确定的区域；对每个像素点的匹配代价进行去噪处理；根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值；检测每个像素点与匹配点的匹配度，滤除误匹配点的视差值，将匹配度检验合格的视差值构建视差图。4.根据权利要求3所述基于主动式双目立体视觉的测量方法，其特征在于，遍历左图像中特定区域的像素点，进行代价计算，确定每个像素点的匹配代价，具体包括：针对所述左图像中特定区域中任意一个像素点pl，以所述像素点pl为中心，建立邻域像素区间；根据所述像素点pl的位置坐标，在所述右图像中，确定相同位置坐标的像素点pr，并以所述像素点pr为中心，建立邻域像素区间；根据像素点pl的邻域像素区间和像素点pr的邻域像素区间，确定匹配代价算法；在右图像中，将像素点pr向指定方向偏移i个像素点的距离，采用匹配代价算法，计算相应的代价值Ci，其中，i＝0,1,2,…,m-1，m为预置参数；根据去噪后的匹配代价，确定左图像中每个像素点在右图像中的匹配点，并计算每个像素点的视差值，具体包括：针对所述左图像中特定区域中任意一个像素点pl，在去噪处理后的m个代价值中进行查找，确定最小的代价值；将最小代价值所对应的像素点p'r，作为像素点pl在右图像中的匹配点；计算所述像素点pl和匹配点p'r在水平像素位置的差值，以作为该像素点pl的视差值d。5.根据权利要求1所述基于主动式双目立体视觉的测量方法，其特征在于，将所述视差图与矫正后的彩色图像进行配准，确定每个彩色像素点的深度值，具体包括：根据标定的相机参数，将所述视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点坐标；根据预获取的旋转变换量或平移变换量，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系；将RGB相机坐标系下的三维点坐标进行平面投影变换，计算在彩色图像上的坐标位置，确定配准的彩色像素点，并将RGB相机坐标系下三维点坐标的z轴坐标，作为该配准的彩色像素点的深度值。6.根据权利要求5所述基于主动式双目立体视觉的测量方法，其特征在于，将指定相机坐标系下的三维点坐标转换到RGB相机坐标系之前，该方法还包括：计算所述指定相机坐标系与RGB相机坐标系的空间位置关系，获取旋转变换量和平移变换量。7.根据权利要求5所述基于主动式双目立体视觉的测量方法，其特征在于，根据标定的相机参数，将所述视差图中任意一个像素点坐标，转换为指定相机坐标系下的三维点...

【专利技术属性】
技术研发人员：尹炜，孙海洋，刘中原，张建，罗云，吴超，窦仁银，李嘉俊，
申请(专利权)人：人加智能机器人技术北京有限公司，
类型：发明
国别省市：北京,11