一种基于RGB‑D设备采集的彩色图像和深度图像的配准方法技术

本发明专利技术涉及一种基于RGB‑D设备采集的彩色图像和深度图像的配准方法，使用规则镂空的校正板，利用校正板提供的规则性约束，提取彩色图像和深度图像角点，并且利用深度角点对深度相机的偏移模型建模。彩色角点和深度角点分别用来获取彩色相机和深度相机的相机内参以及两个相机之间的相对位置关系。最终，结合偏移模型及相机内参和相对位置关系精确的配准RGB‑D设备采集的彩色图像和深度图像。所得结果可作为输入数据应用于更高级的计算机视觉、增强现实任务中。

A registration method of color image and depth image RGB equipment acquisition based on D

The invention relates to a method of color image and depth image registration RGB D acquisition equipment based on the calibration board using rules hollow, constraint rules by using the calibration board to provide the extraction of color image and the depth image corner, and use the model of corner depth migration depth camera. The relative position between the color and depth of corner corner were used to obtain the color camera and a depth camera camera internal parameters of two cameras. Finally, combined with the registration of RGB D equipment acquisition of the color image and the depth image offset model and camera internal parameters and relative position precision. The results can be used as input data in more advanced computer vision and augmented reality tasks.

【技术实现步骤摘要】
一种基于RGB-D设备采集的彩色图像和深度图像的配准方法
本专利技术涉及一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，属于计算机视觉

技术介绍
RGB-D设备采集的彩色图像和深度图像配准是计算机视觉中的一个基础和重要问题，配准需要确定RGB-D设备中彩色相机和深度相机的相机内参和畸变参数、两者的相对位置关系以及深度相机的偏移模型。准确地配准RGB-D设备采集的彩色深度图像可以有效的辅助其他应用，如增强现实、机器人导航、三维重建、SLAM等。目前，RGB-D设备的配准主要分为三类：一类是利用RGB-D设备的制造商提供的缺省参数配准彩色和深度图像，如Kinect等；第二类是基于角点提取的方法计算配准参数；第三类是利用角点共面的特性提供约束，计算配准参数。第一类方法中，有些RGB-D设备，如Kinect等，提供了缺省的校正参数，这些参数存储于其设备的内存中，可以实时的配准RGB-D设备采集的场景彩色和深度信息。第二类方法中，很多方法使用基于角点提取的策略配准RGB-D设备采集的彩色和深度信息。为了配准RGB-D设备，传统的方法首先提取彩色和深度角点，然后分别计算彩色相本文档来自技高网...

【技术保护点】
一种基于RGB‑D设备采集的彩色图像和深度图像的配准方法，所述RGB‑D设备包括一组彩色相机、深度相机对，其特征在于，包括步骤如下：(1)利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，所述深度图像角点包括深度理论角点和深度实际角点，深度理论角点是指在不受噪声及深度相机偏移影响下的深度图像角点的理论位置，深度实际角点是指在噪声及深度相机偏移影响下的深度图像角点的观测位置；(2)利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc，利用深度理论角点求解深度相机内参Kd；(3)以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角...

【技术特征摘要】
1.一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，所述RGB-D设备包括一组彩色相机、深度相机对，其特征在于，包括步骤如下：(1)利用规则镂空校正板提供的有效约束，准确提取彩色图像角点和深度图像角点，所述深度图像角点包括深度理论角点和深度实际角点，深度理论角点是指在不受噪声及深度相机偏移影响下的深度图像角点的理论位置，深度实际角点是指在噪声及深度相机偏移影响下的深度图像角点的观测位置；(2)利用彩色图像角点求解彩色相机内参Kc、畸变参数Dc，利用深度理论角点求解深度相机内参Kd；(3)以彩色图像角点、深度理论角点、彩色相机内参Kc、深度相机内参Kd作为输入，利用彩色图像角点和深度理论角点的一一对应关系建立目标函数，求解彩色相机和深度相机在三维空间中的位置关系(R,t)；R为3×3的矩阵，表示彩色相机和深度相机之间的旋转关系，t为3×1的矩阵，表示彩色相机和深度相机之间的平移关系；根据RGB-D设备的有效探测距离，等间距均匀的选取不同的距离点，在不同的距离点选取多个正视视角，在每个视角下使用RGB-D设备采集多帧包含规则镂空校正板的彩色图像和深度图像对，使用步骤(1)所述方法提取深度理论角点和深度实际角点，对深度相机的偏移模型F建模；偏移模型F包括F的量值||F||及F的角度ψ(F)，量值||F||包括系统偏移的量值||FS||和随机偏移的量值||Fγ||，||F||＝||FS||+||Fγ||；(4)获取参数模型θ，参数模型θ包括：θ＝{Kc,Dc,Kd,R,t,F}。2.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤(1)，包括步骤如下：a、使用规则镂空的校正板，所述校正板设有m×n个镂空区域，m、n均为整数，m≥5，n≥5，即：校正板上，每行有m个镂空区域，每列有n个镂空区域；使用RGB-D设备在任意视角和任意距离拍摄该校正板，获取若干组原始的包含完整校正板的彩色图像和深度图像对；b、对步骤a获取的原始的包含完整校正板的彩色图像，采用角点检测算法提取彩色图像角点；c、对步骤a获取的原始的包含完整校正板的深度图像，提取每个镂空区域，并计算每个镂空区域的中心点，共获取m*n个镂空区域的中心点；每个镂空区域的中心点对应4个深度理论角点和4个深度实际角点，深度理论角点和深度实际角点一一对应，且数量均为4*m*n个；d、根据步骤c获取的m*n个镂空区域的中心点，在正视视角下存在与m*n个镂空区域的中心点一一对应的m*n个虚拟中心点，所述虚拟中心点不受噪声影响，且规则排列；同时，在正视视角下存在与4*m*n个深度理论角点一一对应的4*m*n个虚拟角点，所述虚拟角点不受噪声影响，且规则排列；e、根据步骤c获取的镂空区域的中心点与步骤d中存在的虚拟中心点，计算单应性矩阵；f、根据步骤e计算得到的单应性矩阵，对单应性矩阵求逆，得到单应性逆矩阵；g、利用步骤f生成的单应性逆矩阵将步骤d生成的每个虚拟角点映射回深度图像空间，得到深度图像中镂空校正板的理论角点，即深度理论角点；h、把步骤g得到的每个镂空区域的4个深度理论角点依次连接，形成网格，将网格的四条网格线分别平移至包含完整校正板的每条噪声边界的中心线位置，形成新网格，每个新网格的角点即为深度实际角点。3.根据权利要求1所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述镂空区域为正方形，在所述校正板上，每一行中，若干个镂空区域等间距排列，间距为镂空区域的边长；每一列中，若干个镂空区域等间距排列，间距为镂空区域的边长。4.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤e，计算单应性矩阵H，包括步骤如下：假设是指任一镂空区域的中心点在三维空间的坐标；是指任一镂空区域的中心点对应的虚拟中心点在三维空间的坐标；计算单应性矩阵H，如式(Ⅰ)所示：设定则H通过式(Ⅱ)估计：通过最小二乘法求解单应性矩阵H。5.根据权利要求2所述的一种基于RGB-D设备采集的彩色图像和深度图像的配准方法，其特征在于，所述步骤g，包括步骤如下：假设为与4*m*n个深度理论角点一一对应的4*m*n个虚拟角...

【专利技术属性】
技术研发人员：宋希彬，秦学英，钟凡，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37