一种Kinect与条纹反射法结合的类镜面三维面形测量方法技术

本发明专利技术公开了一种Kinect与条纹反射法结合的类镜面三维面形测量方法，由基于Kinect的三维点云数据获取、条纹反射三维测量两大关键部分组成。本发明专利技术的优点是：（1）与传统条纹反射三维测量方法相比：传统条纹反射三维测量只能测量一些简单的标准面形，而Kinect与条纹反射法结合的类镜面三维面形测量方法则不受待测面形限制，可以测量任意面形的物体；（2）基于Kinect与条纹反射法结合的类镜面三维面形测量方法，通过Kinect对待测物体表面三维形貌点云数据进行采集处理，获取得到物体表面初步三维轮廓信息，将初步三维轮廓信息作为传统条纹反射三维测量中波前重建的迭代基准面，极大的减小了迭代次数，提高三维面形重建速度。

A method for measuring 3D mirror shape of mirror surface combined with Kinect and fringe reflection method

The invention discloses a three-dimensional mirror surface shape measuring method combined with Kinect and fringe reflection method, which consists of two key parts of the three dimensional point cloud data acquisition and the fringe reflection three-dimensional measurement based on the Kinect. The advantages of the invention are: (1) compared with the traditional measurement method of three-dimensional fringe reflection fringe reflection: traditional 3D measurement can only measure simple standard surface shape and 3D specular surface with Kinect and fringe reflection method shape measurement method is not affected by the measured surface limit, can measure arbitrary shape objects; (2) three-dimensional shape measurement for specular surface with Kinect and fringe reflection method based on Kinect, through the acquisition and processing to measure 3D surface point cloud data, get the object surface preliminary three-dimensional contour information, the preliminary 3D profile information as reference wavefront reconstruction iterative traditional fringe reflection in the measurement of 3D surface, great to reduce the number of iterations, improve the 3D surface reconstruction speed.

【技术实现步骤摘要】
一种Kinect与条纹反射法结合的类镜面三维面形测量方法
本专利技术涉及一种Kinect与条纹反射法结合的类镜面三维面形测量方法，尤其涉及基于Kinect的三维点云数据获取原理和条纹反射三维测量方法。
技术介绍
随着工业4.0的提出和实施，制造业智能化、自动化已成为工业发展的大势所趋，对类镜面物体表面形貌高速、高精度的三维数据的获取已迫在眉睫。三维测量方法是支撑智能生产，实现人机互动，3D技术的关键技术之一，是集光、机、电和计算机技术于一体的高新技术，它为智能化生产提供必需的三维数据。国内外针对类镜面物体表面形貌的高速三维测量在理论和应用上做了一系列研究，通常类镜面物体的三维测量方法可分为干涉法和条纹反射法。干涉法通常需要复杂而昂贵的光学器件，一般只能的测量范围较小的类镜面物体，且不能实现动态镜面物体的三维测量。在工程中，特别是在现代制造业中，存在大量类镜面物体需要测量。例如，汽车工业中的喷涂后的车身表面、抛光模具表面，建筑陶瓷行业中的瓷砖表面等均具有类镜面反射性质，类镜面物体三维形貌测量技术具有重要的应用前景。条纹反射法在测量类镜面物体时由于非接触、全场测量、测量速度快和易于信息处理等优点，在三维测量中有重要意义。三维测量实验装置如图1所示，包括平板显示器、CCD相机、计算机、工作站、参考平面和待测物体；平板显示器将带有特征信息的条纹投射到参考平面表面，由CCD相机采集条纹信息，经过工作站处理后得到参考相位。然后将待测物体放在相同位置，经过工作站得到相应的变形光栅像，计算出参考相位，除去参考相位即得到由待测物面畸变引起的相位变化。再将相位信息与CCD光心、入射光线、反射光线等的标定数据综合分析处理，即可获得最终待测类镜面三维面形。2009年微软公司率先推出了Kinect，首次提出了人机互动的理念。华硕公司也紧随其后，推出了Xtion系列体感设备。相较于其它专业深度摄像机，Kinect具有成本低、容易配置等优点，在三维重建领域展现出可观的应用前景。大多数类镜面物体往往具有其特殊性和复杂性，釆用单一测量方法，常常很难达到测量的要求。如传统的条纹反射三维测量方法不仅难以对复杂类镜面物体表面进行三维形貌测量而且对彩色类镜面的测量更是难以实现；而基于Kinect的三维形貌测量方法虽然能够快速获取类镜面物体表面点云数据及颜色信息，但其测量精度相对较低。因此，将二者有效的结合，利用基于Kinect的三维形貌测量方法快速获取面形数据和面形颜色信息，并将获取的待测物体表面形貌点云数据作为条纹反射三维测量方法中波前重建的迭代基准面，恢复三维面形和物体颜色。此法有效地扩大了条纹反射三维测量方法应用范围，而条纹反射三维测量融入又使得本专利所提方法在指定数据精度、密度、处理时间上更具有灵活性和高效性，这为工业类镜面生产和逆向工程等三维模型重建方法提出了新思路。
技术实现思路
本专利技术目的在于提出一种Kinect与条纹反射法结合的三维面形测量方法，该方法相比于传统的正弦条纹投影的三维测量方法，极大地突破了待测类镜面的面形限制，同时也能较好的还原待测物体的颜色信息。本专利技术是这样来实现的，一种Kinect与条纹反射法结合的类镜面三维面形测量方法，特征是包含以下步骤：(1)利用Kinect粗略测量待测物体表面三维轮廓并采集颜色信息，此处测量的粗略面形将作为第二步测量中的迭代初始面形，并作为后期条纹级次判决条件；(2)通过条纹反射法对物体二次测量，获取高精度的三维面形；(3)数据融合处理，即将第一步中Kinect获取颜色信息附加到步骤2中测量获取的高精度三维面形，得到带颜色信息的待测物体三维面形。本专利技术所述步骤(1)具体如下：(1)对Kinect的彩色摄像机和红外摄像机进行标定得出这两个摄像机准确的旋转矩阵与平移矩阵；(2)使用Kinect传感器的RGB摄像机和红外摄像机功能，在基于OpenNI的框架接口下获取待测类镜面物体的RGB图像和深度图像，并根据之前的相机标定结果将采集的深度信息和RGB信息统一到统一坐标系中，对获取的点云数据进行滤波去噪、背景差分法以提取待测物体区域的深度信息和颜色信息；(3)输出处理后较为精确的点云数据，从而完成待测类镜面物体表面形貌的粗略测量，并保存以作为第二步测量中的迭代初始面形，并作为后期条纹级次判决条件。本专利技术所述步骤(2)具体如下：(1)条纹反射三维测量中首先在平板显示器上显示横、纵两个方向的正弦条纹，然后用CCD相机分别记录由待测面和标准面反射的正弦条纹像；(2)通过相移得到各自对应的相位分布，与标准面相位分布相比较得到待测表面相位变化；(3)利用横、纵两个方向的条纹解得所需的相位信息，结合标定即可得到屏幕上亮点的位置、入射光线方向、相机光心位置和反射镜的亮区对应的反射光线方向，并将步骤1中获取物体表面粗略面形结果作为波前重构拟合算法中的迭代基准面，拟合出待测物体表面三维面形。其中，Kinect与条纹反射法结合的三维面形测量方法，由基于Kinect的三维点云数据获取、条纹反射三维测量两大关键部分组成；其中，基于Kinect的三维点云数据获取，首先利用PrimeSense公司的公开专利(US2010/0118123A1-DepthMappingusingProjectedPatterns)对深度相机进行标定，然后用彩色相机获取物体表面的颜色信息，然后通过标定得到的旋转矩阵与平移矩阵，将彩色信息与深度信息整合到同一个坐标系统；进而利用PCL库函数保存完整的物体表面的三维信息；其中，条纹反射三维测量原理，具体是由LCD屏显示预先编码的正弦条纹，CCD相机则记录下待测物体表面的反射像，通过数字相移技术可以计算出相位分布，在预先标定好的系统中，通过条纹解得相位分布即可计算获取所需的入射光线、反射光线和梯度等信息，最后根据波前重建算法完成最终面形的确立。根据远心光路模型，光线偏折示意图如图2所示；在LCD显示屏的黑色屏幕上显示一个亮点A，并将这个亮点照射待测镜面，那么这个亮点经待测镜面反射后会经过CCD相机的光心C，并成像在CCD像面上形成一个亮斑；由反射定律可知，来自屏幕的入射光线的入射角等于回到相机的反射光线的反射角，这两条光线的角平分线与待测镜图像中亮斑对应的镜面反射点的切线垂直，因此通过标定确定屏幕上亮点的位置、相机光心位置、反射镜的亮区对应的反射光线方向和对应入射光线方向，由此可以确定唯一的镜面实际斜率信息，结合Kinect获取的较低精度的完整三维面形，将其作为迭代基准面进行波前重构拟合出待测物体面形。在Prime-Sense公司的专利(US2010/0118123A1-DepthMappingusingProjectedPatterns)上是这样定义该方法的：假定设备前空间1-4m开始每隔0.1m都取一个参考面，总共可以取30副这样的散斑图。当我们需要测量的时候，会拍到一个待测量空间场景的散斑图，和之前所保存的30副参考图按序的进行互相关计算，最终可以得到30张这样的相关度图像。只要空间中有物体出现，在相关度图上就会显示一个峰值。只要把这些峰值按序叠到一块，再通过插值处理后就获得了整个场景的深度。本专利技术的优点是：(1)与传统条纹反射三维测量方法相比：传统条纹反射三维测量只能测量一些简单的标准本文档来自技高网...

【技术保护点】
一种Kinect与条纹反射法结合的类镜面三维面形测量方法，特征是包含以下步骤：（1）利用 Kinect粗略测量待测物体表面三维轮廓并采集颜色信息，此处测量的粗略面形将作为第二步测量中的迭代初始面形，并作为后期条纹级次判决条件；（2）通过条纹反射法对物体二次测量，获取高精度的三维面形；（3）数据融合处理，即将第一步中Kinect获取颜色信息附加到步骤2中测量获取的高精度三维面形，得到带颜色信息的待测物体三维面形。

【技术特征摘要】
1.一种Kinect与条纹反射法结合的类镜面三维面形测量方法，特征是包含以下步骤：（1）利用Kinect粗略测量待测物体表面三维轮廓并采集颜色信息，此处测量的粗略面形将作为第二步测量中的迭代初始面形，并作为后期条纹级次判决条件；（2）通过条纹反射法对物体二次测量，获取高精度的三维面形；（3）数据融合处理，即将第一步中Kinect获取颜色信息附加到步骤2中测量获取的高精度三维面形，得到带颜色信息的待测物体三维面形。2.根据权利要求1所述的一种Kinect与条纹反射法结合的类镜面三维面形测量方法，特征是：所述步骤（1）具体如下：（1）对Kinect的彩色摄像机和红外摄像机进行标定得出这两个摄像机准确的旋转矩阵与平移矩阵；（2）使用Kinect传感器的RGB摄像机和红外摄像机功能，在基于OpenNI的框架接口下获取待测类镜面物体的RGB图像和深度图像，并根据之前的相机标定结果将采集的深度信息和RGB信息统...

【专利技术属性】
技术研发人员：伏燕军，黄超，屈国丽，王福伟，柴明钢，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：江西,36