一种基于Kinect传感器的三维重建方法技术

技术编号:18659421 阅读:30 留言:0更新日期:2018-08-11 15:01
本发明专利技术的目的在于提供一种基于Kinect传感器进行物体的三维重建的方法,其特征在于:通过Kinect传感器来获取目标物体的深度图像信息,采用背景差分点云分割和双边滤波的方法对得到的深度图像进行降噪等处理,最后使用具有尺度不变性和旋转不变性的SURF算法来提取RGB图像的特征点,并改进传统的ICP算法最大限度提高点云配准的速度和质量。本方法在科研及工业生产上具有很大的应用前景。

A 3D reconstruction method based on Kinect sensor

The object of the invention is to provide a method for 3D reconstruction of an object based on a Kinect sensor, which is characterized in that the depth image information of the target object is obtained by a Kinect sensor, and the noise reduction of the obtained depth image is performed by the method of background difference point cloud segmentation and bilateral filtering, etc. Finally, a tool is used. The SURF algorithm with scale invariance and rotation invariance is used to extract the feature points of RGB image, and the traditional ICP algorithm is improved to maximize the speed and quality of point cloud registration. This method has great application prospect in scientific research and industrial production.

【技术实现步骤摘要】
一种基于Kinect传感器的三维重建方法
本专利技术涉及一种利用Kinect传感器获取深度图像,通过对深度图像滤波、目标图像三维点云获取、点云配准等,完成对目标图像的三维重建技术。本专利技术属于计算机视觉领域。
技术介绍
物体三维重建一直是计算机视觉领域最热门的研究方向之一,是机器视觉、图像处理和模式识别等多学科交叉的研究领域,在理论和实际应用中有着举足轻重的意义。物体三维重建是研究如何获取物体在空间中的三维信息并将其信息以适合人眼观察或仪器处理的形式表达。现阶段,物体三维重建技术在多方面得到应用,特别是在科研、考古及工业生产设计等专业领域。目前,物体三维重建的关键点和难点是:如何获取物体的三维数据,在世界坐标系下计算机处理的三维数据中如何与物体实际相对应;在获取物体的三维数据的过程中,如何对由于设备本身以及外界环境因素所产生的噪音进行滤除;以及如何在确保物体三维重建的精确度的条件下,加快重建的速度。随着Kinect传感器的发展,Kinect传感器先进的深度图像获取能力有助于三维重建技术的发展与提高。Kinect传感器主要由深度摄像机和RGB摄像机来获取外界的三维信息。深度摄像机由红外投影机和红外深度摄像机构成。红外投影机主要用于向外界发射均匀的红外线,并在目标上形成红外散斑图像;目标反射得到的散斑图像信息由红外深度摄像机接收,最后得到目标的深度图像。RGB摄像机主要获取实验环境或实验物体的RGB图像信息。Kinect传感器的深度摄像机快速获取物体的深度图像,数据量丰富,实时性好,精确度较高,在科研及工业生产上得到广泛应用。
技术实现思路
本专利技术针对现有物体三维重建技术的不足,提出一种基于Kinect传感器获取物体彩色和深度图像,通过对深度图像滤波并采用点云分割提取目标区域图像,最后提取物体RGB图像特征点利用改进ICP算法对点云图像拼接,从而完成物体三维重建的技术。进一步的,所述Kinect传感器获取物体深度图像是由红外投影机向外界发射均匀的红外线,在物体表面形成红外散斑,物体反射得到的散斑图像信息由红外深度摄像机接收,最后得到目标的深度图像。进一步的,所述对深度图像滤波并进行点云分割是为了获得更为精确的三维点云数据。深度数据不可避免都会有噪音存在,而使用双边滤波的方法可以在滤除噪声的同时,保留深度图像的边缘信息,不对深度图像的轮廓产生畸变。采用的点云分割是背景差分法,通过去除被实验物体得到实验背景的深度图像,以深度图像中各像素点的平均值来建立背景模型。同时设深度图像与背景模型同一像素点的差值为D(x,y),阈值为M,则背景差分表达式为:进一步的,所述提取物体RGB图像特征点是采用具有尺度不变性和旋转不变性的SURF特征检测方法,提取两幅或多幅不同角度下的物体RGB图像的特征点,实现RGB图像的配准。进一步的,所述改进ICP点云配准是在传统ICP算法基础上,将深度图像点云划分成盒子结构并编序。在源数据点集P提取的特征点中选不共线三点Pa、Pb、Pc构建三角形,再找到Pa、Pb在目标点集Q中的最近点Qd、Qe,利用三角形相似找到Pc对应点Qf。重复上述操作直到所有源数据点云与目标数据点云的对应点对关系都被确定。对于每一六元组(Pa、Pb、Pc、Qd、Qe、Qf),定义δadbe为三角形PaPbPc三角形QdQeQf的相似度,其中Pa与Qd匹配,Pb与Qe匹配,则:其中由相似度得到支持度:当δadbe(c,f)为0时,此时Pc与有着最大支持度的Qf相匹配,此时可以确定(Pc,Qf)为真正的对应点对,即有:所有的Pc求和后取平均值,得到(Pa,Qd,Pb,Qe)的初始匹配度量值表示为:以及(Pa,Qd)的初始匹配度量值:进行第r次(r>0)迭代时,(Pc,Qf)对于(Pa,Qd,Pb,Qe)的匹配度量值依赖于Pc,Qf之间的位置差别及其Sr-1(Pc,Qf)的值。为体现出这两个因素之间的相互作用,取二者中的最小值,则有:以及:为避免由于门限的选取不当带来的问题,取预先设定一个极小正数ε为判定阈值(如0.000001),当dr<ε时,迭代终止。与现有技术相比,本专利技术的优点在于:(1)本专利技术采用具有尺度不变性和旋转不变性的SURF(Speed-UpRobustFeatures)算法。该算法是从当前应用较多的SIFT算法中改进而来,SIFT算法只利用图像的灰度值忽视了图像的色彩信息。而SURF算法解决了SIFT算法的计算冗余,图像特征点获取速度更快,同时SURF还保留了SIFT算法不受尺度变化、目标遮挡、空间转换的影响的特点。(2)本专利技术改进了传统ICP算法,提高了配准效率。传统的三维点云配准都是使用ICP迭代最近点算法,该算法实质是最小二乘法的最优匹配算法,是直接对两片点云进行配准,效率低下。而改进后的算法将两片点云数据中对应点的查找加以盒子结构和相似原理下要求支持度达到最大的匹配条件的双重约束,使得对应点的搜索速度大幅度提高,且出现错误匹配的概率很小。附图说明图1为Kinect传感器获取深度信息流程图;图2为深度图像计算原理图;图3为背景差分法原理图;图4为基于SURF算法的特征向量生成图;图5为整个三维重建操作流程图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细说明。图1为Kinect传感器获取深度信息流程图。首先由红外线发射器发射出红外线,红外线打在被测物体上会产生激光散斑,激光散斑反射信息被红外摄像机读取,从而计算得到重建物体的深度信息。深度信息的解码与运算由以色列的PrimeSense公司生产的PS1080芯片完成。图2为深度图像计算原理图。红外摄像机拍摄z0处参考面上的激光散斑得到参考图像,如果物体与参考面的距离不同,参考图像上的激光散斑位置会发生偏移d,利用Kinect传感器的图像相关程序,根据偏移量d可以生成深度图像。假设物体k在目标面上,b为红外发射器L和红外相机C之间的基线长度,f为红外相机焦距,d为测量得到的偏移量,z0为计算深度图像的参考距离。为了计算目标以mm为单位的深度zk,目标物体k和参考点o之间的距离为D,则有:并且:根据上述两个公式可以得到偏移量到mm单位的深度值的变换方程:图3为本专利技术为得到重建物体深度图像所采用的背景差分法原理图。首先获得一个背景模型,然后用目标图像减去背景模型,若像素点差值的绝对值大于设定的阈值,则可将此像素点判别为运动目标像素点,否则属于背景像素点。将多角度的目标深度图像与背景模型对比后,最终得到目标的全部深度信息。从物体以及环境的复杂度来考虑,可将背景建模分为单模态及多模态两种模式。在环境较为简单的情况下,采用单模态可以提高目标图像分割的准确性。图4为基于SURF算法的特征向量生成图。为确保特征点的旋转不变性,先以特征点为中心,以6s为半径的邻域内的所有点在x,y方向求取边长4sHaar小波变换,并赋予这些邻域特征点高斯权重系数;然后将每60°的范围内的响应叠加以形成新的矢量,以此步骤遍历整个圆形区域,将最长矢量的方向定位该特征点的主方向。重复此步骤从而得到每个特征点的主方向。分配好特征点的方向后,将坐标轴旋转至主方向,沿主方向重建20s×20s大小的图像区域,将该图像区域沿主方向将其划分为4×4的子区域,本文档来自技高网...

【技术保护点】
1.一种基于Kinect传感器来对目标物体进行三维重建的方法,其特征在于:利用Kinect传感器来获取目标物体的深度图像,对所得的深度图像进行滤波和三维点云分割获取、点云配准等,完成对目标物体的三维重建技术。

【技术特征摘要】
1.一种基于Kinect传感器来对目标物体进行三维重建的方法,其特征在于:利用Kinect传感器来获取目标物体的深度图像,对所得的深度图像进行滤波和三维点云分割获取、点云配准等,完成对目标物体的三维重建技术。2.根据权利要求1所述的利用Kinect传感器来获取目标物体深度图像的方法,其特征在于:Kinect传感器中的红外线发射器发生出红外线,红外线打在被测物体上会产生激光散斑,激光散斑反射信息被红外摄像机读取,从而计算得到重建物体的深度信息。3.根据权利要求1所述的对深度图像进行滤波和三维点云分割获取,其特征在于:Kinect传感器获得的深度数据都会有噪声存在,首先通过点云分割的方法得到初始的三维点云数据,为了获得更为精确的三维点云数据,要对深度数据进...

【专利技术属性】
技术研发人员:陈亮刘泽森金尚忠杨凯石岩邹细勇张淑琴
申请(专利权)人:中国计量大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1