基于RGB‑D相机数据的物体及室内小场景恢复与建模方法技术

本发明专利技术的目的在于提供一种基于RGB‑D相机数据的物体及室内小场景恢复与建模方法，概括为:该方法在进行RGB‑D深度数据(点云)配准建模中，将点到面和点到投影的约束条件综合起来应用于RGB‑D相机所获得的序列深度数据(点云)的精确配准，最后得到物体或者小场景的点云模型(.ply格式)，该模型可用于物体的量测及进一步CAD建模。本发明专利技术中的配准方法既考虑了点到投影算法的速度优势，也综合了点到切平面算法的精度优势，克服了传统点云配准方法速度慢、场景精度低的问题，可以快速、准确的找到源点云上某点在目标点云上的对应点，实现多视点云拼接。

RGB D camera data objects and indoor scene modeling method based on recovery and

The purpose of the invention is to provide a RGB D camera data objects and indoor scene recovery and modeling method based on generalized: the method in RGB D depth data (point cloud registration) modeling, sequence depth data will point to the surface and point to the constraint projection together used in RGB D camera acquired (the precise registration of point cloud), and finally get the point cloud model of small objects or scenes (.Ply format), the model can be used for object measurement and further modeling CAD. The registration method of the present invention in both point to the projection speed advantage, but also combines the advantages of precision point to the cutting plane algorithm, overcomes the traditional point cloud registration method speed is slow and the scene of the problem of low accuracy, can quickly and accurately find the source point cloud at a point corresponding to the target point cloud point, realize the multi view point cloud registration.

【技术实现步骤摘要】
基于RGB-D相机数据的物体及室内小场景恢复与建模方法
本专利技术属于摄影测量学与计算机视觉领域，具体涉及一种基于RGB-D相机数据的物体及室内小场景恢复与建模方法。
技术介绍
近年来，三维重建日益成为计算机视觉领域的研究热点和重点，被广泛应用于工业测量、文物古迹保护、逆向工程、电子商务、计算机动画、医疗解剖、显微摄影、虚拟现实等诸多领域。常用的物体与室内建模方法主要是利用激光扫描仪LIDAR获取点云数据进行建模，或者是利用相机获取重叠影像基于双目立体视觉的方法进行建模，前者价格昂贵且仪器操作笨重；而后者数据处理复杂耗时，对光照条件有要求，且对相机也需要特别校正。便携式RGB-D传感器(如Kinect2.0)价格低廉、结构简单、操作方便，能同时获取场景的深度和彩色数据，且深度数据的获取不受环境可见光的干扰。这些优势大大减低了三维建模的难度和成本，使得普通用户也能将日常生活中的物体数字化，连接虚拟与真实世界。在利用RGB-D相机数据进行物体及室内小场景恢复与建模的点云建模中，深度数据(点云)配准是三维物体重建和室内小场景恢复的关键技术，涉及点云初始配准位置的确定和在此基础上的点云精确配本文档来自技高网...

【技术保护点】
一种基于RGB‑D相机数据的物体及室内小场景恢复与建模方法，其特征在于，利用RGB‑D相机对所需建模场景或物体进行连续帧深度数据(点云)获取构成闭环，对获得的数据处理步骤依次如下：①对深度数据(点云)进行双边滤波；②彩色影像特征点检测与图像匹配；③该方法在进行RGB‑D深度数据(点云)配准建模中，将点到面和点到投影的约束条件综合起来，并结合利用刚性运动一致性约束，确定相邻深度数据(点云)间的精确配准参数R、T；④将各相邻深度数据(点云)间的精配准参数应用于RGB‑D相机所获得的各序列深度数据(点云)间的精确配准，得到物体或者小场景的点云模型(.ply格式)，该模型可用于物体的量测及进一步CAD...

【技术特征摘要】
1.一种基于RGB-D相机数据的物体及室内小场景恢复与建模方法，其特征在于，利用RGB-D相机对所需建模场景或物体进行连续帧深度数据(点云)获取构成闭环，对获得的数据处理步骤依次如下：①对深度数据(点云)进行双边滤波；②彩色影像特征点检测与图像匹配；③该方法在进行RGB-D深度数据(点云)配准建模中，将点到面和点到投影的约束条件综合起来，并结合利用刚性运动一致性约束，确定相邻深度数据(点云)间的精确配准参数R、T；④将各相邻深度数据(点云)间的精配准参数应用于RGB-D相机所获得的各序列深度数据(点云)间的精确配准，得到物体或者小场景的点云模型(.ply格式)，该模型可用于物体的量测及进一步CAD建模。2.如权利要求1所述的方法，其特征在于，所述步骤①，对深度数据(点云)进行预处理。采用双边滤波对深度图像降噪平滑的同时保留物体的深度图像上边缘信息，在考虑像素在空间位置距离上的关系的同时，也考虑了像素间的相似程度，以式(1)为双边滤波的计算式:ws＝wg×wh式(1)中，wg为空间域权值由式(1)中的第二式确定，wh为值域权值由式(1)中的第三式确定，(x,y)为待滤波深度图像上的索引值，(i,j)为(x,y)邻域范围内的索引值，δg为空间域的标准差，δh为灰度域的标准差，ws为双边滤波权值。当空间域的标准差δg不变，灰度阈的权值δh逐渐增大的过程中，不同灰度值对应的权值wh都很大，利用深度图像灰度(深度信息)的变化保留边缘信息的作用越来越弱，双边滤波器退化为高斯滤波器；在δh不变，δg逐渐增大的过程中，图像的模糊越来越明显。3.如权利要求2所述的方法，其特征在于，所述双边滤波模板的大小为3×3，空域和值域高斯函数的标准差分别为10、15。4.如权利要求1所述的方法，其特征在于，所述步骤②，采用ORB(ORientedBrief)算法提取彩色影像特征点，采用二进制编码方式描述提取的特征。彩色影像匹配完成后，根据标定得到的彩色镜头与深度镜头之间的相对位姿，实现彩色影像与深度数据对齐，生成场景不同视角下的彩色化点云。5.如权利要求1所述的方法，其特征在于，步骤③中，所述的相邻深度数据(点云)间的精确配准参数，设SP、SQ为RGB-D相机从不同的视点P、Q获得的两帧相邻帧点云数据。RGB-D相机进行点云获取时移动较缓慢，视为相邻帧点云数据间的配准值平移量接近0向量、旋转阵接近E阵，可以利用0、E作为点云配准的初始值。SP、SQ是经过粗略配准的点云参数化的局部表面，p0是SP上一点，是p0点的法向量，qs是过p0点的法线与SQ的交点，过qs做SQ的切平面，qs′为p0点在该切平面的投影。利用p0和qs′作为点云配准参数解算的配准点。点到面的配准方法，关键在求得交点qs：首先利用点到投影求得交点，然后基于求出的交点得到过交点的切平面并进一步确定配准点，对SP点云上的所有点利用上述的方法求得其在SQ上的配准点，得到一候选的匹配点对，再利用刚性运动一致性约束对前面确立的候选匹配点对进行错误点对剔除，最后利用错误点剔除后的配准点对进行SP、SQ两点云的改进ICP精配准，得到精配准参数。过程如下：A.利用back-project法，将待配准的第n帧SP上某一点p0按下一帧第(n+1)帧SQ的视点方向投影得到它的像素坐标pq，计算公式为

【专利技术属性】
技术研发人员：叶勤，姚亚会，林怡，宇洁，叶张林，姜雪芹，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31