一种基于低成本RGB-D传感器的实时室内三维重建方法技术

本发明专利技术涉及一种基于低成本RGB‑D传感器的实时室内三维重建方法，首先构建一系列面元的无序列表用于表示重建的三维场景；根据时间阈值将重建模型分为活动模型和非活动模型；由RGB‑D传感器获取室内场景的深度图像和彩色图像，通过帧到模型的几何追踪和光度追踪的联合优化来获得最新帧的传感器位姿估计，从而完成室内场景的初步三维重建；为每一帧点云数据构建变形图，优化变形图来提高单帧模型表面的配准精度，进而进一步提高整体三维重建精度；最后，当传感器重新访问已重建区域时，通过构建相对约束集将活动模型和非活动模型进行强对齐的方法完成局部回环检测，最终得到完整、准确、高精度的室内场景三维模型。

【技术实现步骤摘要】
一种基于低成本RGB-D传感器的实时室内三维重建方法
本专利技术涉及室内场景的实时三维重建
，特别是一种基于低成本RGB-D传感器的实时室内三维重建方法。
技术介绍
三维重建技术一直是计算机图形学和计算机视觉领域的一个热点课题，早期的三维重建技术通常以二维图像作为输入，重建出场景中的三维模型，但是，受限于输入的数据信息不够丰富，重建出的三维模型通常不够完整、精度较低且真实感差。随后，出现使用激光、雷达等测距传感器或结构光技术来实现场景的三维重建，但由于这些设备价格昂贵且使用不便捷，所以应用场合受限。随着各种消费级RGB-D传感器的出现，基于RGB-D传感器的三维扫描和重建技术飞速发展，以微软的Kinect、华硕的Xtion以及因特尔的RealSenced等为代表的RGB-D传感器因造价低廉、体积适当、操作方便且易于开发，使纯视觉进行三维重建的研究受到越来越多人的关注。Newcombe等人提出的开创性三维重建方法KinectFusion，能够使用单个Kinect进行实时三维重建，它利用GPU的并行功能实时运行，并能够重建桌子、办公室隔间等小空间和物品，使用Curless和Levo本文档来自技高网...

【技术保护点】
1.一种基于低成本RGB‑D传感器的实时室内三维重建方法，其特征在于：包括以下步骤：步骤S1：构建一个面元M的无序列表，来表示三维重建的场景；步骤S2：定义一个时间窗口阈值δt，将步骤S1中构建的面元M分为活动模型和非活动模型，只有标记为活动模型的面元才能够用于传感器位姿估计和点云地图的融合；步骤S3：由RGB‑D传感器获取室内场景的深度图像和彩色图像，通过帧到模型的几何追踪和光度追踪的联合优化，得到最新帧的传感器位姿估计，完成初步三维重建；步骤S4：为步骤S3获得的每一帧点云数据构建变形图，将变形图应用于当前帧的面元M中，优化变形图后使用非刚性变形，使每一帧面元模型表面精确配准，以提高整体三...

【技术特征摘要】
1.一种基于低成本RGB-D传感器的实时室内三维重建方法，其特征在于：包括以下步骤：步骤S1：构建一个面元M的无序列表，来表示三维重建的场景；步骤S2：定义一个时间窗口阈值δt，将步骤S1中构建的面元M分为活动模型和非活动模型，只有标记为活动模型的面元才能够用于传感器位姿估计和点云地图的融合；步骤S3：由RGB-D传感器获取室内场景的深度图像和彩色图像，通过帧到模型的几何追踪和光度追踪的联合优化，得到最新帧的传感器位姿估计，完成初步三维重建；步骤S4：为步骤S3获得的每一帧点云数据构建变形图，将变形图应用于当前帧的面元M中，优化变形图后使用非刚性变形，使每一帧面元模型表面精确配准，以提高整体三维重建精度；步骤S5：当传感器重新扫过已重建区域时，将非活动区域激活为活动区域，使重建地图的活动模型与非活动模型进行强对齐，进一步估计当前帧传感器位姿和点云地图融合，确保重建地图的局部表面一致性，最终完成室内环境的实时三维重建。2.根据权利要求1所述的一种基于低成本RGB-D传感器的实时室内三维重建方法，其特征在于：所述步骤S1具体包括以下步骤：步骤S11：每一个面元M具有以下属性：位置p∈R3,法线n∈R3,颜色c∈N,权重w∈R,半径r∈R，初始化时间戳t0，更新时间戳t；其中每个面元半径表示为：式中，d是点云深度，f是深度传感器的焦距，nz是输入的深度图像通过中心差异计算得到的点云法线的z分量；其中，权重w的初始化值为其中γ是距传感器中心的归一化径向深度测量值，σ＝0.6；步骤S12：每个面元M参数的更新规则如下：其中，上标符号'表示在实时原始深度图配准后给面元的新测量值；帽符号^表示面元的更新值。3.根据权利要求1所述的一种基于低成本RGB-D传感器的实时室内三维重建方法，其特征在于：所述步骤S2具体为：步骤S21：在当前时间下，计算每个面元M距上次更新参数的时间差Δt，其中，Δt＝tcur-tlast；式中，tcur为当前时刻，tlast为面元M上一更新时刻；若Δt≤δt，则认为面元M为活动模型；若Δt＞δt，则认为面元M为非活动模型。4.根据权利要求1所述的一种基于低成本RGB-D传感器的实时室内三维重建方法，其特征在于：所述步骤S3具体包括以下步骤：步骤S31：定义给定深度图D的像素点u∈Ω的重投影p(u,D)＝K-1μd(u),其中μ是像素u的同质化，K是传感器的固有矩阵；定义给定彩色图像C的像素点u∈Ω的光度值为I(u,C)＝C(u)Ti，其中i＝[0.114,0.299,0.587]T，所有传感器位姿的变换矩阵表示为：式中，旋转矩阵Rt∈SO3和位移向量tt∈R3；步骤S32：几何位姿估计：在当前帧的深度图像和上一帧的预测活动模型深度图像之间，找到最优运动参数ζ，使点云的重投影误差的能量函数最小化，其中点云的重投影误差的能量函数为：式中，是中第k个节点的重投影，vk和nk是在t-1时刻传感器坐标系下的节点和法线，T表示从前一时刻传感器位姿到当前位姿的变换矩阵，表示指数映射；步骤S33：光度位姿估计：在当前帧的彩色图像和上一帧的预测活动模型彩色图像之间，找到最优运动参数ζ，使像素之间的光度误差的能量函数最小化，其中所述像素之间的光度误差的能量函数为：式中，T表示从前一时刻传感器位姿到当前位姿的变换矩阵，表示指数映射；步骤S34：联合优化：最小化联合能量函数：Etracking＝Eicp+wrgbErgb；式中，wrgb＝0.1；其中采用高斯-牛顿非线性最小二乘法和三级粗-细金字塔方法来最小化联合能量函数，为了解决每次迭代，计算最小...

【专利技术属性】
技术研发人员：张立伟，陈缘，谢树泷，周文志，王杰，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35