一种基于噪声点云的场景重建方法技术

本发明专利技术提供了一种基于深度相机的场景建模方法，属于图像处理技术领域，使用基于噪声点云的方法来表达模型，并构建包含噪声的位姿估计以及模型聚合方法，提高模型建模质量，提高环境感知的能力。本发明专利技术根据深度相机获取深度图数据，基于采用带概率的噪声点云模型，设计相应的位姿计算和聚合算法，减少噪声数据影响，从而可以提升模型质量和位姿准确性，得到更好的建模效果。

A method of scene reconstruction based on noise point cloud

【技术实现步骤摘要】
一种基于噪声点云的场景重建方法
本专利技术属于图像处理
，涉及一种基于深度相机的场景建模方法。
技术介绍
随着Kinect的出现，廉价的深度相机变得触手可及，使得基于深度相机的三维重建算法的广泛运用成为可能。基于深度相机，Newcombe利用TSDF三维模型表示方法，提出KinectFusion算法。TSDF是一种非参数化的模型表示方法，使用空间中点到平面的距离函数和权重函数表示整个模型，对于点云融合，TSDF算法使用位姿将点云进行注册，通过加权算法对函数进行更新，由于加权函数的引入，TSDF算法对于数据噪声有一定程度上的鲁棒性。有学者针对TSDF模型重建算法精度和广度不可兼得，且不适用动态场景重建的问题，提出了一种基于面片模型的重建方法，直接使用输入的深度图进行重建，避免了TSDF算法中模型转换的过程，同时使用标准图形管线处理位姿估计、杂点去除、模型聚合等关键步骤，提高了重建的效率。在近几年，基于点云的模型表示方法逐渐流行起来。相对于TSDF模型表示方法，点云模型占用空间更小，对噪声的表达能力更强，预处理步骤耗时更短。<本文档来自技高网...

【技术保护点】
1.一种基于噪声点云模型的三维重建方法，其特征在于，包括以下步骤：/nS1、确定噪声点云模型的表达方法；考虑深度图的两方面噪声：表面采样噪声和测量噪声；/nS2、在通过深度相机获取深度图数据后，先对深度图进行预处理；/n1)将深度图像素，通过两次降采样，再得到两种像素的图像，共构成三级像素图像；/n2)通过深度图计算得到点云图；/n3)求得点云图中每个点的法向量/n4)不考虑深度图中的噪声数据，求出每张深度图的位姿，该位姿为粗略位姿，作为第5)步协方差矩阵的计算提供输入；/n5)根据每张深度图的粗略位姿求出表面采样噪声和测量噪声对应的协方差矩阵；/nS3、然后利用预处理结果进行全局位姿估计，得...

【技术特征摘要】
1.一种基于噪声点云模型的三维重建方法，其特征在于，包括以下步骤：
S1、确定噪声点云模型的表达方法；考虑深度图的两方面噪声：表面采样噪声和测量噪声；
S2、在通过深度相机获取深度图数据后，先对深度图进行预处理；
1)将深度图像素，通过两次降采样，再得到两种像素的图像，共构成三级像素图像；
2)通过深度图计算得到点云图；
3)求得点云图中每个点的法向量
4)不考虑深度图中的噪声数据，求出每张深度图的位姿，该位姿为粗略位姿，作为第5)步协方差矩阵的计算提供输入；
5)根据每张深度图的粗略位姿求出表面采样噪声和测量噪声对应的协方差矩阵；
S3、然后利用预处理结果进行全局位姿估计，得到点云数据；
输入连续的两帧深度图，记对应的点云为Vs和Vt，得到Vs、Vt之间的对应关系；即到Vs到Vt的变换矩阵T；求出第i帧和i-1帧之间的变换矩阵；得到帧与帧之间的位姿关系；
S4、最终基于点云数据，设计点云聚合算法将多个注册后的点云融合的点云，生成建模模型；
采用哈希表记录帧坐标和模型中点索引的对应关系，根据在位姿估计算法中得到的当前帧和上一帧之间点的对应关系，求得当前帧和当前模型的对应关系。


2.一种基于噪声点云模型的三维重建方法，其特征在于，步骤如下
S1、确定噪声点云模型的表达方法；考虑深度图的两方面噪声：表面采样噪声和测量噪声；
使用正态分布模拟表面采样噪声，令pk表示测量到的点，μk表示真实点，pk，μk∈R3，则pk满足正态分布表示邻近点的协方差矩阵；
通过相机投影得到深度图，对于深度图中的每个像素，表示为三维向量(u，v，d)T，u、v为像素坐标，d为深度，深度图测量数据的协方差矩阵为
u、v、d的加上下标σ2分别表示u、v和d数据的方差；
则对于测量误差，pk满足正态分布三维点的协方差矩阵如公式3所示：
其中：






fx、fy分别表示x、y方向上缩放与相机焦距的乘积，ux、uy分别表示像素在x、y轴方向的平移量；
测量点pk同时受表面采样噪声和测量噪声影响，使用混合高斯分布描述，如公式4所示：



S2.深度图预处理
在进行位姿估计前，对深度图进行预处理
1)将深度图像素，通过两次降采样，再得到两种像素的图像，共构成三级像素图像；
2)通过深度图计算得到点云图
根据深度图中像素坐标，求得对应点云图中像素的值；
3)求得点云图中每个点的法向量
对点云的每个点处得到拟合平面，求拟合平面法向量，即为该点处的法向量；
4)不考虑深度图中的噪声数据，求出每张深度图的位姿，该位姿为粗略位姿，作为第5)步协方差矩阵的计算提供输入；
5)协方差矩阵的计算：指求出表面采样噪声和测量噪声对应的协方差矩阵
根据每张深度图的粗略位姿求出表面采样噪声和测量噪声对应的协方差矩阵；
S3.基于噪声点云模型的全局位姿估计
1)输入连续的两帧深度图，记对应的点云为Vs和Vt，得到Vs、Vt之间的对应关系；即到Vs到Vt的变换矩阵T；
11)对于Vs中的点ps，Vt中离ps最近的点pt，为相应的对应点；设Vs到Vt的变换矩阵为T，其中旋转部分为R，平移部分为t，则对应点之间的误差，为公式5所示；
Δp＝Rps+t-pt(公式5)
12)使用误差协方差矩阵作为能量函数的权重；
ps的表面采样噪声的协方差矩和测量噪声的协方差矩分别为和pt的表面采样噪声的协方差矩和测量噪声的协方差矩分别为和对误差Δp的协方差矩阵进行近似处理，结果如公式6所示；



求出误差和误差协方差矩阵后，使用误差协方差矩阵的逆矩阵作为能量函数的权重，得到马氏距离，结果如公式7所示；
E＝(Δp)T∑-1(Δp)(公式7)
13)使用高斯牛顿法最小化马氏距离求得变换矩阵；
具体为：引入3维向量令旋转矩阵其中为旋转矩阵的初始值，的初始值为0；
令Δp(T)＝e(x+Δx)，其中x为变换矩阵T的初始值，步长为6维向量，Δt为平移量；在x处对Δp进行线性展开得到：
Δp＝e(x)+JΔx(公式8)
其中J为雅各比矩阵(公式2中的Jf)，将e(x)简记为e，把公式8带入公式7，得到：
Ek＝ck+2bkΔx+ΔcTHkΔx(公式9)
其中ck＝eT∑-1e，bk＝eT∑-1J，Hk＝JT∑-1J，k表示点云Vs...

【专利技术属性】
技术研发人员：张健，李新乐，陈宇翔，张杨，王仁，赵晓燕，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：北京;11