一种基于曼哈顿假设的场景重建方法技术

本发明专利技术公开一种基于曼哈顿假设的场景重建方法。该方法基于曼哈顿假设的方案给出了精确的运动估计；首先估计记录帧的所有3D点的法线方向；然后通过PCA估计出三个主要正交平面的法向量方向。由于是通过所有深度点来估计平面的法向量，随机噪声被极大的滤除，使得估计的法向量十分准确；通过每个像素点在三维坐标中的位置进一步确定主平面坐标；最后，通过由平面坐标和法向量获取的变换矩阵来估计相机的姿态，并利用每一帧图像的相机姿态拼接出场景三维模型。由于本发明专利技术的平面信息是由大量点计算得到，因此比只有单个点的特征点方法更具有鲁棒性。

A scene reconstruction method based on Manhattan hypothesis

The invention discloses a scene reconstruction method based on the Manhattan hypothesis. This method gives accurate motion estimation based on the Manhattan hypothesis; first estimates the normal direction of all the 3D points of the recording frame; then estimates the normal vector direction of the three main orthogonal planes by PCA. Because it is to estimate the normal vector of the plane through all depth points, random noise is greatly eliminated, making normal estimation is very accurate; through each pixel in the three-dimensional coordinates of the position to further determine the main plane coordinate; finally, to estimate the camera's pose through the transformation matrix obtained by plane coordinates and normal vectors, and the 3D model of scene camera attitude spliced out of every frame image. Since the plane information of the present invention is computed by a large number of points, it is more robust than the feature point method with only one point.

【技术实现步骤摘要】
一种基于曼哈顿假设的场景重建方法
本专利技术属于计算机视觉领域，尤其针对场景三维重建，具体涉及一种基于曼哈顿假设的场景重建方法。
技术介绍
近年来，随着深度感知技术的发展，实现3D室内场景的实时3D场景扫描成为可能。业界提出了几个系统，并产生了有希望的结果。另一方面，随着增强现实(AR)成为学术和行业的热门话题，迫切需要实时3D扫描，因为我们真实场景的3D几何的复原是使虚拟对象无缝对齐的关键。在微软的头戴显示器Hololens中，许多基于AR的应用程序需要扫描当前房间的3D几何。使用深度相机，直接记录3D信息，实现3D扫描的关键是估计每两个连续输入帧之间的相机运动。首先是使用迭代最近点(ICP)来估计由两个深度帧获得的点云之间的对应关系。然后，两点云可以通过估计的相机运动合并。然而，在基于ICP的方法中，需要丰富的纹理特征，通过场景中的几何特征，鲁棒地估计正确的相机运动。对于3D空间中的两个纯2D平面，最接近的点可能不是正确的对应关系。在这种情况下，ICP可能会产生错误的相机运动。此外，ICP需要大量采样点，需要迭代才能收敛到最终的对应关系，这意味着相对较重的计算成本。即使一些基于I本文档来自技高网...

【技术保护点】
一种基于曼哈顿假设的场景重建方法，其特征在于该方法包括以下步骤：步骤(1)、通过深度相机拍摄采集获得室内场景的图像序列，计算图像中每个像素点法向量；步骤(2)、通过建立球面坐标进行法向量统计，从所有像素点的法向量中提取出近似主平面法向量的法向量集合；步骤(3)、根据近似主平面法向量的法向量集合中的所有法向量，利用主成分分析法提取这些法向量中的主要方向，得到相互正交的主平面法向量；步骤(4)、获取每个像素点3D坐标在上述主平面法向量上的投影位置，然后利用投影位置提取主平面在法向量上的位置；步骤(5)、根据上述步骤得到的主平面法向量与主平面在法向量上的位置信息，计算得到相机姿态变换矩阵；并通过每一...

【技术特征摘要】
1.一种基于曼哈顿假设的场景重建方法，其特征在于该方法包括以下步骤：步骤(1)、通过深度相机拍摄采集获得室内场景的图像序列，计算图像中每个像素点法向量；步骤(2)、通过建立球面坐标进行法向量统计，从所有像素点的法向量中提取出近似主平面法向量的法向量集合；步骤(3)、根据近似主平面法向量的法向量集合中的所有法向量，利用主成分分析法提取这些法向量中的主要方向，得到相互正交的主平面法向量；步骤(4)、获取每个像素点3D坐标在上述主平面法向量上的投影位置，然后利用投影位置提取主平面在法向量上的位置；步骤(5)、根据上述步骤得到的主平面法向量与主平面在法向量上的位置信息，计算得到相机姿态变换矩阵；并通过每一帧的相机姿态变换矩阵与所有像素点的3D坐标进行场景的重建。2.如权利要求1所述的一种基于曼哈顿假设的场景重建方法，其特征在于步骤(1)、通过深度相机拍摄采集获得室内场景的图像序列，计算图像中每个像素点法向量，具体是：首先，将图像序列中记录帧的所有像素点通过深度相机的相机模型转换为3D坐标；然后通过某像素点的相邻4个像素点的3D坐标计算获得该点法向量；D1(u,v)＝D(u+k,v)-D(u-k,v)(1)D2(u,v)＝D(u,v+k)-D(u,v-k)(2)其中，k是表示两个像素点之间距离，为可调整参数；D1、D2为经过像素点D(u,v)的向量；将D1、D2带入公式(3)中，获得D(u,v)的法向量n(u,v)；n(u,v)＝ψ(D1(u,v)×D2(u,v))(3)其中，×是交叉乘积，Ψ是将法线转换为单位向量的函数：ψ(normal)＝normal·||normal-1。3.如权利要求2所述的一种基于曼哈顿假设的场景重建方法，其特征在于步骤(2)、通过建立球面坐标进行法向量统计，从所有像素点的法向量中提取出近似主平面法向量的法向量集合，具体是：2.1单位球形坐标建立将步骤(1)获得的法线n＝(x,y,z)转换成球坐标形式n＝(α,β,γ)，其中α是法线n和轴X之间的角度，β是法线n与轴线Y之间的角度，γ是法线n与轴线Z之间的角度；2.2法向量统计将单位球形坐标中的每个基细分为180个区间，即每个区间为1度范围；然后将三个分别属于每一个基的区间组合成一个容器，将每个法向量n存入其对应的容器中；所述的基指代α,β,γ所在的坐标，即α,β,γ为0～180度；2.3主法向量集合的提取由于一帧图像中有大量属于某一主平面的像素点，因此该平面法向量对应的容器中法向量数量将远大于其他容器，故将包含法向量数量最多的容器中所有法向量设为第一个主平面的法向量集L1；根据主平面的法向量垂直关...

【专利技术属性】
技术研发人员：朱尊杰，颜成钢，徐峰，宁瑞忻，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33