一种基于TOF相机数据的平面拟合方法技术

本发明专利技术提供了一种基于TOF相机数据的平面拟合方法，包括以下步骤：S1：将TOF相机采集的深度图的数据转换成点云的数据，所述深度图的像素点与所述点云在映射过程保留对应编号；S2：计算所述深度图的全图各像素点对应的点云的主方向向量，并确定所要拟合的平面上的一个采样点及其对应的主方向向量；S3：从所述采样点出发通过迭代法逐步扩散，找到全部与所述采样点对应的主方向向量间关系满足预设条件的待拟合像素点，并将所述待拟合像素点每次迭代更新为新的采样点后继续迭代扩散；S4：连接所有符合预设要求的待拟合像素点拟合成为平面。该方法每个步骤在运算量上都进行了优化，能够在3D深度相机输出视频序列上实时完成。

A Plane Fitting Method Based on TOF Camera Data

【技术实现步骤摘要】
一种基于TOF相机数据的平面拟合方法
本专利技术涉及计算机图像处理
，特别涉及一种基于TOF相机数据的平面拟合方法。
技术介绍
平面拟合是3D重建和测量领域的重要组成部分。由于几何体的平面特征可以用于点云的配准，在后续建模中简化数据，因此平面拟合是散乱点云表面重建中最基本的步骤，大多数的表面重建算法的提出都是以平面拟合作为基础的。此外，对具有规则特征的平面进行拟合还可以用于测量三维几何物体的尺寸，通过3D计算机视觉识别并计算几何体的形状尺寸，作为工业控制的输入数据，是工业自动化和机器人控制的重要基础。传统的平面拟合算法基于地面激光扫描所获得的实物表面点云。通过激光扫描得到的点云信息数据量大、精度高，对平面拟合起到了一定程度的帮助作用。然而，激光扫描获取点云的方式设备复杂、采集效率低，一般应用于专业场景。在日常生活中，TOF相机由于其分辨率高、一次能够得到整个视野范围内每个像素的距离信息的特点，比激光扫描的方法更便捷、效率更高，更受到3D研究者们的青睐。随着3D-TOF相机大规模的植入手机，基于TOF相机的深度图像数据的平面拟合算法应用场景大大扩充。TOF相机通过采集的深度图还原点云数据，相较于激光扫描的点云数据而言，精度较低、噪声干扰更多、数据的质量相对较差，因而基于激光扫描的传统平面拟合算法很难胜任基于TOF深度数据的工作。但现有的基于TOF深度数据的平面拟合方法运算量仍然较大，在3D深度相机上输出的视频序列的实时性仍需进一步改善。
技术实现思路
本专利技术的目的在于提供一种基于TOF相机数据的平面拟合方法，以解决现有的基于TOF深度数据的平面拟合方法运算量较大、输出视频序列的实时性较差的问题。为了实现平面拟合，我们首先需要计算包含平面以及大量背景像素点的全部主方向向量，然后根据主方向向量确定各像素和采样点方向之间的角度，判断是否处于同一待拟合平面，这几个步骤环环相扣，是基于深度图的平面拟合算法不可或缺的环节。为实现上述目的，本专利技术提供了一种基于TOF相机数据的平面拟合方法，包括以下步骤：S1：将TOF相机采集的深度图的数据转换成点云的数据，所述深度图的像素点与所述点云在映射过程保留对应编号；S2：计算所述深度图的全图各像素点对应的点云的主方向向量，并确定所要拟合的平面上的一个采样点及其对应的主方向向量；S3：从所述采样点出发通过迭代法逐步扩散，找到全部与所述采样点对应的主方向向量间关系满足预设条件的待拟合像素点，并将所述待拟合像素点每次迭代更新为新的采样点后继续迭代扩散；S4：连接所有符合预设要求的待拟合像素点拟合成为平面。较佳地，所述步骤S1具体为：借助所述TOF相机的相机内参，得到相机坐标系和世界坐标系的数学映射关系，并根据所述数学映射关系将所述深度图数据转换成点云数据，同时在一一映射过程中记录所述点云和像素点的对应编号。较佳地，所述步骤S2具体为：对所述深度图中的每一个像素点取其邻域区域内的邻域像素点，通过求解方程的方法得到所述邻域像素点对应的点云的最佳近似主方向向量，作为该像素点的主方向向量；并手动确认所要拟合的平面上的所述采样点，同时记录所述采样点的主方向向量。较佳地，所述步骤S3包括：S31：基于所述全图各像素点的主方向向量，提取所述采样点对应的邻域像素点的主方向向量，分别计算所述邻域各像素点的主方向向量与所述采样点的主方向向量的夹角；S32：提取所述夹角小于预定阈值的邻域像素点，将其再作为新的采样点，返回步骤S31，直到当前最新的采样点的邻域的其他像素点均不满足其对应的主方向向量与采样点的主方向向量的夹角小于预定阈值，则完成遍历目标拟合平面上的全部像素点，得到全部的待拟合像素点。较佳地，所述步骤S4具体为：基于所述待拟合像素点，确定其中和所述采样点处在一个连通域的像素点，将满足条件的像素点作为拟合平面的像素点输出。本专利技术方法基于TOF相机输出的深度图数据，利用深度图中各个像素点对应的点云进行分析计算从而达到空间平面拟合的目的。该方法运算量较小、输出视频序列的实时性较好。附图说明图1为本专利技术方法总体流程图；图2为本专利技术方法选取的邻域区域示意图；图3A为迭代法平面拟合各步骤示意图；图3B为迭代法平面拟合各步骤示意图；图3C为迭代法平面拟合各步骤示意图；图3D为迭代法平面拟合各步骤示意图；图3E为迭代法平面拟合各步骤示意图。具体实施方式以下将结合本专利技术的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本专利技术的一部分实例，并不是全部的实例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术的保护范围。为了便于对本专利技术实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本专利技术实施例的限定。参考图1所示，本实施例提供了一种基于TOF相机数据的平面拟合方法，包括以下步骤：S1：将TOF相机采集的深度图的数据转换成点云的数据，其中，深度图的像素点与点云在映射过程保留对应编号；S2：计算深度图的全图各像素点对应的点云的主方向向量，并确定所要拟合的平面上的一个采样点及其对应的主方向向量；S3：从上述的采样点出发通过迭代法逐步扩散，找到全部与采样点对应的主方向向量间关系满足预设条件的待拟合像素点，并将待拟合像素点每次迭代更新为新的采样点后继续迭代扩散；S4：连接所有符合预设要求的待拟合像素点拟合成为平面。其中，步骤S1具体为：借助TOF相机的相机内参，得到相机坐标系和世界坐标系的数学映射关系，并根据所述数学映射关系将所述深度图数据还原成点云数据，同时在一一映射过程中记录点云和像素点的对应编号。这里具体采用如下方法：遍历深度图的每一个像素点，按照编号＝(行数-1)×总列数+(列数-1)的方式进行标号，依据式(1)的坐标映射关系将其映射成点云数据：其中，x，y，z为点云的空间坐标，u和v分别是像素点在深度图中的水平和垂直方向的像素坐标，d为深度图在(u，v)位置的像素对应的深度，fx，fy，cx，cy是相机的内参，fx，fy分别是相机在x轴和y轴方向上的焦距乘感光器件的分辨率，cx，cy是相机光圈中心的坐标。对每一个像素点映射成的点云，保留原像素点的编号。进一步地，上述的步骤S2具体为：对深度图中的每一个像素点取其邻域区域内的邻域像素点，通过求解方程的方法得到邻域像素点对应的点云的最佳近似主方向向量，作为该像素点的主方向向量；并手动确认所要拟合的平面上的采样点，同时记录所述采样点的主方向向量。具体地，计算点云的统计主方向向量需要点云的空间坐标和深度图像素的邻域信息，则步骤S2首先根据像素点与点云的映射关系生成图像点云表示形式，这里根据点云-像素编号关系生成新的图像点云表示形式；然后，将深度图中每一像素点的值更换为该像素点对应的点云的空间坐标，形成新的矩阵img_pcl，即img_pcl(m，n)＝(xmn，ymn，zmn)，其中，(m，n)表示像素点的位置，(xmn，ymn，zmn)为像素点(m，n)对应点云的空间位置；再拆分img_pcl为三个分别表示x，y，z坐标的矩阵pcx，pcy，pcz，即pcx(m，n)＝xmn，pcy(m，n)＝ymn，pcz(m，n)＝zmn。并对p本文档来自技高网...

【技术保护点】
1.一种基于TOF相机数据的平面拟合方法，其特征在于，包括以下步骤：S1：将TOF相机采集的深度图的数据转换成点云的数据，所述深度图的像素点与所述点云在映射过程保留对应编号；S2：计算所述深度图的全图各像素点对应的点云的主方向向量，并确定所要拟合的平面上的一个采样点及其对应的主方向向量；S3：从所述采样点出发通过迭代法逐步扩散，找到全部与所述采样点对应的主方向向量间关系满足预设条件的待拟合像素点，并将所述待拟合像素点每次迭代更新为新的采样点后继续迭代扩散；S4：连接所有符合预设要求的待拟合像素点拟合成为平面。

【技术特征摘要】
1.一种基于TOF相机数据的平面拟合方法，其特征在于，包括以下步骤：S1：将TOF相机采集的深度图的数据转换成点云的数据，所述深度图的像素点与所述点云在映射过程保留对应编号；S2：计算所述深度图的全图各像素点对应的点云的主方向向量，并确定所要拟合的平面上的一个采样点及其对应的主方向向量；S3：从所述采样点出发通过迭代法逐步扩散，找到全部与所述采样点对应的主方向向量间关系满足预设条件的待拟合像素点，并将所述待拟合像素点每次迭代更新为新的采样点后继续迭代扩散；S4：连接所有符合预设要求的待拟合像素点拟合成为平面。2.根据权利要求1所述的基于TOF相机数据的平面拟合方法，其特征在于，所述步骤S1具体为：借助所述TOF相机的相机内参，得到相机坐标系和世界坐标系的数学映射关系，并根据所述数学映射关系将所述深度图数据转换成点云数据，同时在一一映射过程中记录所述点云和像素点的对应编号。3.根据权利要求1所述的基于TOF相机数据的平面拟合方法，其特征在于，所述步骤S2具体为：对所述深度图中的每一...

【专利技术属性】
技术研发人员：应忍冬，陈琢，刘佩林，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31