基于二维图像和三维点云数据融合的全景环境感知方法技术

本发明专利技术公开了一种基于二维图像和三维点云数据融合的全景环境感知方法，应用样本一致性初始对准(SAC‑IA)算法与迭代最近点(ICP)算法将多帧点云数据统一到世界坐标系；对这些点云数据对应的灰度图像进行相似特征匹配与图像拼接，对拼接图像采用像素加权的方法消除图像拼接区域的裂缝，平滑拼接区域像素点的亮度值，得到优化的全景图像；应用深度信息对世界坐标系中所有点云数据进行分割，得到不同深度范围中的点云数据，将这些点云数据分别投影为二维图像并二值化；将生成的二值图像与全景图像进行信息融合，实现对不同深度的环境信息全景视觉感知。本发明专利技术能满足背景复杂、存在较强干扰的检测场景快速全景信息重构的技术需求，可有效降低后续场景理解、路径规划等工作的难度。

【技术实现步骤摘要】
基于二维图像和三维点云数据融合的全景环境感知方法
本专利技术涉及及三维计算机视觉
,特别是一种基于二维图像和三维点云数据融合的全景环境感知方法。
技术介绍
点云是大多数三维信息获取设备的原始输出数据，与二维图像相比，点云数据能提供对真实世界的场景更全面的描述。近年来，随着计算机硬件性能的提升和点云数据获取设备的普及，点云数据利用技术在智能机器人、无人驾驶、先进制造、虚拟现实和增强现实等领域的应用越来越多。然而，点云数据获取设备一次只能获取单一视角的点云，无法反应真实世界的全貌；点云数据通常质量较差，存在无效数据、噪声、孔洞等缺陷。点云数据难以直接被利用。因此，为有效的利用点云数据，国内外科技人员开展了大量的工作，这些工作大都遵循以下技术框架：首先，通过数据预处理方法消除点云数据的一些缺陷；然后，采用点云数据配准的方法将多帧不同视角的点云数据统一到世界坐标系；最后，获取配准点云数据的法向和曲率等几何参数，通过插值或者拟合实现对真实世界的重建。上述工作已能较好的满足干扰较少、对环境感知精确度和效率要求不高的应用场合技术需求。但是，现有技术采集的点云数据在复杂环境下存在较多的缺陷，对本文档来自技高网...

【技术保护点】
1.一种基于二维图像和三维点云数据融合的全景环境感知方法，其特征在于，包括以下步骤：1)从飞行时间相机中提取待检测的第一帧点云数据Cg1与其对应的灰度图像Ig1，将拍摄位置水平方向移动距离0‑15cm或将拍摄位置旋转0‑60°提取待检测的第二帧点云数据Cg2与其对应的灰度图像Ig2，按照上述方式经过N次拍摄得到N帧不同场景的点云数据和其对应的灰度图像；2)应用SAC‑IA算法与ICP算法将步骤1)中的N帧点云数据全部变换到第一帧点云数据Cg1的坐标系空间中；3)对步骤1)拍摄的第N帧图像与第N‑1帧图像进行融合，生成两帧图像的融合图像，并利用像素加权的方法优化融合图像的拼接区域，得到优化的全景...

【技术特征摘要】
1.一种基于二维图像和三维点云数据融合的全景环境感知方法，其特征在于，包括以下步骤：1)从飞行时间相机中提取待检测的第一帧点云数据Cg1与其对应的灰度图像Ig1，将拍摄位置水平方向移动距离0-15cm或将拍摄位置旋转0-60°提取待检测的第二帧点云数据Cg2与其对应的灰度图像Ig2，按照上述方式经过N次拍摄得到N帧不同场景的点云数据和其对应的灰度图像；2)应用SAC-IA算法与ICP算法将步骤1)中的N帧点云数据全部变换到第一帧点云数据Cg1的坐标系空间中；3)对步骤1)拍摄的第N帧图像与第N-1帧图像进行融合，生成两帧图像的融合图像，并利用像素加权的方法优化融合图像的拼接区域，得到优化的全景子图像PN-1；将PN-1与第N-2帧图像进行融合优化得到全景子图像PN-2，以此类推，最后将P2与第一帧图像融合优化得到全景子图像P1，即为全景图像Pmap；4)应用深度信息对步骤2)中Cg1坐标系空间中的所有点云数据进行分割，得到D个深度范围的点云数据，将不同深度范围的点云数据分别投影为二维图像，结合步骤3)生成的全景图像Pmap对生成的图像进行图像增强处理，实现对环境中不同深度的全景视觉感知。2.根据权利要求1所述的基于二维图像和三维点云数据融合的全景环境感知方法，其特征在于，步骤2)的具体实现过程包括：1)对点云数据CgN和CgN-1去除无效点，得到点云数据CvN和CvN-1，对CnN和CnN-1进行下采样滤波，得到滤波后的点云数据CfN和CfN-1；2)计算CfN和CfN-1的法向量nN和nN-1，利用nN和nN-1计算点云数据的点特征直方图HistN和HistN-1；通过HistN和HistN-1对CfN和CFn--1进行SAC-IA粗配准，将CvN变换成CvN-1坐标系空间的粗配准点云数据CvN1；3)对CvN-1和CvN1进行ICP精配准，将CvN1变换成CvN-1坐标系空间的精配准点云数据CvN2；将CvN2和CvN-1进行拼接得到拼接点云数据CmN-1，计算公式为3.根据权利要求2所述的基于二维图像和三维点云数据融合的全景环境感知方法，其特征在于，对CnN和CnN-1进行下采样滤波的具体实现过程包括：根据点云数据大小创建一个最小三维体素栅格，然后计算出小立方体栅格边长L，将点云数据划分到m×n×k个小立方栅格中，同时删除不包含数据点的小栅格，在其他栅格中保留离栅格重心最近的数据点并删除其他数据点；其中，Lx表示三维体素栅格X轴方向边长，Ly表示三维体素栅格Y轴方向边长，Lz表示三维体素栅格Z轴方向边长；a为比例因子，用来调节用来调节小立方体栅格的边长；s是比例系数，N表示点云数据中点的总数；Lx，Ly，Lz取值范围均为(0，5)，单位为m。4.根据权利要求2所述的基于二维图像和三维点云数据融合的全景环境感知方法，其特征在于，采用KdTree搜索点云数据法向量，点云数据法向量中求解协方差矩阵的特征向量和特征值λj的公式为：其中，HC为协方差矩阵，pi是点云数据中一点，k是点pi邻近点的数目,表示最近邻元素的三维质心，λj是协方差矩阵的第j个特征值，是第j个特征向量。5.根据权利要求2所述的基于二维图像和三维点云数据融合的全景环境感知方法，其特征在于，使用FPFH的方式来计算点特征直方图，搜索半径取值范围为(0，0.01)，单位为m，FPFH的计算公式为：α＝v·nt，θ＝arctan(w·nt,u·nt)；u＝ns，v＝(pt-ps)×u，w＝u×v，其中，FPFH(p)为p点的快速点特征直方图，ps为查询点，pt为ps的k邻域内一个邻近点，wt为ps与pt间的距离；u,v,w构成ps和pt之间的局部坐标系；SPFH(p)为p点的简化点特征直方图，通过统计p点与它的k邻域内每一点之间的α，φ，θ三个特征值求出；在Ouvw坐标系中求这三个特征值，ns和nt分别为ps和pt的估计法线，(xs,ys)为ps的坐标，(xt,yt)为pt的坐标；Ouvw是以O为原点，u、v、w为uvw轴的坐标系，设定ps为O点，ps的法向量为u轴，以过原点分别垂直于pt-ps和u轴的向量为v轴，pt-ps为ps到pt的向量，以过原点分别垂直于v轴和u轴的向量为w轴。6.根据权利要求2所述的基于二维图像和三维点云数据融合的全景环境感知方法，其特征在...

【专利技术属性】
技术研发人员：王宪，张籽林，廖斌，周潜，
申请(专利权)人：湖南科技大学，
类型：发明
国别省市：湖南,43