一种基于二维图像灰度进行深度预测的点云密度提升方法技术

本发明专利技术公开了一种基于二维图像灰度进行深度预测的点云密度提升方法，包括：采集图像数据和世界坐标系的三维点云数据；标定出相机的内参矩阵和外参矩阵；利用外参矩阵，将世界坐标系的三维点云数据转换为相机坐标系的三维点云数据；利用内参矩阵，将相机坐标系的三维点云数据转换为像素坐标系的二维图像坐标；将二维图像坐标与图像数据进行像素点匹配；将未匹配到的像素点的深度值设置为0；对深度值s为0的像素点进行深度预测，得到的预测深度值作为该像素点的深度值；将深度值不为0的像素点所对应的二维图像坐标转换为世界坐标系的三维点云数据，完成点云密度的提升。

【技术实现步骤摘要】
一种基于二维图像灰度进行深度预测的点云密度提升方法
本专利技术涉及智能驾驶
，具体涉及一种基于二维图像灰度进行深度预测的点云密度提升方法。
技术介绍
点云密度是机载激光雷达(lightdetectionandranging，LiDAR)点云数据的重要特征，也是硬件制造、数据采集、数据处理及数据应用中常用的关键指标。随着波形数据采集仪、多波束(MPIA)技术、多频率技术、多激光扫描头等软硬件技术的出现，以及激光发射频率的快速提高，LiDAR点云密集程度一直在提高，不断推动LiDAR技术的应用，使得以前在稀疏数据中无法体现的特征和规律，在当前点云密集分布的状态下，已经被清晰地展现出来。激光雷达基于电磁波反射的原理实现数据采集，由于不同物体的反射特性是不同的，比如平坦的路面以及墙面反射强会采集到较多的数据点，而水面和树木等反射性差导致采集得到点云数据较为稀疏；由此，激光雷达采集到的点云往往是不均匀的。公开号为CN106886980A公开了一种基于三维激光雷达目标识别的点云密度增强的方法，包括：通过三维激光雷达测量目标的初始点云数本文档来自技高网...

【技术保护点】
1.一种基于二维图像灰度进行深度预测的点云密度提升方法，其特征在于，包括：/n步骤1、统一相机和激光雷达的采集频率，同时采集图像，得到图像数据和世界坐标系的三维点云数据；/n步骤2、标定出相机的内参矩阵和外参矩阵；/n步骤3、利用相机的外参矩阵，将世界坐标系的三维点云数据转换为相机坐标系的三维点云数据；/n步骤4、利用相机的内参矩阵，将相机坐标系的三维点云数据转换为像素坐标系的二维图像坐标；/n步骤5、将二维图像坐标和步骤1采集到的图像数据进行坐标与像素点的匹配；/n步骤6、将图像数据中未匹配到的像素点的深度值设置为0；对图像数据中深度值s为0的像素点进行深度预测，得到预测深度值，将预测深度值...

【技术特征摘要】
1.一种基于二维图像灰度进行深度预测的点云密度提升方法，其特征在于，包括：
步骤1、统一相机和激光雷达的采集频率，同时采集图像，得到图像数据和世界坐标系的三维点云数据；
步骤2、标定出相机的内参矩阵和外参矩阵；
步骤3、利用相机的外参矩阵，将世界坐标系的三维点云数据转换为相机坐标系的三维点云数据；
步骤4、利用相机的内参矩阵，将相机坐标系的三维点云数据转换为像素坐标系的二维图像坐标；
步骤5、将二维图像坐标和步骤1采集到的图像数据进行坐标与像素点的匹配；
步骤6、将图像数据中未匹配到的像素点的深度值设置为0；对图像数据中深度值s为0的像素点进行深度预测，得到预测深度值，将预测深度值作为该像素点的深度值；
步骤7、将步骤1采集到的图像数据中深度值不为0的像素点所对应的像素坐标系的二维图像坐标转换为世界坐标系的三维点云数据，完成图像数据点云密度的提升。


2.根据权利要求1所述的基于二维图像灰度进行深度预测的点云密度提升方法，其特征在于，步骤2中，所述的内参矩阵的计算公式具体为式1所示；



其中，fx与fy为图像坐标系中一个像素点所代表实际x、y方向的距离；(u0，v0)为相机光轴与实际平面的交点坐标。


3.根据权利要求1所述的基于二维图像灰度进行深度预测的点云密度提升方法，其特征在于，步骤2中，所述的外参矩阵的计算公式具体为式2所示；



其中，R为3×3的旋转矩阵；t为1×3的三维平移矩阵。


4.根据权利要求1所述的基于二维图像灰度进行深度预测的点云密度提升方法，其特征在于，步骤3中，所述的相机坐标系的三维点云数据的计算公式具体为式3所示：



其中，(Xc，Yc，Zc)为相机坐标系的...

【专利技术属性】
技术研发人员：王曰海，李晨康，李东洋，李春光，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33