【技术实现步骤摘要】
一种激光与图像数据融合的三维重建方法及系统
本专利技术涉及计算机视觉
，具体而言，涉及一种激光与图像数据融合的三维重建方法及系统。
技术介绍
三维重建技术指的是通过二维图像数据获取、深度数据提取、点云提取和匹配、表面生成、法线生成和纹理映射等一系列过程，从离散的数据中获取和整合得到三维表面网格模型的过程。通过三维重建方法的运用，可以将真实世界中的物体转换为计算机逻辑数据能够表达的数字模型，并且在虚拟环境中渲染或者用于数学和物理仿真运算。近年来，对于三维重建技术的研究主要分为两个方向，即被动式三维重建技术和主动式三维重建技术。(1)被动式三维重建：利用周围可见光下的自然环境，使用照相机拍照生成大量图像，然后通过特定算法计算得到物体的立体空间信息。常见的被动式重建算法为立体视觉法(Multi-ViewStereo，MVS)，它利用不同视点上的两幅或多幅图像，首先计算得到每幅图像中包含的特征点信息，将相邻图像的特征点进行对齐和匹配，然后基于视差原理获取图像对应点之间的位置偏差，进而模拟人类的视觉系统，恢复出图像本身的...
【技术保护点】
1.一种激光与图像数据融合的三维重建方法，其特征在于，所述方法包括：/n获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；/n将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；/n将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；/n构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；/n将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取重建三维模型。/n
【技术特征摘要】 【专利技术属性】
1.一种激光与图像数据融合的三维重建方法，其特征在于，所述方法包括：
获取待重建三维场景中激光雷达的三维点云数据和相机的RGB图像数据；
将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图；
将所述稀疏深度图转化为稠密深度图，获取每一帧图像的RGB信息和深度信息；
构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面；
将所述每一帧图像的RGB信息映射至所述重建三维模型的表面，形成纹理信息，获取重建三维模型。
2.如权利要求1所述的方法，其中，所述激光雷达的三维点云数据包括多个点的扫描数据，
其中，所述将所述激光雷达的三维点云数据映射至相机的二维图像空间中，构建稀疏深度图，包括：
将所述多个点的扫描数据分别转换至笛卡尔坐标系，得到第一数据，其中，所述第一数据包括多个三维坐标点P；
根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/；
根据所述第二数据构建稀疏深度图。
3.如权利要求2所述的方法，其中，所述标定数据至少包括三维点云数据与RGB图像数据对其后的偏移矩阵Mo和相机的内参矩阵Mi，
其中，根据标定数据将所述第一数据映射至所述二维图像空间中，得到第二数据，其中，所述第二数据包括多个映射点P/，包括：
根据所述标定数据，将所述多个映射点P/分别映射至所述二维图像空间中，获取所述多个映射点P/，其中，
4.如权利要求2所述的方法，其中，所述将所述稀疏深度图转化为稠密深度图，包括：
将所述第一数据和所述第二数据输入至第一神经网络，获取引导参数图、第一置信度权重图和第一预测深度图；
将所述第一数据和所述引导参数图输入第二神经网络，获取第二置信度权重图和第二预测深度图；
将所述第一置信度权重图和所述第二置信度权重图进行分类输出，并与所述第一预测深度图和所述第二预测深度图进行叠加，得到稠密深度图。
5.如权利要求1所述的方法，其中，所述晶体网格包括多个大小相同的晶格，所述晶格至少存储有该晶格距离所述重建三维模型的表面的距离值F和该晶格的权重值W，
其中，所述构建待重建三维场景的晶体网格，将所述每一帧图像的深度信息映射至所述晶体网格中，确定重建三维模型的表面，包括：
对所述待重建三维场景进行体素化，构建晶体网格，并将当前帧图像的深度信息投影至所述晶体网格中；
技术研发人员：刘剑，王锐，邓秋平，
申请(专利权)人：凌美芯北京科技有限责任公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。