一种基于路侧RSU的实时点云三维重构方法技术

本发明专利技术属于室外场景实时点云三维重建技术领域，具体为一种基于路侧RSU的实时点云三维重构方法。本发明专利技术方法包括：设置包含摄像头的路侧RSU，进行车路场景中多RGB摄像头的数据采集，为三维重建提供充分的数据支持；构建室外三维场景实时重建模型；其中，采用端到端的人工智能方法代替传统重建中的部分过程，对室外场景进行高分辨实时三维重建；构建融合语义分割优化三维模型；其中，采用语义分割的方法结合一些模型先验对已经建立的模型进行补充，实现三维完整重建。本发明专利技术将室内成熟的三维重加算法改变为室外大规模场景的算法，完善和加强室外三维场景重建水平；可广泛应用于类似车路场景的各类室外大规模场景中。路场景的各类室外大规模场景中。路场景的各类室外大规模场景中。

【技术实现步骤摘要】
一种基于路侧RSU的实时点云三维重构方法


[0001]本专利技术属于室外场景实时点云三维重建
，具体涉及一种基于路侧RSU的实时点云三维重构方法。

技术介绍

[0002]目前，基于图像的三维重建是通过获取多视图图像，逐步应用相应的算法来恢复场景中物体的三维结构。在三维重建时，首先需要对收集到的图像除去当中无用的图片，在此基础上，对每个图片进行去噪处理，然后对图像进行特征点的检测与匹配，得到不同图像中相同的特征点。接下来通过相机标定得到拍摄图片所用相机的内参数（焦距），再进一步计算得到基础矩阵与本质矩阵，获得特征点的三维空间位置。最后对点云进行网格化从而实现三维场景的可视化展现。
[0003]RSU（Road Side Unit）路侧单元是ETC系统中安装在路侧，采用DSRC（Dedicated Short Range Communication）技术，与车载单元（OBU, On Board Unit）进行通讯，实现车辆身份识别，电子扣分的装置。
[0004]现有技术存在的缺点主要是室外大规模稠密三维场景重建方法，效率低、实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于路侧RSU的实时点云三维重构方法，其特征在于，具体步骤为：（1）设置包含摄像头的路侧RSU，进行车路场景中多RGB摄像头的数据采集，为三维重建提供充分的数据支持；（2）构建室外三维场景实时重建模型；其中，采用端到端的人工智能方法代替传统重建中的部分过程，对室外场景进行高分辨实时三维重建；（3）构建融合语义分割优化三维模型；其中，采用语义分割的方法结合一些模型先验对已经建立的模型进行补充，实现三维完整重建；所述路侧RSU，包含多个摄像头装置，设置于不同位置，用于采集高分辨率的、不同光照条件、不同角度的车路场景图片；在云端，通过改进的三维重建模型，对各RSU采集的数据进行处理、建模，实现室外大规模场景的重建；所述室外三维场景实时重建模型，先对传统的基于多视图的三维重建框架模型Pixelwise进行复现，并使用深度学习端到端模型MVSNet，实现完整的现有重建框架；然后对三维重建进行优化，具体分为三步：（1）运动结构恢复：包括图像的局部特征提取、多视角相机的配准以及后端集束优化；（2）三维稠密点云重建和纹理重建：包括参数化模型估计生成点云、稠密点云网格化、纹理重建；（3）重建效果检测：包括数据集选择、真实值获取以及评价方法；对于选取的需要优化的部分，采用端到端的深度学习方法优化传统算法中的部分结构以提高实时性；同时通过对使用的完全端到端的MVSNet方法进行优化，得到实时...

【专利技术属性】
技术研发人员：曾新华，刘静怡，宋梁，蒋林华，倪伟，庞成鑫，张冠华，
申请(专利权)人：复旦大学，
类型：发明
国别省市：