多模态场景信息采集与重建方法及系统技术方案

本申请公开了一种多模态场景信息采集与重建方法及系统，其中，方法包括：利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器；对至少一个多模态场景信息进行整合，生成原始数据集；利用原始数据集进行场景的点云重建，并获取任一场景的点云数据。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。息丰富度要求等问题。息丰富度要求等问题。

【技术实现步骤摘要】
多模态场景信息采集与重建方法及系统


[0001]本申请涉及三维重建
，特别涉及一种多模态场景信息采集与重建方法及系统。

技术介绍

[0002]人类通过双眼探索并发现世界，随着计算机技术的不断更新，计算机视觉这种给计算机添加“眼睛”与“大脑”的方向越来越热门，可以使计算机独立自主地感知世界。感知设备的不断刷新，让人们不再满足于采集场景下的单一信息，而是尽可能多角度、多维度地对现实世界中的场景进行数据采集与记录，并利用采集到的数据对真实场景进行多模态的还原。因此，如何将多模态的数据更好的关联起来，将多模态数据融合在一起变得非常重要。
[0003]然而，相关技术主要利用单一的设备进行场景的数据采集，利用单一的数据形式进行场景的重建，比如使用相机进行视觉上的重建，使用激光雷达进行点云上的重建。
[0004]相关技术的不足在于：单一使用相机进行重建时，重建结果的精度不高；单一使用激光雷达进行重建时，重建结果的信息丰富度以及视距有限。
[0005]综上，相关技术有待改善。
[0006]申请内容/>[0007]本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态场景信息采集与重建方法，其特征在于，包括以下步骤：利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；对所述至少一个多模态场景信息进行整合，生成原始数据集；以及利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。2.根据权利要求1所述的方法，其特征在于，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。3.根据权利要求2所述的方法，其特征在于，所述对所述至少一个多模态场景信息进行整合，生成原始数据集，包括：利用所述激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。4.根据权利要求1或3所述的方法，其特征在于，所述利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据，包括：播放所述原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；基于所述整个场景点云数据获取多模态场景数据集，并根据所述多模态场景数据集得到任一场景的点云数据。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，在对所述至少一个多模态场景信息进行整合之前，还包括：确定至少一个传感器之间的平移与旋转矩阵，以基于所述至少一个传...

【专利技术属性】
技术研发人员：高跃，王梓祺，赵曦滨，
申请(专利权)人：清华大学，
类型：发明
国别省市：