多模态三维模型建立方法、装置及可读介质制造方法及图纸

本公开提供一种多模态三维模型建立方法，包括：获取IMU测量数据、双目事件相机采集的第一图像组和单目RGB相机采集的第二图像；根据IMU测量数据、第二图像和第一图像组计算第二图像组和联合深度估计图像组；根据第二图像组、联合深度估计图像组、初始位姿和目标图像生成三维模型；利用多模态数据进行三维模型重建，鲁棒性高、模型重建效果精细；在运动情形下也能够完成三维模型重建任务，提高了建模数据采集效率及三维模型重建效率。本公开还提供一种多模态三维模型建立装置和可读介质。

【技术实现步骤摘要】

本公开涉及计算机，具体涉及一种多模态三维模型建立方法、装置及可读介质。

技术介绍

1、随着计算机视觉技术和人工智能技术的不断发展，以及人们对沉浸式视觉体验的需求逐渐提高，三维重建技术在计算机视觉领域也变得越发重要，对三维重建技术的建模精度和建模效率要求也越来越高。目前已有一些三维模型建立方案，但是这些三维模型建立存在以下问题：

2、1、在低照度或低纹理条件下鲁棒性不足。传统重建方法通常需要对rgb图像对进行特征匹配，而rgb相机有固定的动态范围，在低照度、低纹理或大光比变化的场景下成像不佳，难以获得准确的特征匹配，进而无法提供准确的三维模型。

3、2、高速运动状态下难以完成重建。传统视觉重建方法主要依托于rgb相机，而rgb相机通常以固定帧率进行拍摄并且帧率相对较低，在相机高速运动时，采集得到的rgb图像不可避免地产生运动模糊，难以完成准确的三维重建。

技术实现思路

1、本公开提供一种多模态三维模型建立方法、装置及可读介质。

2、第一方面，本公开实施例提供一种多模态三维模型本文档来自技高网...

【技术保护点】

1.一种多模态三维模型建立方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述方法还包括：对所述IMU测量数据进行降噪处理和平滑处理，得到处理后的IMU测量数据；

3.如权利要求2所述的方法，其特征在于，根据所述处理后的IMU测量数据对所述第一图像组进行运动补偿处理得到所述平滑的第一图像组，包括：

4.如权利要求2所述的方法，其特征在于，根据平滑的第一图像组对所述第二图像进行动态模糊修正处理及插帧处理得到所述第二图像组，包括：

5.如权利要求4所述的方法，其特征在于，所述利用所述光流图像组对所述第二图像进行插帧处理，得到第...

【技术特征摘要】

1.一种多模态三维模型建立方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述方法还包括：对所述imu测量数据进行降噪处理和平滑处理，得到处理后的imu测量数据；

3.如权利要求2所述的方法，其特征在于，根据所述处理后的imu测量数据对所述第一图像组进行运动补偿处理得到所述平滑的第一图像组，包括：

4.如权利要求2所述的方法，其特征在于，根据平滑的第一图像组对所述第二图像进行动态模糊修正处理及插帧处理得到所述第二图像组，包括：

5.如权利要求4所述的方法，其特征在于，所述利用所述光流图像组对所述第二图像进行插帧处理，得到第二图像插帧图像组，包括：

6.如权利要求4所述的方法，其特征在于，所述根据所述扩展第二图像组生成所述第二图像组，包括：

7.如权利要求6所述的方法，其特征在于，所述根据所述平滑的第一图像组和所述处理后的imu测量数据，确定所述扩展第二图像组中的运动物体掩膜，包括：

8.如权利要求7所述的方法，其特征在于，所述根据所述处理后的imu测量数据确定所述平滑的第一图像组中的运动...

【专利技术属性】
技术研发人员：王屹进，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：