一种基于多模态联合感知的三维点云数据补全方法技术

技术编号:43864662 阅读:31 留言:0更新日期:2024-12-31 18:51
一种基于多模态联合感知的三维点云数据补全方法,属于点云补全技术领域。方法如下:采用CLIP视觉大模型提取图像特征;提取点云特征;综合利用图像特征与点云特征生成形状潜码指导扩散模型生成初始点云。拼接初始点云与不完整输入点云后最远点采样得到过程点云;基于非局部相似性生成过程点云坐标偏移;利用掩码机制调整偏移,处理过程点云中的高质量点和低质量点,得到补全的高质量点云。本发明专利技术提出了基于扩散模型完成跨模态的形状融合,同时利用视觉大模型提取的图像特征与点云特征生成形状潜码指导扩散模型,实现了图像域到点云域的转移;基于非局部相似性利用掩码机制生成坐标偏移,实现了跨层级细化粗糙输出,生成更高质量的点云。

【技术实现步骤摘要】

本专利技术涉及一种基于多模态联合感知的三维点云数据补全方法,属于点云补全。


技术介绍

1、随着扫描设备与三维重构技术的飞速发展,点云作为一种最简单灵活的数据结构,已在机器人导航、虚拟/增强现实、自动驾驶等多个领域得到广泛应用。在这些应用场景中,获取完整的点云数据是非常必要的,然而由于视线遮挡或采集距离过远,得到的点云数据总是存在内容残缺的问题。点云补全技术能够有效地推断出缺失的点云信息,从而实现对完整点云的重建或补充。

2、传统的点云补全技术仅分析和预测单模态点云数据进行形状恢复。然而,3d传感器的低扫描分辨率等问题通常导致捕获的点云具有固有稀疏性,并且点云数据的可用信息有限,仅使用单模态点云推断缺失部分存在很大的不确定性,因此单模态点云补全是具有挑战性的。值得注意的是,现有技术已经能够将从2d图像学到的经验映射到对3d世界的理解,并且成功地实现了从2d图像经验中推断重建出3d物体的形状,因此,点云补全技术可以从2d图像中受益的假设是合理的。与此同时,随着硬件成本的降低,带有rgb摄像头的3d扫描仪、深度相机等跨传感器的设置越来越普遍,得到的点本文档来自技高网...

【技术保护点】

1.一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述方法包括如下步骤:

2.根据权利要求1所述的一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述S1包括如下步骤:

3.根据权利要求1所述的一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述S1包括如下步骤:

4.根据权利要求1所述的一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述S1包括如下步骤:

5.根据权利要求2或3或4所述的一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述S2包括如下步骤:

<p>6.根据权利要求...

【技术特征摘要】

1.一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述方法包括如下步骤:

2.根据权利要求1所述的一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述s1包括如下步骤:

3.根据权利要求1所述的一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述s1包括如下步骤:

4.根据权利要求1所述的一种基于多模态联合感知的三维点云数据补全方法,其特征在于:所述s1包括如下步骤:

5.根据权利要...

【专利技术属性】
技术研发人员:王兴涛鲁懿丹范晓鹏
申请(专利权)人:哈尔滨工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1