基于文本-点云匹配的地点识别模型构建方法及系统技术方案

技术编号:44888942 阅读:37 留言:0更新日期:2025-04-08 00:26
本发明专利技术提出了一种基于文本‑点云匹配的地点识别模型构建方法及系统,涉及机器人和计算机视觉技术领域,针对的问题是:传统方法依赖于单一模态进行地点匹配,易受环境因素的影响,精度和鲁棒性较差。通过先进开源GPT‑4工具生成文本描述,结合KI TT I 360点云子图,实现文本到点云的语义对齐和跨模态特征融合。具体而言,通过文本编码模块和点云编码模块分别提取文本特征和点云特征,利用对比学习将文本描述和点云子图映射到统一的语义嵌入空间,采用级联跨模态注意力选择性状态空间模块,进一步优化文本与点云的特征匹配,提升了模型在复杂环境下的泛化性能和跨模态匹配的准确性,解决了单一模态地点识别技术复杂场景下鲁棒性和准确性差的问题。

【技术实现步骤摘要】

本专利技术属于机器人和计算机视觉,尤其涉及基于文本-点云匹配的地点识别模型构建方法及系统,具体涉及使用融入注意力机制的状态空间模型实现文本到点云的跨模态地点识别模型构建方法及系统。


技术介绍

1、随着智能设备和自动驾驶技术的发展,地点识别作为核心技术之一,已经广泛应用于机器人导航、自动驾驶、虚拟现实等领域。传统基于视觉或激光雷达的地点识别方法通常只依赖于单一模态数据,依赖于2d图像或3d点云进行匹配,通过相机或雷达提取特征,但由于环境光照变化、视角变化等外界因素的影响,其精度和鲁棒性受限。然而,随着多模态数据的普及,将文本描述与点云地图相结合的跨模态地点识别技术逐渐成为研究热点。文本信息和点云信息具有不同的表达方式,如何有效融合两者的特征信息,以提升地点识别的准确性和鲁棒性,是当前技术面临的重要挑战。

2、通过上述分析,可知,现有地点识别技术存在一定的不足:

3、(1)传统定位方法仅依赖单一模态的图像或点云特征,在环境条件变化(如光照、季节)和视角变化(如遮挡、大角度旋转)的场景中,易导致定位失败,难以保证鲁棒性和准确性;

<本文档来自技高网...

【技术保护点】

1.一种基于文本-点云匹配的地点识别模型构建方法,其特征在于,具体步骤如下:

2.如权利要求1所述的基于文本-点云匹配的地点识别模型构建方法,其特征在于,所述步骤S1中,每个文本描述特征的提取过程为:

3.如权利要求1所述的基于文本-点云匹配的地点识别模型构建方法,其特征在于,所述步骤S3中,每个点云子地图特征的提取过程为:

4.如权利要求2、3所述的基于文本-点云匹配的地点识别模型构建方法,其特征在于,所述步骤S4中,将提取的文本特征和点云特征映射至统一语义嵌入空间,具体步骤如下为:

5.如权利要求4所述的基于文本-点云匹配的地点识别模型...

【技术特征摘要】

1.一种基于文本-点云匹配的地点识别模型构建方法,其特征在于,具体步骤如下:

2.如权利要求1所述的基于文本-点云匹配的地点识别模型构建方法,其特征在于,所述步骤s1中,每个文本描述特征的提取过程为:

3.如权利要求1所述的基于文本-点云匹配的地点识别模型构建方法,其特征在于,所述步骤s3中,每个点云子地图特征的提取过程为:

4.如权利要求2、3所述的基于文本-点云匹配的地点识别模型构建方法,其特征在于,所述步骤s4中,将提取的文本特征和点云特征映射至统一语义嵌入空间,具体步骤如下为:

5.如权利要求4所述的基于文本-点云匹配的地点识别模型构建方法,其特征在于,所述步骤s5对候选点云子图进行精确地点回归过程为:

6.如权利要求5所述的基...

【专利技术属性】
技术研发人员:李振雨国宇辰乔晋崴尚天翼孔凡臣
申请(专利权)人:齐鲁工业大学山东省科学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1