基于多模态数据的三维点云数据语义类别分类方法及系统技术方案

技术编号:46406443 阅读:4 留言:0更新日期:2025-09-16 19:54
本发明专利技术属于点云数据处理技术领域,提供了一种基于多模态数据的三维点云数据语义类别分类方法及系统,首先预处理点云数据集并划分训练集和测试集,构建点云语义分割模型并进行预训练和优化,使用训练支持集和查询集微调训练基于多模态原型增强的小样本点云语义分割模型,得到训练好的小样本点云语义分割模型,将测试支持集和查询集输入到训练好的小样本点云语义分割模型中,训练好的小样本点云语义分割模型对输入点云进行语义分割,输出分割结果并用于计算分割性能。本发明专利技术通过深度挖掘点云几何结构、标签文本语义知识及2D深度图边界细节的协同价值,实现小样本点云语义分割任务中多模态信息的高效利用,为提升分割精度与泛化能力提供新路径。

【技术实现步骤摘要】

本专利技术属于点云数据处理,具体涉及一种基于多模态数据的三维点云数据语义类别分类方法及系统


技术介绍

1、点云语义分割是计算机视觉领域的前沿技术,旨在为3d点云中的每个点分配一个语义类别。点云语义分割为实现智能化、自动化的技术应用提供了关键的三维场景理解支持,如自动驾驶车辆的环境感知、智能机器人的导航与避障、虚拟现实环境的真实感增强等。

2、近些年,随着gpu加速技术的发展及计算能力的提升,深度学习在许多领域取得了突破性进展。在强大的深度网络和大规模数据集的推动下,全监督点云语义分割方法取得了显著的进展。然而,传统方法存在显著局限性:不仅高度依赖大规模有标签数据,导致数据标注过程耗时耗力,且在开放集场景下,无法分割从未出现过的新类别。

3、为应对上述挑战,近年来涌现出一系列小样本点云语义分割技术,旨在从少量标注点云(支持集)中高效提取语义特征,进而为未标注点云(查询集)中新型目标类别的精准分割提供有力支撑。小样本点云语义分割的难点在于如何高效利用有限的支持集,包括3d点云和地面真值分割掩码(gt掩码)。尽管近期部分小样本点云语义分本文档来自技高网...

【技术保护点】

1.一种基于多模态数据的三维点云数据语义类别分类方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多模态数据的三维点云数据语义类别分类方法,其特征在于,所述获取原始点云数据并进行预处理,将点云数据划分为包含已知类别的训练集与包含新类别的测试集,包括:

3.根据权利要求1所述的基于多模态数据的三维点云数据语义类别分类方法,其特征在于,所述点云语义分割模型包括有特征提取器、注意力学习器和度量学习器;

4.根据权利要求1所述的基于多模态数据的三维点云数据语义类别分类方法,其特征在于,步骤S3中,所述多模态原型间关系一致性损失函数包括:距离关系一致...

【技术特征摘要】

1.一种基于多模态数据的三维点云数据语义类别分类方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多模态数据的三维点云数据语义类别分类方法,其特征在于,所述获取原始点云数据并进行预处理,将点云数据划分为包含已知类别的训练集与包含新类别的测试集,包括:

3.根据权利要求1所述的基于多模态数据的三维点云数据语义类别分类方法,其特征在于,所述点云语义分割模型包括有特征提取器、注意力学习器和度量学习器;

4.根据权利要求1所述的基于多模态数据的三维点云数据语义类别分类方法,其特征在于,步骤s3中,所述多模态原型间关系一致性损失函数包括:距离关系一致性损失函数和角度关系一致性损失函数,分别用于约束两个原型的距离关系一致和三个原型间的角度关系一致,具体公式为:

5.根据权利要求4所述的基于多模态数据的三维点云数据语义类别分类方法,其特征在于,所述结合交叉熵损失对整体模型进行优化训练中,基于多模态原型间关系一致性损失函数和传统的交叉熵损失函数计算总体损失函数,计算公式为:

6.一...

【专利技术属性】
技术研发人员:游强李众张银刘杰
申请(专利权)人:人民中科北京智能技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1