基于跨模态空间超点的人车交互三维分割方法技术

本发明专利技术公开了一种基于跨模态空间超点的人车交互三维分割方法，包括以下步骤：步骤S1、文本特征编码器编码文本语言信息；步骤2、点云特征编码与超点生成；步骤3、超点几何特征融合；步骤4、分层特征匹配；步骤5、损失计算与训练。本发明专利技术的基于跨模态空间超点的人车交互三维分割方法，在人车交互与智能驾驶中，通过语言文本和点云的多模态融合，实现视觉特征信息与文本特征信息的匹配。通过文本和点云编码器经过归一化后统一特征尺度后输出具有语义和几何一致性的超点集合，分割并理解场景中的用户语言描述的对象，从而实现人车交互、智能导航、安全避障等。

【技术实现步骤摘要】

本专利技术涉及智能驾驶，具体涉及一种基于跨模态空间超点的人车交互三维分割方法。

技术介绍

1、在现代自动驾驶和智能人车交互中，根据用户指令对环境信息的精准理解与高效响应至关重要。三维交互式分割，输入为车辆环境的三维点云数据和用户对环境中某物体的语言描述，输出该物体的分割掩膜。该技术是实现车辆人车交互、智能导航、安全避障等复杂功能的基础。

2、目前，三维交互式分割技术主要分为三种：单阶段预测方法、基于实例匹配的预测方法、和基于超点的预测方法。单阶段预测方法是一种直接输入三维点云和用户交互信息后直接输出分割预测结果的方法。其优点是结构简单、速度快，缺点是泛化能力差、精度低、对复杂目标不稳定。基于实例匹配的预测方法是一种运用实例级的分割方法将点云中的不同物体进行分割，逐一与文本进行匹配，得到匹配度最高的结果。其优点是精度比单阶段预测高，缺点是匹配计算复杂、速度慢，在需要高响应速度的智能驾驶中难以应用。基于超点的预测方法是一种将点云分割为超点单元，将超点与输入的文本进行匹配，筛选出匹配度高的超点进行组合得到三维点云交互式分割结果的方法。该方法兼顾了速度本文档来自技高网...

【技术保护点】

1.一种基于跨模态空间超点的人车交互三维分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的人车交互三维分割方法，其特征在于，所述步骤S1具体为：

3.根据权利要求2所述的人车交互三维分割方法，其特征在于，所述步骤S2具体包括：

4.根据权利要求3所述的人车交互三维分割方法，其特征在于，所述步骤S3具体为：基于所述步骤S2.3得到的超点集合，采用KPConv提取并生成几何空间信息，生成超点空间特征；将超点特征与超点空间特征级联，从而输出融合几何信息的融合超点特征。

5.根据权利要求4所述的人车交互三维分割方法，其特征在于，所述步骤...

【技术特征摘要】

1.一种基于跨模态空间超点的人车交互三维分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的人车交互三维分割方法，其特征在于，所述步骤s1具体为：

3.根据权利要求2所述的人车交互三维分割方法，其特征在于，所述步骤s2具体包括：

4.根据权利要求3所述的人车交互三维分割方法，其特征在于，所述步骤s3具体为：基于所述步骤s2.3得到的...

【专利技术属性】
技术研发人员：石恒璨，赵紫璇，张睿琦，刘璐，陈柯舟，王耀南，
申请(专利权)人：湖南大学，
类型：发明
国别省市：