当前位置: 首页 > 专利查询>深圳大学专利>正文

多模态特征嵌入的室内三维场景理解方法及终端技术

技术编号:43386501 阅读:25 留言:0更新日期:2024-11-19 18:01
本发明专利技术公开了一种多模态特征嵌入的室内三维场景理解方法及终端,方法包括:获取二维图像以及预处理后的点云数据,并对所述二维图像以及所述预处理后的点云数据进行多模态特征提取;将提取到的多模态特征进行融合得到多模态融合特征,通过所述多模态融合特征优化多模态特征嵌入式室内三维场景理解模型;根据所述多模态特征嵌入式室内三维场景理解模型对所述预处理后的点云数据进行语义特征的提取,并输出语义分类优化结果;本发明专利技术提出新的基于Transformer的3D语义实例分割模型结合多模态特征进行室内三维场景理解的方法,提高室内三维场景理解的准确性和全面性。

【技术实现步骤摘要】

本专利技术涉及室内三维场景理解,尤其涉及的是多模态特征嵌入的室内三维场景理解方法及终端


技术介绍

1、目前,多模态特征嵌入在室内三维场景理解研究领域引起了广泛关注,为实现更全面和深刻的场景理解提供了关键技术支持,也反映了多模态特征融合的巨大潜力。首先,研究人员关注如何融合来自多个传感器的信息,包括 rgb 摄像头、深度传感器和激光雷达等。这些传感器提供了丰富的场景特征信息,如颜色、深度、距离和纹理,多模态融合有助于系统更全面地感知和理解室内环境。其次,语义分割和对象检测是该领域的关键任务,用于将场景分成不同的对象和区域,并检测其中的物体。

2、室内三维场景理解技术不仅在学术界引起广泛兴趣,还在众多实际应用领域发挥着重要作用。它被应用于室内导航、智能家居、安全监控等领域。例如,它可以用于构建智能家居系统,监测室内环境中的异常情况,或者协助机器人在室内环境中导航。

3、总的来说,多模态特征嵌入的室内三维场景理解研究领域正在不断演进,将在未来继续取得突破性进展。多模态数据融合使得计算机能够更充分的利用场景信息,进而更全面、准确地理解室内本文档来自技高网...

【技术保护点】

1.一种多模态特征嵌入的室内三维场景理解方法,其特征在于,包括:

2.根据权利要求1所述的多模态特征嵌入的室内三维场景理解方法,其特征在于,所述获取二维图像以及预处理后的点云数据,并对所述二维图像以及所述预处理后的点云数据进行多模态特征提取,包括:

3.根据权利要求2所述的多模态特征嵌入的室内三维场景理解方法,其特征在于,所述获取所述预处理后的点云数据,之前包括:

4.根据权利要求2所述的多模态特征嵌入的室内三维场景理解方法,其特征在于,所述对所述预处理后的点云数据进行多模态特征提取,并通过基于深度学习的3D语义实例分割模型进行实例分割,得到基于语义全...

【技术特征摘要】

1.一种多模态特征嵌入的室内三维场景理解方法,其特征在于,包括:

2.根据权利要求1所述的多模态特征嵌入的室内三维场景理解方法,其特征在于,所述获取二维图像以及预处理后的点云数据,并对所述二维图像以及所述预处理后的点云数据进行多模态特征提取,包括:

3.根据权利要求2所述的多模态特征嵌入的室内三维场景理解方法,其特征在于,所述获取所述预处理后的点云数据,之前包括:

4.根据权利要求2所述的多模态特征嵌入的室内三维场景理解方法,其特征在于,所述对所述预处理后的点云数据进行多模态特征提取,并通过基于深度学习的3d语义实例分割模型进行实例分割,得到基于语义全局特征、单个实例全局特征和基于多视图融合全局特征,包括:

5.根据权利要求2所述的多模态特征嵌入的室内三维场景理解方法,其特征在于,所述将提取到的多模态特征进行融合得到多模态融合特征,通过所述多模态融合特征优化多模态特征嵌入式室内三维场景理解模型,包括:

6.根据权利要求5所述的多模态特征嵌入的室内三维场景理解方法,其特征在于,所述将所述二维单个目标全局特征、所述基于语义全局特征、所述单个实例全局特征和所述基于多视图融合全局特征...

【专利技术属性】
技术研发人员:汤圣君王伟玺蔡本合李晓明谢林甫郭仁忠
申请(专利权)人:深圳大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1