当前位置: 首页 > 专利查询>复旦大学专利>正文

基于隐式表达存储场景布局与物体信息的方法及应用方法技术

技术编号:43573458 阅读:14 留言:0更新日期:2024-12-06 17:41
本发明专利技术提供一种基于隐式表达感知存储场景布局与物体信息的方法,通过输入的图片序列数据,建立场景隐式编码预测得到的特征与通过大模型得到的特征的对比损失,利用在海量大规模互联网数据集中训练的大模型的知识,通过端到端的训练方式使得场景隐式编码学习场景中位置、区域、物体之间的关系,从而能够利用场景隐式编码同步建立空间坐标与物体语义信息、区域信息的映射,解决了传统场景理解算法无法理解场景布局信息的问题,因此可以借助区域信息完成之前难以做到的场景区域理解推理相关任务。此外,由于训练场景隐式编码所使用的目标特征为预测通过现有的视觉语言大模型得到的物体语义信息与区域信息,因此训练所需要的标注成本极低。

【技术实现步骤摘要】

本专利技术属于人工智能,具体涉及一种基于隐式表达感知存储场景布局与物体信息的方法以及该信息的应用方法。


技术介绍

1、空间认知是人类与动物在环境中实现长期自主活动的基本能力。将空间信息按尺度划分,可以分为包含场景级别的布局信息,例如房间、建筑物、道路等元素的位置、方向和连接关系;物体级别的内容信息,例如各种物体的属性、形状、大小和位置等。在空间信息中,区域信息是人类以及动物对空间信息进行认识、理解、表达的重要方式,也是许多下游任务,例如联想、推理、定位、导航的前提。如果机器人能够做到像人类一样理解场景中的空间区域关系,将可以完成空间区域推理、建立物体与区域联系、分辨存在于不同空间区域中的物体等任务,使得机器人能够具备更好的空间认知与理解能力。

2、对空间的认知与理解的研究中,当前大量研究工作聚焦在三维空间重建、物体或目标检测与分割等方面。但是,这些工作中很少有工作关注于场景的区域信息的建模与认知。缺少场景的区域信息将导致机器人对场景的理解不够充分,难以理解相关的指令。

3、最近大模型飞速发展为空间认知与理解提供了新的解决思路。在包含本文档来自技高网...

【技术保护点】

1.一种基于隐式表达感知存储场景布局与物体信息的方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

3.根据权利要求2所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

4.根据权利要求1所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

5.根据权利要求4所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

6.根据权利要求1所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

7.根据权利要求1所...

【技术特征摘要】

1.一种基于隐式表达感知存储场景布局与物体信息的方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

3.根据权利要求2所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

4.根据权利要求1所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

5.根据权利要求4所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

6.根据权利要求1所述的基于隐式表达感知存储场景布局与物体信息的方法,其特征在于:

【专利技术属性】
技术研发人员:薛向阳梁龙飞付彦伟侯佳伟
申请(专利权)人:复旦大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1