当前位置: 首页 > 专利查询>辉达公司专利>正文

在环境重建系统和应用中使用大语言模型增强感知数据技术方案

技术编号:43744999 阅读:17 留言:0更新日期:2024-12-20 13:04
本发明专利技术公开了在环境重建系统和应用中使用大语言模型增强感知数据,具体公开了使用语言模型生成物理环境的标记化描述的方法。在至少一个实施例中,可以获得环境的传感器和/或观测数据,并用于生成感知数据集合。可以分析感知数据以及环境内的近似位置数据,以识别对齐的地图数据集合。对齐的地图数据和感知数据可以作为输入被提供给经训练的语言模型,语言模型可以被训练为关联和/或融合信息以生成环境的单个一致表示。语言模型可以输出环境的标记化描述,该标记化描述可以是用特定领域的语言的,即环境的紧凑但鲁棒的文本描述。

【技术实现步骤摘要】


技术介绍

1、存在可能需要生成或重建符合真实世界的规则和约束的逼真的数字和/或虚拟环境的各种操作,诸如可涉及自主或半自主导航,以及机器人模拟。例如,地图(诸如高清(hd)地图、标清(sd)地图、导航地图等)被广泛地依赖以用于半自主和自主操作。自主或半自主车辆和机器可能依赖这些地图以及实时传感器数据以进行导航、定位、路径或路线规划和/或其他操作。例如,对于诸如负责自主车辆操作的那些系统之类的系统,感知模块可以与地图(mapping)模块一起工作,以允许这样的地图与感知模型能够实时地从传感器数据推理出的内容对齐。这种对齐首先需要通过诸如全球定位系统(gps)之类的机制来获得精确的自我车辆位置,以确定相关的局部地图数据,然后将局部地图数据与感知数据相关联。这种方法通常对位置数据的准确性和可用性非常敏感,并对地图质量和新鲜度提出了严格的要求。感知模块和地图模块的分离还阻止了整体解决方案被用于解决感知结果与地图数据之间的不一致。此外,当没有可用的地图时,感知模块必须负责实时地、高准确度地检测自我汽车周围的所有驾驶相关对象,即使许多驾驶相关对象(诸如车道、标志或路缘本文档来自技高网...

【技术保护点】

1.一种方法,包括:

2.如权利要求1所述的方法,进一步包括:

3.如权利要求2所述的方法,其中所述观测结果集合和所述局部地图数据是与所述机器在所述物理环境中的当前位置有关来确定的,并且其中所述一个或更多个操作对应于规划、控制或导航中的至少一者。

4.如权利要求1所述的方法,进一步包括:

5.如权利要求4所述的方法,进一步包括:

6.如权利要求1所述的方法,其中所述经训练的语言模型将所述观测结果集合的一部分与所述局部地图数据进行融合以生成所述环境的所述一部分的单个一致表示,并且其中所述标记化描述是部分地基于所述单个一致表示而生成...

【技术特征摘要】

1.一种方法,包括:

2.如权利要求1所述的方法,进一步包括:

3.如权利要求2所述的方法,其中所述观测结果集合和所述局部地图数据是与所述机器在所述物理环境中的当前位置有关来确定的,并且其中所述一个或更多个操作对应于规划、控制或导航中的至少一者。

4.如权利要求1所述的方法,进一步包括:

5.如权利要求4所述的方法,进一步包括:

6.如权利要求1所述的方法,其中所述经训练的语言模型将所述观测结果集合的一部分与所述局部地图数据进行融合以生成所述环境的所述一部分的单个一致表示,并且其中所述标记化描述是部分地基于所述单个一致表示而生成的。

7.如权利要求1所述的方法,其中所述一个或更多个操作是特定于领域的,并且其中所述标记化描述是用对应于所述领域的领域特定语言生成的。

8.如权利要求1所述的方法,其中所述标记化描述包括用于所述物理环境中的静态对象和动态对象的标记。

9.如权利要求1所述的方法,其中所述语言模型使用所述环境的所述一部分的不完整的局部地图数据或不完整的观测结果集合生成所述标记化描述。

10.如权利要求1所述的方法,其中所述标记化描述是用道路拓扑语言rtl或其他领域特定语言dsl编写的。

11.如权利要求1所述的方法,其中所述标记化描述是基于所述观测结果集合中的特征的语义、拓扑、几何结构、运...

【专利技术属性】
技术研发人员:吴双D·拉普莱斯G·丛M·惠勒
申请(专利权)人:辉达公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1