一种基于图注意力网络的多任务场景理解方法技术

技术编号:43136464 阅读:24 留言:0更新日期:2024-10-29 17:41
本发明专利技术提供了一种基于图注意力网络的多任务场景理解方法。包括以下步骤:采集数据并进行标注记录,得到多模态数据集;基于多模态数据集,得到所有物体的类别信息;再寻找每个物体的相对位置信息并转换为全局位置信息,同时添加当前时间的环境信息生成综合数据表示;设计预设规则,生成场景模型;利用损失函数和图注意神经网络进行场景模型的迭代训练,得到训练好的场景模型并进行多种场景分析任务,通过场景分析结果推理场景的整体情况。本发明专利技术能够提升多模态数据融合效率、简化数据对齐和同步处理过程、全面集成与分析环境信息、增强全局场景理解能力、同时进行多种场景理解任务,实现对复杂场景的全面感知和智能推理。

【技术实现步骤摘要】

本专利技术涉及环境感知和场景理解,特别是涉及一种基于图注意力网络的多任务场景理解方法


技术介绍

1、在当前的技术背景下,智能移动设备(如自动导引车agv)在工业和商业环境中的应用越来越广泛。目前,agv通常搭载多种传感器进行数据采集,以实现具有自主避障和导航功能的巡检工作。典型的agv系统包括激光雷达(lidar)、相机、gps传感器等几类传感器。尽管这些传感器能够提供丰富的场景信息,但现有技术主要集中在对传感器数据的处理和应用上,缺乏对多传感器数据进行综合分析和全局理解的能力。例如,agv可以识别出前方有障碍物,但无法从整体上评估环境的拥挤程度、危险级别或其他特殊情况。且现有的技术方案很少涉及对感知到的环境进行整体理解的内容,只停留在机器对环境的感知和理解层面,人类很难对机器感知到的场景进行整体把握。

2、目前,场景理解技术在智能移动设备中的应用较少,主要局限于基本的环境感知和导航任务。部分技术开始尝试使用transformer结构进行场景理解任务,但仍存在计算复杂度高、多模态数据融合效果有限、环境变化适应能力不足、全局场景理解能力有限等不本文档来自技高网...

【技术保护点】

1.一种基于图注意力网络的多任务场景理解方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于图注意力网络的多任务场景理解方法,其特征在于,多模态数据集的生成过程为:

3.根据权利要求2所述的一种基于图注意力网络的多任务场景理解方法,其特征在于,利用多模态数据融合方法提取物体特征的过程为:

4.根据权利要求3所述的一种基于图注意力网络的多任务场景理解方法,其特征在于,所述综合数据表示的数据处理过程为:

5.根据权利要求4所述的一种基于图注意力网络的多任务场景理解方法,其特征在于,场景建模的过程为:

>6.根据权利要求5...

【技术特征摘要】

1.一种基于图注意力网络的多任务场景理解方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于图注意力网络的多任务场景理解方法,其特征在于,多模态数据集的生成过程为:

3.根据权利要求2所述的一种基于图注意力网络的多任务场景理解方法,其特征在于,利用多模态数据融合方法提取物体特征的过程为:

4.根据权利要求3所述的一种基于图注意力网络的多任务场景理解方法,其特征在于,所述综合数据表示的数据处理过程为:

5.根据权利要求4所述的一种基于图注意力网络的多任务场景理解方法,其特征在于,...

【专利技术属性】
技术研发人员:张晓平李乔辰王晶王力邢睿尧周萌刘世达杜涛段志杰
申请(专利权)人:北方工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1