System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 使用多模态感知数据融合控制车辆的方法和系统技术方案_技高网

使用多模态感知数据融合控制车辆的方法和系统技术方案

技术编号:40178242 阅读:5 留言:0更新日期:2024-01-26 23:45
提供了用于控制车辆的系统和方法。该系统和方法从所述车辆的至少一个相机接收可见图像数据帧并且从感知传感器接收不可见感知数据帧。该系统和方法融合所述不可见感知数据帧和所述可见图像数据帧,以提供感知数据融合帧。基于所述感知数据融合帧,使用神经网络执行物体检测、分类和跟踪,以提供物体检测数据。基于所述物体检测数据控制所述车辆的转向、推进和/或制动。

【技术实现步骤摘要】

本公开总体上涉及车辆,并且更具体地,涉及使用感知数据控制车辆自动化特征的系统和方法。


技术介绍

1、自主车辆是一种能够在几乎没有或没有用户输入的情况下感测其环境并进行导航的车辆。自主车辆使用诸如雷达、激光雷达和图像传感器等提供感知数据的感测设备来感测其环境。自主车辆系统还使用来自全球定位系统(gps)技术、导航系统、车对车通信、车对基础设施技术和/或线控系统的信息来导航车辆。

2、车辆自动化已经被分类为从零到五的数字级别,零对应于完全人工控制的无自动化,五对应于没有人工控制的完全自动化。诸如巡航控制、自适应巡航控制和停车辅助系统的各种自动驾驶员辅助系统对应于较低的自动化水平,而真正的“无人驾驶”车辆对应于较高的自动化水平。

3、一些现有系统从不同的感测模态获取感知数据,并且具有单独的物体检测处理流水线。然后,可以融合来自每个流水线的物体检测结果,以提供用于车辆功能的自动控制的总体感知结果。这种多流水线架构可能会增加处理成本,并且还可能导致一些感知数据在检测和跟踪物体时变得无用,这是因为对于给定的感知模态,整个帧中或帧的某些区域中的感知数据的质量较差。

4、因此,期望提供在组合来自超过一种类型的感知传感器的感知数据时可以保持或提高感知性能并降低处理复杂性的系统和方法。此外,结合附图以及前述

技术介绍
,根据随后的详细描述和所附权利要求,本专利技术的其他期望的特征和特性将变得显而易见。


技术实现思路

1、提供了用于控制车辆的系统和方法。

2、在第一方面中,提供了一种控制车辆的方法。该方法包括:通过处理器从所述车辆的相机接收可见图像数据帧;通过所述处理器从感知传感器接收不可见感知数据帧;通过所述处理器融合所述不可见感知数据帧和所述可见图像数据帧,以提供感知数据融合帧;通过所述处理器,基于所述感知数据融合帧而使用神经网络执行物体检测、分类和跟踪,以提供物体检测数据;和通过所述处理器,基于所述物体检测数据控制所述车辆的转向、推进和/或制动。

3、在实施例中,该方法包括:通过所述处理器确定所述可见图像数据帧的可用性评分,并且当所述可用性评分小于预定值时,通过所述处理器,基于所述感知数据融合帧而使用所述神经网络执行所述物体检测、分类和跟踪,并且当所述可用性评分大于所述预定值时,通过所述处理器,基于所述可见图像数据帧而使用所述神经网络执行所述物体检测、分类和跟踪。

4、在实施例中,所述可用性评分是基于以下参数中的一个或多个而确定的:对比度的重复恒定变化、信噪比(snr)、亮度和边缘数量。

5、在实施例中,该方法包括:通过所述处理器对齐所述不可见感知数据帧和所述可见图像数据帧,以提供融合成所述感知数据融合帧的对齐帧。

6、在实施例中,通过所述处理器对齐包括以下步骤中的一个或多个:检测所述不可见感知数据帧和所述可见图像数据帧中的物体,并且对齐所述物体;和检测所述不可见感知数据帧和所述可见图像数据帧中的边缘,并且对齐所述边缘。

7、在实施例中,所述不可见感知数据帧是通过将点云转换成二维帧而产生的。

8、在实施例中,所述感知数据融合帧包括在上部区域中的所述可见图像数据帧的一部分和在所述上部区域外的所述不可见感知数据帧的一部分。

9、在实施例中,该方法包括:通过所述处理器从激光雷达、雷达或红外感知传感器接收所述不可见感知数据帧。

10、在实施例中,该方法包括:通过所述处理器从第一类型感知传感器接收所述不可见感知数据帧;通过所述处理器从另一种类型的感知传感器接收不可见感知数据的第二帧;和通过所述处理器融合所述不可见感知数据帧、所述不可见感知数据的第二帧和所述可见图像数据帧,以提供所述感知数据融合帧。

11、在实施例中,所述第一类型感知传感器和所述第二类型感知传感器选自短波红外感知传感器、长波红外感知传感器、激光雷达和雷达的组合。

12、在实施例中,所述感知数据融合帧包括在顶部区域中的可见图像数据、在横向区域处的雷达或激光雷达感知数据和在中心区域中的红外感知数据。

13、在另一方面中,提供了一种用于车辆的车辆系统。该系统包括:相机;感知传感器;与所述相机和所述感知传感器可操作地通信的处理器。所述处理器被配置为执行程序指令。所述程序指令被配置为使所述处理器:从所述相机接收可见图像数据帧;从感知传感器接收不可见感知数据帧;融合所述不可见感知数据帧和所述可见图像数据帧,以提供感知数据融合帧;基于所述感知数据融合帧,使用神经网络执行物体检测、分类和跟踪,以提供物体检测数据;和基于所述物体检测数据控制所述车辆的转向、推进和/或制动。

14、在实施例中,所述程序指令被配置为使所述处理器:确定所述可见图像数据帧的可用性评分,并且当所述可用性评分小于预定值时,基于所述感知数据融合帧而使用所述神经网络执行所述物体检测、分类和跟踪,并且当所述可用性评分大于所述预定值时,基于所述可见图像数据帧而使用所述神经网络执行所述物体检测、分类和跟踪。

15、在实施例中,所述可用性评分是基于以下参数中的一个或多个而确定的:对比度的重复恒定变化、信噪比(snr)、亮度和边缘数量。

16、在实施例中,所述程序指令被配置为使所述处理器:对齐所述不可见感知数据帧和所述可见图像数据帧,以提供融合成所述感知数据融合帧的对齐帧。

17、实施例中,对齐包括以下步骤中的一个或多个:检测所述不可见感知数据帧和所述可见图像数据帧中的物体,并且对齐所述物体;和检测所述不可见感知数据帧和所述可见图像数据帧中的边缘,并且对齐所述边缘。

18、在实施例中,所述不可见感知数据帧是通过将点云转换成二维帧而产生的。

19、在实施例中,所述感知数据融合帧包括在上部区域中的所述可见图像数据帧的一部分和在所述上部区域外的所述不可见感知数据帧的一部分。

20、在实施例中,所述程序指令被配置为使所述处理器:从激光雷达、雷达或红外感知传感器接收所述不可见感知数据帧。

21、在实施例中,所述程序指令被配置为使所述处理器:从第一类型感知传感器接收所述不可见感知数据帧;从另一种类型的感知传感器接收不可见感知数据的第二帧;和融合所述不可见感知数据帧、所述不可见感知数据的第二帧和所述可见图像数据帧,以提供所述感知数据融合帧。

本文档来自技高网
...

【技术保护点】

1.一种控制车辆的方法,所述方法包括:

2.根据权利要求1所述的方法,包括:通过所述至少一个处理器确定所述可见图像数据帧的可用性评分,并且当所述可用性评分小于预定值时,通过所述至少一个处理器,基于所述感知数据融合帧而使用所述至少一个神经网络执行所述物体检测、分类和跟踪,并且当所述可用性评分大于所述预定值时,通过所述至少一个处理器,基于所述可见图像数据帧而使用所述至少一个神经网络执行所述物体检测、分类和跟踪。

3.根据权利要求2所述的方法,其中,所述可用性评分是基于以下参数中的至少一个而确定的:对比度的重复恒定变化、信噪比(SNR)、亮度和边缘数量。

4.根据权利要求1所述的方法,包括:通过所述至少一个处理器对齐所述不可见感知数据帧和所述可见图像数据帧,以提供融合成所述感知数据融合帧的对齐帧。

5.根据权利要求4所述的方法,其中,通过所述至少一个处理器对齐包括以下步骤中的至少一个:

6.根据权利要求1所述的方法,其中,所述不可见感知数据帧是通过将点云转换成二维帧而产生的。

7.根据权利要求1所述的方法,包括:通过所述至少一个处理器从激光雷达、雷达或红外感知传感器接收所述不可见感知数据帧。

8.根据权利要求1所述的方法,包括:通过所述至少一个处理器从第一类型感知传感器接收所述不可见感知数据帧;通过所述至少一个处理器从另一种类型的感知传感器接收不可见感知数据的第二帧;和通过所述至少一个处理器融合所述不可见感知数据帧、所述不可见感知数据的第二帧和所述可见图像数据帧,以提供所述感知数据融合帧。

9.根据权利要求9所述的方法,其中,所述第一类型感知传感器和所述第二类型感知传感器选自短波红外感知传感器、长波红外感知传感器、激光雷达和雷达的组合。

10.一种用于车辆的车辆系统,所述系统包括:

...

【技术特征摘要】

1.一种控制车辆的方法,所述方法包括:

2.根据权利要求1所述的方法,包括:通过所述至少一个处理器确定所述可见图像数据帧的可用性评分,并且当所述可用性评分小于预定值时,通过所述至少一个处理器,基于所述感知数据融合帧而使用所述至少一个神经网络执行所述物体检测、分类和跟踪,并且当所述可用性评分大于所述预定值时,通过所述至少一个处理器,基于所述可见图像数据帧而使用所述至少一个神经网络执行所述物体检测、分类和跟踪。

3.根据权利要求2所述的方法,其中,所述可用性评分是基于以下参数中的至少一个而确定的:对比度的重复恒定变化、信噪比(snr)、亮度和边缘数量。

4.根据权利要求1所述的方法,包括:通过所述至少一个处理器对齐所述不可见感知数据帧和所述可见图像数据帧,以提供融合成所述感知数据融合帧的对齐帧。

5.根据权利要求4所述的方法,其中,通过所述至少一个处...

【专利技术属性】
技术研发人员:S·V·阿鲁卢S·P·林登塔尔B·优斯夫·迪克A·阿特里斯
申请(专利权)人:通用汽车环球科技运作有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1