一种低算力的自动驾驶实时多任务感知方法及装置制造方法及图纸

技术编号:40078892 阅读:29 留言:0更新日期:2024-01-17 02:08
本申请提供一种低算力的自动驾驶实时多任务感知方法及装置,其中的方法包括:获取当前时刻的目标场景的RGB图像;利用预先训练完成的主干网络对RGB图像进行处理,得到五个尺度递减的特征图;从尺度最小的特征图开始逐层进行上采样和融合处理,得到第一分支输出的特征图;利用预先训练完成的语义分割模型对第一分支输出的特征图进行处理,得到可行驶区域与车道线分割结果;对第一分支中的部分特征图进行下采样和融合处理,得到第二分支输出的三个尺度不同的特征图;利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理,得到三个目标检测结果。本申请在低算力条件下有效地提高自动驾驶感知的性能和准确度。

【技术实现步骤摘要】

本申请涉及自动驾驶,尤其是涉及一种低算力的自动驾驶实时多任务感知方法及装置


技术介绍

1、自动驾驶领域多任务学习是指让自动驾驶系统同时完成多个相关的驾驶任务,如车辆目标检测、可行驶区域分割、车道线分割等,以提高系统的性能和效率。实时自动驾驶感知要求多任务学习必须同时具备速度和精度。现有多任务学习方法基本是通过编码器提取特征,之后承接双向特征金字塔网络,其中自顶向下的单向特征金字塔网络输出分别输入到可行驶区域分割模块与车道线分割模块,自底向上的单向特征金字塔网络输出到车辆目标检测模块。总损失则由分割损失与检测损失相加得到。

2、现有基于自动驾驶的多任务学习方法都是采用通用的编码器提取特征,特征金字塔网络进行特征融合后分别进行语义分割与车辆目标检测任务,只是将单任务方法组合为多任务方法而已。这种方法虽然简单有效,但效果有限,且不同任务之间互相影响。具体来说,现有基于自动驾驶的多任务学习存在以下问题:

3、可行驶区域分割和车道线分割任务往往是作为两个任务单独进行训练与推理,如此会导致有更多的网络参数需要学习,降低了训练速度,提高了训练成本文档来自技高网...

【技术保护点】

1.一种低算力的自动驾驶实时多任务感知方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,五个尺度递减的特征图包括:第一特征图、第二特征图、第三特征图、第四特征图和第五特征图;

3.根据权利要求1所述的方法,其特征在于,对第一分支中的部分特征图进行上采样和融合处理,得到第二分支输出的三个尺度不同的特征图;利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理,得到三个目标检测结果;包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:对主干网络、...

【技术特征摘要】

1.一种低算力的自动驾驶实时多任务感知方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,五个尺度递减的特征图包括:第一特征图、第二特征图、第三特征图、第四特征图和第五特征图;

3.根据权利要求1所述的方法,其特征在于,对第一分支中的部分特征图进行上采样和融合处理,得到第二分支输出的三个尺度不同的特征图;利用预先训练完成的三个检测头分别对三个尺度不同的特征图进行处理,得到三个目标检测结果;包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:对主干网络、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、语义分割模型、第一检测头、第二检测头和第三检测头进行训练的步骤。

6.根据权利要求5所述的方法,其特征在于...

【专利技术属性】
技术研发人员:李志伟施晓强潘郑王坤峰谢晓明张智禹王景微刘景硕
申请(专利权)人:北京化工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1