【技术实现步骤摘要】
本申请涉及信息处理领域，更具体的说，是涉及一种自动驾驶的多任务感知方法和装置。
技术介绍
1、在自动驾驶中，需要对道路中的交通目标、可可行驶区域、车道线进行识别检测，为自动驾驶的规划决策模块提供相应的感知信息。当前自动驾驶中针对目标检测、可可行驶区域分割、车道线识别这三种任务，既有各自的单独算法，也有同时完成几种任务的多任务算法。
2、目前，应用于自动驾驶领域的yolop多任务网络，在yolov5的基础上做出改进，共享特征提取网络，可同时实现可可行驶区域、车道线、交通目标检测，成为可在嵌入式设备jetson tx2上运行的自动驾驶多任务网络。
3、但是，该yolov5属于目标识别算法中的单阶段算法，且属于anchor-based算法，该anchor-based算法通过预定义一组锚点(anchors)来进行目标检测。这些锚点是在图像中的固定位置和尺寸的框，它们代表了不同可能的目标位置和大小，模型通过预测这些锚点的偏移量来定位和分类目标。
4、但是，基于anchor based机制的算法进行目标检测，其检测类别少，精度和实时性无法满足自动驾驶需求。
技术实现思路
1、有鉴于此，本申请提供了一种自动驾驶的多任务感知方法和装置，如下：
2、一种自动驾驶的多任务感知方法，包括：
3、特征提取融合模型对于待识别图像进行特征提取和特征融合，得到至少两个预设尺寸的原始特征图集合；
4、目标检测模型采用回归规则对于所述原始特征图
5、车道线检测模型对于所述原始特征图集合进行处理，得到所述待识别图像中的车道线；
6、可行驶区域分割模型对于所述原始特征图集合进行处理，得到所述待识别图像中的可行驶区域，所述车道线检测模型和可行驶区域分割模型属于语义分割模型。
7、可选的，上述的自动驾驶的多任务感知方法，所述目标检测模型采用回归规则对于所述原始特征图集合进行至少两个维度的卷积分支预测，得到目标检测对象，包括：
8、目标检测模型的第一网络单元对于所述原始特征图集合进行通道数调整后，得到第一特征图集合；
9、所述目标检测模型中并行的两个处理分支分别处理所述第一特征图集合，得到第二特征图集合，所述处理分支包括两个串联的第二网络单元，第二网络单元和第一网络单元的网络层数不同；
10、所述目标检测模型的分类卷积单元、回归卷积单元和置信度卷积单元，对于所述第二特征图集合分别进行分类概率、坐标回归值和置信度概率分析，得到三个初始预测结果；
11、所述目标检测模型的输出单元依据所述三个初始预测结果分析，得到所述待识别图像中的目标检测对象。
12、可选的，上述的自动驾驶的多任务感知方法，所述车道线检测模型对于所述原始特征图集合进行处理，得到所述待识别图像中的车道线，包括：
13、车道线检测模型对于所述原始特征图集合依次进行至少两次上采样后，分别采用第一特征单元进行一次特征提取，得到第三特征图集合，所述第一特征单元不包括残差层；
14、车道线检测模型将所述第三特征图集合进行一次上采样后进行分割结果预测，得到所述待识别图像中的车道线。
15、可选的，上述的自动驾驶的多任务感知方法，所述特征提取融合模型包括特征提取模块和特征融合模块，所述特征提取融合模型对于所述待识别图像进行特征提取和特征融合，得到至少两个预设尺寸的原始特征图集合，包括：
16、特征提取模块的至少四个子网络依次对于所述待识别图像进行特征提取，得到第四特征图集合、第五特征图集合和第六特征图集合；
17、特征融合模块中多个子网络对于所述第四特征图集合、第五特征图集合和第六特征图集合先进行自下而上的特征融合后，再进行自上而下的特征融合，得到原始特征图集合，特征提取模块中至少四个子网络、所述特征融合模块中的多个子网络中的特征单元结构不同。
18、可选的，上述的自动驾驶的多任务感知方法，所述特征提取模块的至少四个子网络依次对于所述待识别图像进行特征提取，得到第四特征图集合、第五特征图集合和第六特征图集合，包括：
19、特征提取模块的第一子网络和第二子网络分别对于所述待识别图像进行特征提取，得到第四特征图集合，所述第一子网络包括第二特征单元，所述特征提取模块的第二子网络包括第三特征单元；
20、所述特征提取模块的第三子网络对于所述第四特征图集合进行特征提取，得到第五特征图集合，所述特征提取模块的第三子网络包括第三特征单元；
21、所述特征提取模块的第四子网络对于所述第五特征图进行特征提取，得到第六特征图集合，所述特征提取模块的第四子网络包括第一特征单元。
22、可选的，上述的自动驾驶的多任务感知方法，所述特征融合模块中多个子网络对于所述第四特征图集合、第五特征图集合和第六特征图集合先进行自下而上的特征融合后，再进行自上而下的特征融合，得到原始特征图集合，包括：
23、所述特征融合模块的第一子网络对于所述第六特征图集合进行特征整合，得到第七特征图集合后，对于所述第七特征图集合进行尺寸扩大，得到尺寸扩大后的第七特征图集合；
24、所述特征融合模块的第一叠加单元对于尺寸扩大后的第七特征图集合与所述第五特征图集合叠加，得到第一叠加特征图集合；
25、所述特征融合模块的第二子网络对于所述第一叠加特征图集合进行特征融合，得到第八特征图集合；
26、所述特征融合模块的第二子网络对于所述第八特征图集合进行尺寸扩大，得到尺寸扩大后的第八特征图集合；
27、所述特征融合模块的第二叠加单元对于尺寸扩大后的第八特征图集合与所述第四特征图叠加，得到第二叠加特征图集合；
28、所述特征融合模块的第三子网络对于所述第二叠加特征图集合进行特征融合，得到第九特征图集合；
29、所述特征融合模块的第三子网络对于所述第十特征图集合进行尺寸缩小，得到尺寸缩小后的第九特征图集合；
30、所述特征融合模块的第三叠加单元对于尺寸缩小后的第九特征图集合与所述第八特征图集合叠加，得到第三叠加特征图集合；
31、所述特征融合模块的第四子网络对于所述第三叠加特征图集合进行特征融合，得到第十特征图集合；
32、所述特征融合模块的第四子网络对于所述第十特征图集合进行尺寸缩小，得到尺寸缩小后的第十特征图集合；
33、所述特征融合模块的第四叠加单元对于尺寸缩小后的第十特征图集合与所述第七特征图集合叠加，得到第四叠加特征图集合；
34、所述特征融合模块的第五子网络对于所述第四叠加特征图集合进行特征融合，得到第十一特征图集合，所述第二叠加特征图集合、第九特征图集合、第十特征图集合和第十一特征图集合组成原始特征图集合，所述特征融合模块的第二子网络、所述特征融合模块的第三子网络、所述特征融合模块本文档来自技高网...
【技术保护点】
1.一种自动驾驶的多任务感知方法，其特征在于，包括：
2.根据权利要求1所述的自动驾驶的多任务感知方法，其特征在于，所述目标检测模型采用回归规则对于所述原始特征图集合进行至少两个维度的卷积分支预测，得到目标检测对象，包括：
3.根据权利要求1所述的自动驾驶的多任务感知方法，其特征在于，所述车道线检测模型对于所述原始特征图集合进行处理，得到所述待识别图像中的车道线，包括：
4.根据权利要求1所述的自动驾驶的多任务感知方法，其特征在于，所述特征提取融合模型包括特征提取模块和特征融合模块，所述特征提取融合模型对于所述待识别图像进行特征提取和特征融合，得到至少两个预设尺寸的原始特征图集合，包括：
5.根据权利要求4所述的自动驾驶的多任务感知方法，其特征在于，所述特征提取模块的至少四个子网络依次对于所述待识别图像进行特征提取，得到第四特征图集合、第五特征图集合和第六特征图集合，包括：
6.根据权利要求4所述的自动驾驶的多任务感知方法，其特征在于，所述特征融合模块中多个子网络对于所述第四特征图集合、第五特征图集合和第六特征图集合先进
7.根据权利要求1所述的自动驾驶的多任务感知方法，其特征在于，所述特征提取融合模型对于所述待识别图像进行特征提取和特征融合，得到至少两个预设尺寸的原始特征图集合之前，还包括：
8.根据权利要求7所述的自动驾驶的多任务感知方法，其特征在于，依据训练样本的真实标签以及所述目标预测结果得到第一损失函数，包括：
9.根据权利要求8所述的自动驾驶的多任务感知方法，其特征在于，所述基于目标预测结果中的预测候选框与训练样本中标签框确定目标回归损失、目标分类损失、目标分类置信度损失，包括：
10.一种自动驾驶的多任务感知装置，其特征在于，包括：
...【技术特征摘要】
1.一种自动驾驶的多任务感知方法，其特征在于，包括：
2.根据权利要求1所述的自动驾驶的多任务感知方法，其特征在于，所述目标检测模型采用回归规则对于所述原始特征图集合进行至少两个维度的卷积分支预测，得到目标检测对象，包括：
3.根据权利要求1所述的自动驾驶的多任务感知方法，其特征在于，所述车道线检测模型对于所述原始特征图集合进行处理，得到所述待识别图像中的车道线，包括：
4.根据权利要求1所述的自动驾驶的多任务感知方法，其特征在于，所述特征提取融合模型包括特征提取模块和特征融合模块，所述特征提取融合模型对于所述待识别图像进行特征提取和特征融合，得到至少两个预设尺寸的原始特征图集合，包括：
5.根据权利要求4所述的自动驾驶的多任务感知方法，其特征在于，所述特征提取模块的至少四个子网络依次对于所述待识别图像进行特征提取，得到第四特征图集合、第五特征图集合和第六特征图集合，包...
【专利技术属性】
技术研发人员：黄篷迟，王剑鑫，钟声峙，朱勇建，严格，李晓欢，尤虎，周文杰，黄慧琼，
申请(专利权)人：柳州五菱新能源汽车有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。