多任务感知识别模型的构建方法以及多任务感知识别方法技术

本发明专利技术提供了一种多任务感知识别模型的构建方法的方法，该多任务感知识别模型的构建方法包括：获取多张样本图像，每一张样本图像中包括物体对象的标签标注和道路对象的分割标注，标签标注包括表示物体对象的标注框、表示物体对象类别的第一类别标签以及表示物体对象姿态的第二类别标签，分割标注包括表示道路对象的目标区域；将多张样本图像输入初始多任务感知识别模型中进行迭代训练得到目标多任务感知识别模型，其中，初始多任务感知识别模型包括特征提取模块、多目标多属性识别模块和分割预测模块。本发明专利技术还提供了一种多任务感知识别方法、多任务感知识别模型、计算机可读存储介质以及自动驾驶设备。存储介质以及自动驾驶设备。存储介质以及自动驾驶设备。

【技术实现步骤摘要】
多任务感知识别模型的构建方法以及多任务感知识别方法


[0001]本专利技术涉及自动驾驶领域，尤其涉及一种多任务感知识别模型的构建方法、多任务感知识别方法、多任务感知识别模型、计算机可读存储介质以及自动驾驶设备。

技术介绍

[0002]现有自动驾驶技术中，大多数任务都是用一个网络完成的，不同的网络完成不同的任务，而多任务学习是机器学习中的一种常见的方法，它允许使用共享的结构来训练多个目标。研究表明，通过一起训练多个任务，可以节省推理时间和计算资源，而多个目标任务的性能则保持在相似甚至更高的水平，更重要的是，与单个任务网络相比减少了推理时间，减少了网络大小。多个任务相互关联的训练，有时甚至可以提高训练和预测的质量。当网络接收到相同类型的输入时，很可能会提取出类似的特征。在这种情况下，一个共享的检测网络就可以充分利用这些输入特征的相似语义。此外，从硬件的角度来看，共享特性处理步骤可以减少延迟、减少存储空间。在目前特定任务的网络中，通常由两部分组成，一部分是用于提取特征的主干网络，另一部分用于生成特定任务输出的分支。
[0003]除此之外，大多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务感知识别模型的构建方法，其特征在于，所述多任务感知识别模型的构建方法包括：获取多张样本图像，每一张样本图像中包括物体对象的标签标注和道路对象的分割标注，所述标签标注包括表示所述物体对象的标注框、表示所述物体对象类别的第一类别标签以及表示所述物体对象姿态的第二类别标签，所述分割标注包括表示道路对象的目标区域，所述多张样本图像是利用设置于车辆不同角度的感知设备获取的原始图像经过预设处理得到的；以及将所述多张样本图像输入初始多任务感知识别模型中进行迭代训练得到目标多任务感知识别模型，其中，所述初始多任务感知识别模型包括特征提取模块、多目标多属性识别模块和分割预测模块；将所述多张样本图像输入所述特征提取模块中提取得到多种不同倍数的下采样特征图；将所述多种不同倍数的下采样特征图输入所述多目标多属性识别模块进行特征融合得到多目标多属性识别结果，根据所述多目标多属性识别结果计算出多目标多属性识别损失值，将所述多目标多属性识别损失值反向传播至所述特征提取模块和所述多目标多属性识别模块对所述特征提取模块和所述多目标多属性识别模块的参数进行更新；将所述多种不同倍数的下采样特征图输入所述分割标注模块进行上采样得到分割预测结果，根据所述分割预测结果得到分割损失值，将所述分割损失值反向传播至所述特征提取模块和所述分割预测模块对所述特征提取模块和所述分割预测模块的参数进行更新。2.如权利要求1所述的多任务感知识别模型的构建方法，其特征在于，所述特征提取模块是在YOLOv5的主干网络基础上将3x3卷积层添加平行的1x1卷积分支和恒等映射分支所构成的特征提取网络。3.如权利要求1所述的多任务感知识别模型的构建方法，其特征在于，所述多目标多属性识别模块包括金字塔网络、PAN网络、两个分类分支、一个置信度分支和第一损失值计算单元，所述金字塔网络和所述PAN网络用于将所述多种不同倍数的下采样特征图进行特征融合得到融合特征图；所述两个分类分支和所述一个置信度分支用于根据所述融合特征图得到多目标多属性识别结果；所述第一损失值计算单元用于根据所述多目标多属性识别结果计算所述多目标多属性识别损失值。4.如权利要求1所述的多任务感知识别模型的构建方法，其特征在于，所述分割预测模块包括上采样模块、concat模块、CSP Bottleneck模块、分割预测分支和第二损失值计算单元，所述上采样模块、concat模块和CSP Bottleneck模块用于将所述多种不同倍数的下采样特征图处理为与所述样本图像大小一致的像素图像，所述分割预测分支用于将所述像素图像进行...

【专利技术属性】
技术研发人员：朱朝，刘国清，杨广，王启程，郑伟，董颖，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：