【技术实现步骤摘要】
本申请涉及智能驾驶领域，尤其涉及一种多任务感知网络的训练方法、设备及介质。
技术介绍
1、多任务智能驾驶视觉感知技术是智能驾驶的重要一环，可以帮助车辆更准确地感知和理解道路环境，提升智能驾驶的安全性和效能。
2、多任务智能驾驶视觉感知技术可以同时利用多任务感知网络完成两个或两个以上的任务，例如目标检测、车道线检测、可行驶区域检测等。现有技术中，多任务感知网络有multinet、dlt-net和yolop等多种类型，其中多任务感知性能更好的为全景驾驶感知网络yolop。yolop将可行驶区域检测、目标检测和车道线检测集成到同一检测网络中，可以共享特征网络参数，提升检测效率，节省计算资源，同时互相关联的检测任务能够互相促进，达到更好的检测结果。但是，yolop只共享了编码网络，没有考虑到可行驶区域分割和车道线分割的差异性，也没有考虑到目标多样性，导致模型检测精度相对较差，影响了环境感知的准确性和智能驾驶的安全性。
3、因此，需要一种能够提高模型检测精度，从而提高环境感知的准确性和智能驾驶的安全性的多任务感知网络的训练方案。
技术实现思路
1、本申请提供一种多任务感知网络的训练方法、设备及介质，用以解决现有的全景驾驶感知网络yolop检测精度相对较差，影响了环境感知的准确性和智能驾驶的安全性的技术问题。
2、第一方面，本申请提供一种多任务感知网络的训练方法，包括：
3、对全景驾驶感知网络yolop的主干网络和颈部网络进行模块增替，以构建得到
4、对自动驾驶数据集bdd进行数据增强处理，以得到预训练样本集；
5、根据所述预训练样本集以及网络优化目标函数，对所述初始的多任务感知网络进行预训练，以得到预训练网络，所述网络优化目标函数包括车道线检测的混合损失函数；
6、获取目标车辆驾驶数据集，并对所述目标车辆驾驶数据集进行数据增强处理，以得到应用样本集；
7、根据所述应用样本集对所述预训练网络进行迁移学习训练，以得到最终的多任务感知网络。
8、在一种可能的实施方式中，所述对全景驾驶感知网络yolop的主干网络和颈部网络进行模块增替，以构建得到初始的多任务感知网络，具体包括：
9、将所述主干网络中的c3模块替换为c2f模块，将spp模块替换为sppf模块，并将p3、p4和p5层中的卷积模块替换为可变形卷积dcv v3算子，以构建得到新的主干网络；
10、将所述颈部网络中的c3模块替换为c2f模块，并在上采样模块和函数模块之间增加视觉中心模块evcblock，以构建得到新的颈部网络；
11、根据所述新的主干网络，所述新的颈部网络，和所述全景驾驶感知网络yolop中的可行驶区域检测头、车道线检测头以及目标检测头，构建得到初始的多任务感知网络。
12、在一种可能的实施方式中，所述对自动驾驶数据集bdd进行数据增强处理，以得到预训练样本集，具体包括：
13、对于自动驾驶数据集bdd中的每一样本图像，
14、对所述样本图像进行光照畸变处理，以得到第一图像，所述光照畸变处理包括随机改变所述样本图像的对比度、和/或亮度、和/或对比度和/或噪声；
15、对所述样本图像进行几何畸变处理，以得到第二图像，所述几何畸变包括随机裁剪、和/或设定概率下的随机拼接、和/或缩放、和/或旋转；
16、根据所述样本图像、所述第一图像以及所述第二图像，生成预训练样本集；
17、其中，所述样本图像包括图像标注，所述图像标注的种类包括可行驶区域、车道线以及目标物。
18、在一种可能的实施方式中，所述根据所述预训练样本集以及网络优化目标函数，对所述初始的多任务感知网络进行预训练，以得到预训练网络，具体包括：
19、根据预设的初始参数对所述初始的多任务感知网络进行参数初始化设置；
20、根据所述预训练样本集中的每一图像，以及所述图像对应的图像标注，对参数初始化设置后的网络模型进行预训练；
21、在预训练过程中，利用网络优化目标函数对网络模型进行迭代训练，以得到参数优化后的预训练网络；
22、其中，所述网络优化目标函数l＝a1l1+a2l2+a3l3，a1、a2、a3为比例参数，所述l1表示可行驶区域检测头的第一损失函数，所述l2表示车道线检测头的第二损失函数，所述l3表示目标检测头的第三损失函数；所述第一损失函数为所述全景驾驶感知网络yolop中的可行驶区域检测头的损失函数；所述第二损失函数为由dice loss和focal loss组成的混合损失函数；所述第三损失函数为所述全景驾驶感知网络yolop中的目标检测头的损失函数。
23、在一种可能的实施方式中，所述获取目标车辆驾驶数据集，具体包括：
24、获取目标车辆的车载摄像头在干线物流场景下采集到的驾驶视频，所述驾驶视频是在不同天气、白天黑夜两种情形、以及不同驾驶背景下采集到的；
25、利用视频抽帧的方式对所述驾驶视频进行处理，以获取多帧驾驶图像；
26、对所述驾驶图像进行无关信息清洗和敏感信息脱敏，以获取可用驾驶图像，所述敏感信息包括用户隐私信息；
27、根据所述自动驾驶数据集bdd中图像标注的种类，对每一可用驾驶图像进行标注，以生成对应的第一标注；
28、根据所述自动驾驶数据集bdd中图像标注的格式，对每一可用驾驶图像的第一标注进行格式化处理，以生成第二标注；
29、根据每一可用驾驶图像，以及每一可用驾驶图像对应的第二标注，生成目标车辆驾驶数据集。
30、在一种可能的实施方式中，所述对所述目标车辆驾驶数据集进行数据增强处理，以得到应用样本集，具体包括：
31、对于所述目标车辆驾驶数据集中的每一可用驾驶图像，
32、对所述可用驾驶图像进行光照畸变处理，以得到第三图像，所述光照畸变处理包括随机改变所述可用驾驶图像的对比度、和/或亮度、和/或对比度和/或噪声；
33、对所述可用驾驶图像进行几何畸变处理，以得到第四图像，所述几何畸变包括随机裁剪、和/或设定概率下的随机拼接、和/或缩放、和/或旋转；
34、根据所述可用驾驶图像、所述第三图像以及所述第四图像，生成应用样本集。
35、在一种可能的实施方式中，所述根据所述应用样本集对所述预训练网络进行迁移学习训练，以得到最终的多任务感知网络，具体包括：
36、根据所述应用样本集中的每一图像，以及所述图像对应的第二标注，对所述预训练网络进行迁移学习训练；
37、在迁移学习训练过程中，利用所述网络优化目标函数对所述预训练网络进行迭代训练，以得到最终的多任务感知网络。
38、第二方面，本申请提供一种电子设备，包括：
39、模型构建模块，用于对全景驾驶感知网络yolop的主干网络和颈部网络进行本文档来自技高网...
【技术保护点】
1.一种多任务感知网络的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对全景驾驶感知网络YOLOP的主干网络和颈部网络进行模块增替，以构建得到初始的多任务感知网络，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述对自动驾驶数据集BDD进行数据增强处理，以得到预训练样本集，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述预训练样本集以及网络优化目标函数，对所述初始的多任务感知网络进行预训练，以得到预训练网络，具体包括：
5.根据权利要求4所述的方法，其特征在于，所述获取目标车辆驾驶数据集，具体包括：
6.根据权利要求5所述的方法，其特征在于，所述对所述目标车辆驾驶数据集进行数据增强处理，以得到应用样本集，具体包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述应用样本集对所述预训练网络进行迁移学习训练，以得到最终的多任务感知网络，具体包括：
8.一种电子设备，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器，
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种多任务感知网络的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对全景驾驶感知网络yolop的主干网络和颈部网络进行模块增替，以构建得到初始的多任务感知网络，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述对自动驾驶数据集bdd进行数据增强处理，以得到预训练样本集，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述预训练样本集以及网络优化目标函数，对所述初始的多任务感知网络进行预训练，以得到预训练网络，具体包括：
5.根据权利要求4所述的方法，其特征在于，所述获取目标车辆驾驶数据集，具体包...
【专利技术属性】
技术研发人员：黄娟娟，田磊，刘阳，王鹏程，
申请(专利权)人：中国重汽集团济南动力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。