多任务模型训练及图像处理方法、装置、设备及存储介质制造方法及图纸

技术编号:29675323 阅读:24 留言:0更新日期:2021-08-13 21:57
本申请提供一种多任务模型训练及图像处理方法、装置、设备及存储介质。方法包括:获取集装箱卡车行驶时周围环境的样本图像集;样本图像集包括图像识别多任务模型中各识别子任务的图像子集。每个图像子集中的样本图像存在至少一个标注信息。该标注信息包括训练该识别子任务所需的标注信息。使用样本图像集对图像识别多任务模型进行多轮训练,得到训练好的图像识别多任务模型。图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和;在第i轮训练过程中,识别子任务过拟合时所使用的子损失函数的权重小于识别子任务未过拟合时所使用的子损失函数的权重。本申请提高了集装箱卡车对周围环境图像进行处理的效率。

【技术实现步骤摘要】
多任务模型训练及图像处理方法、装置、设备及存储介质
本申请涉及计算机视觉技术,尤其涉及一种多任务模型训练及图像处理方法、装置、设备及存储介质。
技术介绍
集装箱卡车(简称集卡)主要在大型码头用于运输集装箱。集卡驾驶员通常作业时间较长,容易出现疲劳驾驶的风险。因此,人们提出了一种无人驾驶的智能集卡。上述智能集卡在工作中需要实现目标检测(例如检测障碍物)、图像分割(例如获取车辆的可行驶区域和不可行驶区域)、场景识别(例如识别车辆所处环境是码头还是集装箱箱区)等识别任务。然后,智能集卡可以将识别结果作为集卡路径规划、速度控制等进行驾驶控制的数据支撑。目前,主要通过神经网络模型实现上述识别任务,且不同识别任务对应的神经网络模型不同。也就是说,现有的智能集卡实现多种识别任务时,需要在车辆的电子控制单元中部署相应的多个神经网络模型。然而,神经网络模型大多结构复杂,多个神经网络模型需要占用较多的计算资源且计算速度较慢,进而可能导致集装箱卡车对行驶时周围环境的图像的处理效率较慢。
技术实现思路
本申请提供一种多任务模型训练及图像处理本文档来自技高网...

【技术保护点】
1.一种多任务模型的训练方法,其特征在于,所述方法包括:/n获取集装箱卡车行驶时周围环境的样本图像集;所述样本图像集包括图像识别多任务模型中各识别子任务的图像子集,每个识别子任务的图像子集包括至少一个样本图像,以及,所述样本图像的至少一个标注信息;所述至少一个标注信息包括训练所述识别子任务所需的标注信息;/n使用所述样本图像集对所述图像识别多任务模型进行多轮训练,得到训练好的图像识别多任务模型;所述图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和;在第i轮训练过程中,所述识别子任务过拟合时所使用的子损失函数的权重小于所述识别子任务未过拟合时所使用的子损失函数的权重,所述i为大于或...

【技术特征摘要】
1.一种多任务模型的训练方法,其特征在于,所述方法包括:
获取集装箱卡车行驶时周围环境的样本图像集;所述样本图像集包括图像识别多任务模型中各识别子任务的图像子集,每个识别子任务的图像子集包括至少一个样本图像,以及,所述样本图像的至少一个标注信息;所述至少一个标注信息包括训练所述识别子任务所需的标注信息;
使用所述样本图像集对所述图像识别多任务模型进行多轮训练,得到训练好的图像识别多任务模型;所述图像识别多任务模型的损失函数为各识别子任务的子损失函数的加权和;在第i轮训练过程中,所述识别子任务过拟合时所使用的子损失函数的权重小于所述识别子任务未过拟合时所使用的子损失函数的权重,所述i为大于或等于2的整数;所述图像识别多任务模型用于基于所述集装箱卡车行驶过程中采集的图像,获取所述图像的各识别子任务的识别结果。


2.根据权利要求1所述的方法,其特征在于,若所述子任务过拟合,则所述在第i轮训练过程中,所述识别子任务的子损失函数的权重为:
第i-1轮训练时所采用的子损失函数的权重与第一目标系数的乘积,所述第一目标系数为小于1的常数;所述第一目标系数为第一预设系数,或者,所述第一目标系数与i负相关。


3.根据权利要求1或2所述的方法,其特征在于,在第i轮训练过程中,所述识别子任务过拟合时所使用的学习率小于所述识别子任务未过拟合时所使用的学习率。


4.根据权利要求1或2所述的方法,其特征在于,所述使用所述样本图像集对所述图像识别多任务模型进行多轮训练,得到训练好的图像识别多任务模型,包括:
针对第i轮训练,从所述样本数据集的各识别子任务的图像子集中随机抽取预设数量的样本图像,得到第i轮训练的初始训练样本图像集;
确定所述初始训练样本图像集中是否存在缺失训练其他识别子任务所需的标注信息的目标样本图像;
若存在所述目标样本图像,则对所述目标样本图像缺失的标注信息进行标注填补,得到第i轮训练的训练样本图像集;所述训练样本图像集中每个样本图像均包括训练所有识别子任务所需的标注信息;其中,进行标注填补的样本图像不用于更新所述图像识别多任务模型在第i轮训练过程中标注填补对应的识别子任务的参数。


5.根据权利要求1或2所述的方法,其特征在于,在所述使用所述样本图像集对所述图像识别多任务模型进行多轮训练之前,还包括:
使用图像分类模型训练数据库中...

【专利技术属性】
技术研发人员:韩佳陆姚璐钱炜杨政何晓飞
申请(专利权)人:杭州飞步科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1