System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于多任务协同训练的通用场景目标检测模型训练方法、应用方法、计算机装置及计算机可读存储介质制造方法及图纸_技高网

基于多任务协同训练的通用场景目标检测模型训练方法、应用方法、计算机装置及计算机可读存储介质制造方法及图纸

技术编号:40874489 阅读:3 留言:0更新日期:2024-04-08 16:43
本发明专利技术提供一种基于多任务协同训练的通用场景目标检测模型训练方法、应用方法、计算机装置及计算机可读存储介质,其中,该训练方法包括:获取多个检测场景的场景图片;获取每一个检测场景的分类编号;对每一个检测场景对应的场景图片进行检测框标注和目标类别标注,得到标注图片数据;根据分类编号存储标注图片数据;构建并基于标注图片数据训练目标检测模型,包括:构建分类任务头,分类任务头用于区分输入图片对应的检测任务头;构建多任务检测头模型,多任务检测头模型包括多个检测任务头,检测任务头用于受分类任务头的指定确定输入图片的目标检测框;将标注图片数据输入目标检测模型进行训练。本发明专利技术可以实现区分检测场景并进行目标检测。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域,具体是涉及一种基于多任务协同训练的通用场景目标检测模型训练方法、应用方法、计算机装置及计算机可读存储介质


技术介绍

1、目标检测是目前计算机视觉领域应用最广泛的任务之一,其中包含了异常检测、行人检测、工业缺陷检测和文本检测等多个场景。在面对海量图像数据时可以通过模型自动定位到所需目标,极大减少了人工成本。

2、目前针对多目标检测,一般都是使用深度学习来实现的。对于不同的应用场景,所需要检测的目标类型不一致,因此都是将不同场景的检测任务独立进行数据标注、模型建模和训练。当一个系统所涉及到的目标场景较多时,便需要部署多个检测任务模型在系统上,这样会占用极大的显存资源。当需要添加更多的任务场景时,模型数量和显存资源占用都会线性增长,造成整个系统繁琐冗杂,运维成本高。

3、对于上述问题,已经有许多研究相继提出可能的解决方案。例如,在多个场景数据集上训练一个通用目标检测器,并通过加入不同监督来让模型获得鲁棒性,但该方案缺乏了对不同数据集之间的差异建模。又例如,将多个数据集的类别进行融合来训练一个通用检测头,但这需要将不同场景的重复目标合并,模型也无法很好区分目标所属场景。此外,还有将数据集的标注扩展到1000个类别,并以此收集和提出一个新的数据集,但这样无法覆盖现实生活中所有的任务场景,当添加新的场景时,又需要进行重复标签的合并和新标签的扩展,增加了数据集维护的难度。

4、可见,针对通用场景目标检测系统的开发和部署,如果采用多个模型部署以适应不同应用场景的方法,会造成极大的显存资源占用,对硬件设备有着较高的要求。而通过增加检测目标类别来训练一个通用检测器会使模型缺乏对不同场景数据的区分能力,对于类间距离较小的场景而言可能会提高误检的概率,并且对于数据集的标签处理、新数据的采集和维护难度都会提高。如何简单高效地管理和维护多场景数据,并将多个场景的目标检测任务结合形成单一的网络模型,且能准确区分输入数据的所属任务场景并检测其中目标,是目前待解决的问题。


技术实现思路

1、本专利技术的第一目的是提供一种可以实现通过一个模型实例解决多种检测场景的检测任务基于多任务协同训练的通用场景目标检测模型训练方法。

2、本专利技术的第二目的是提供一种应用上述训练方法得到的目标检测模型的基于多任务协同训练的通用场景目标检测模型应用方法。

3、本专利技术的第三目的是提供一种包括上述基于多任务协同训练的通用场景目标检测模型训练方法及应用方法的计算机装置。

4、本专利技术的第四目的是提供一种包括上述基于多任务协同训练的通用场景目标检测模型训练方法及应用方法的计算机装置。

5、为了实现上述的第一目的,本专利技术提供的一种基于多任务协同训练的通用场景目标检测模型训练方法,其中,包括以下步骤:获取多个检测场景的场景图片;获取每一个检测场景的分类编号;对每一个检测场景对应的场景图片进行检测框标注和目标类别标注,得到标注图片数据;根据分类编号存储标注图片数据;构建并基于标注图片数据训练目标检测模型,其中,构建和训练目标检测模型包括:构建分类任务头,分类任务头用于区分输入图片对应的检测任务头;构建多任务检测头模型,多任务检测头模型包括多个检测任务头,检测任务头与检测场景一一对应,检测任务头用于基于分类任务头确定输入图片的目标检测框;将标注图片数据输入目标检测模型进行训练,包括根据标注图片数据对应的分类编号确定标注图片数据对应的检测任务头。

6、由上述方案可见,本专利技术不同的检测场景分别构建检测任务头,并引申了一个分类任务头进行辅助协同学习,可以将多个检测场景的检测任务通过一个目标检测模型进行,并且该目标检测模型可以适配任意主流检测网络的backbone。本专利技术得到的目标检测模型在推理时,分类任务头可以对输入数据进行分类,确定输入数据对应的检测场景的检测任务头,进而通过检测任务头进行检测,从而实现通用场景目标检测。目标检测模型在训练时,利用分类任务头学习不同检测场景数据之间的差异性,让构建的目标检测模型对不同检测场景的分类和检测更具鲁棒性。此外,由于不同检测任务头是并行独立的,因此不同的检测场景的数据集可以进行独立标注,不用考虑标签的合并对齐。

7、进一步的方案是,在构建并基于标注图片数据训练目标检测模型时,在检测任务头前连接一个权重参数为低秩矩阵的轻量级网络模型。

8、由此可见,可以通过增量训练的方式对一个检测场景对应的检测任务头进行优化微调。

9、进一步的方案是,在构建并基于标注图片数据训练目标检测模型时,在检测任务头添加先验框。

10、由此可见,可以通过先验框增加目标检测模型的先验知识。

11、进一步的方案是,构建并基于标注图片数据训练目标检测模型时,在计算损失函数时,将多个检测任务头的损失进行加权叠加。

12、由此可见,本专利技术在训练过程中还能利用多个检测任务头损失函数来指导主干网络以学习更鲁棒的视觉表征。通过多个检测任务头的损失函数进行加权叠加,并与分类任务头的损失函数结合进行反向传播的协同训练方式,可以指导backbone学习不同场景数据之间的差异,让模型更具泛化能力。

13、进一步的方案是,在构建并基于标注图片数据训练目标检测模型时,设定backbone为cspdarknet、vgg或resnet,以及设定neck为fpn。

14、为了实现上述的第二目的,本专利技术提供的一种基于多任务协同训练的通用场景目标检测模型的应用方法,其中:获取上述的目标检测模型;获取不同场景的待检测图片;将待检测图片输入目标检测模型;从目标检测模型获取识别后图片。

15、由上述方案可见,本专利技术通过上述训练方法得到的目标检测模型,可以实现通过一个目标检测模型实现不同检测场景的目标检测,且模型的部署可以极大降低显存资源的消耗。

16、为了实现上述的第三目的,本专利技术提供的一种计算机装置,包括处理器与存储器,其中:存储器上存储有计算机程序,计算机程序被处理器执行时实现上述的基于多任务协同训练的通用场景目标检测模型训练方法或上述的基于多任务协同训练的通用场景目标检测模型的应用方法。

17、为了实现上述的第四目的,本专利技术提供的计算机可读存储介质,其上存储有计算机程序,其中:计算机程序处理器执行时实现上述的基于多任务协同训练的通用场景目标检测模型训练方法或上述的基于多任务协同训练的通用场景目标检测模型的应用方法。

本文档来自技高网...

【技术保护点】

1.一种基于多任务协同训练的通用场景目标检测模型训练方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于多任务协同训练的通用场景目标检测模型训练方法,其特征在于:

3.如权利要求1所述的基于多任务协同训练的通用场景目标检测模型训练方法,其特征在于:

4.如权利要求1所述的基于多任务协同训练的通用场景目标检测模型训练方法,其特征在于:

5.如权利要求1所述的基于多任务协同训练的通用场景目标检测模型训练方法,其特征在于:

6.一种基于多任务协同训练的通用场景目标检测模型的应用方法,其特征在于:

7.计算机装置,包括处理器与存储器,其特征在于:

8.计算机可读存储介质,其上存储有计算机程序,其特征在于:

【技术特征摘要】

1.一种基于多任务协同训练的通用场景目标检测模型训练方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于多任务协同训练的通用场景目标检测模型训练方法,其特征在于:

3.如权利要求1所述的基于多任务协同训练的通用场景目标检测模型训练方法,其特征在于:

4.如权利要求1所述的基于多任务协同训练的通用场景目标...

【专利技术属性】
技术研发人员:张刚瀚薛闯陈志衔李志豪吴成军陈家荣
申请(专利权)人:远光软件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1