当前位置: 首页 > 专利查询>浙江大学专利>正文

面向应用侧资源受限场景的计算机视觉多任务模型方法技术

技术编号:41496730 阅读:28 留言:0更新日期:2024-05-30 14:40
面向应用侧资源受限场景的计算机视觉多任务模型方法,计算机视觉多任务模型包括一个特征提取器、一个特征金字塔网络以及多个预测器,计算机视觉多任务包括图像分类、目标检测、语义分割、深度估计,预测器与计算机视觉多任务一一对应;包括:通过统一的数据增强方法对计算机视觉多任务中的每个任务所用训练数据集进行处理,以获取每个所述计算机视觉任务的训练数据;通过目标检测任务对应的训练数据,对基于特征金字塔的计算机视觉多任务模型的特征提取器、特征金字塔网络以及目标检测任务对应的预测器进行预训练;通过每个计算机视觉任务对应的训练数据,对基于特征金字塔的计算机视觉多任务模型进行训练。

【技术实现步骤摘要】

本专利技术属于应用侧资源受限场景下的计算机视觉领域,针对深度学习模型在应用过程中因设备资源受限而不支持多个模型同时部署的问题,以及多任务需求导致在实际场景下的推理高成本、低性能问题,提出一种基于特征金字塔的计算机视觉多任务模型方法,适用于在实际应用中实现高准确率与高效率的计算机视觉领域多任务模型部署。


技术介绍

1、随着人工智能技术在人类生产生活中的广泛应用,也逐渐产生了一些复杂的应用场景。在这些场景中,应用需要同时处理多种深度学习任务。然而,在考虑产品性价比的实际应用中,设备可用资源往往是有限的。如果将多个深度学习模型同时部署在一个设备上,将极其影响用户的实时性体验。

2、计算机视觉领域是工业界涉及最为广泛,技术最为成熟的领域之一,是深度学习极其重要的一个领域。本专利技术将涉及到其中的图像分类、目标检测、语义分割、深度估计四大经典任务。

3、图像分类任务旨在从给定的类别列表中为目标图像分配一个相应的标签。常见的图像分类网络通常包括一个特征提取骨干网络以及一个分类器。由特征提取骨干网络将高维图像映射为一个空间向量,再由分类器计算出该本文档来自技高网...

【技术保护点】

1.面向应用侧资源受限场景的计算机视觉多任务模型方法,所述计算机视觉多任务模型包括一个特征提取器、一个特征金字塔网络以及多个预测器,其特征在于,所述计算机视觉多任务包括图像分类、目标检测、语义分割、深度估计,所述预测器与所述计算机视觉多任务一一对应;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过统一的数据增强方法对所述计算机视觉多任务中的每个任务所用训练数据集进行处理,以获取每个所述计算机视觉任务的训练数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过所述目标检测任务对应的训练数据,对所述基于特征金字塔的计算机视觉多任务模型的特征...

【技术特征摘要】

1.面向应用侧资源受限场景的计算机视觉多任务模型方法,所述计算机视觉多任务模型包括一个特征提取器、一个特征金字塔网络以及多个预测器,其特征在于,所述计算机视觉多任务包括图像分类、目标检测、语义分割、深度估计,所述预测器与所述计算机视觉多任务一一对应;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过统一的数据增强方法对所述计算机视觉多任务中的每个任务所用训练数据集进行处理,以获取每个所述计算机视觉任务的训练数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过所述目标检测任务对应的训练数据,对所述基于特征金字塔的计算机视觉多任务模型的特征提取器、特征金字塔网络以及目标检测任务对应的预测器进行预训练,包括:

4.根据权利要求1所述的方法,其特征在于,所述通过所述每个计算机视觉任务对应的训练数据,对所述基于特征金字塔的计算机视觉多任务模型进行训练,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据每个所述计算机视觉任务的任务权重,以及所述多个计算机视觉任务对应的预测器的任务预测结果,对所述基于特征金字塔的计算机视觉多任务...

【专利技术属性】
技术研发人员:宋明黎童鑫远韩佳琪
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1