System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及用于处理多个计算机视觉任务的方法和设备,并且更具体地,涉及用于利用有限的硬件资源处理多个相关计算机视觉任务的多任务处理技术。
技术介绍
1、深度神经网络(dnn)的发展已经实现了各种计算机视觉(cv)应用。另外,迁移学习(transfer learning)已被用于在各种cv任务中创建表现出期望的性能特性的dnn。例如,在大数据集上预训练模型并针对目标任务对模型进行微调可允许模型在目标任务中实现期望的性能而没有过度拟合(即,没有损失相关任务的性能)。
2、最近,dnn已被用于人工智能(ai)应用(诸如,增强现实(ar)和自主驾驶)。在一些情况下,这些应用使用单个输入图像同时执行多个相关任务。任务可包括对象分类、深度估计、表面法线估计等。然而,执行多个任务可能是计算密集型的,这可能限制对边缘装置(edge device)的适用性。因此,本领域需要开发用于使用有限的硬件资源来同时处理多个相关cv任务的技术。
技术实现思路
1、提供本
技术实现思路
以简化的形式介绍构思的选择,并且不限制要求保护的主题的范围。本公开的方面提供用于高效地处理多个计算机视觉(cv)任务的多任务处理技术。公开的实施例可被实现在具有有限的硬件资源的移动终端或边缘终端中。
2、在一个总体方面,一种用于处理多个计算机视觉任务的方法包括:获取输入图像;以及对输入图像执行第一计算机视觉任务,并至少基于执行第一计算机视觉任务的中间结果来对输入图像执行第二计算机视觉任务;其中,执行第一计算机视觉
3、获得与所述第二层对应的输入图的步骤可包括:基于与所述第二层对应的差量输入图和与所述第一层对应的基础输入图,来恢复与所述第二层对应的输入图,以获得与所述第二层对应的输入图,获得与所述第二层对应的输出图的步骤可包括:通过将恢复后的与所述第二层对应的输入图应用于所述第二层,来获得与所述第二层对应的输出图,所述方法还可包括:基于与所述第一层对应的基础输出图和与所述第二层对应的输出图之间的差,来获得与所述第二层对应的差量输出图,以及存储与所述第一层对应的基础输出图和与所述第二层对应的差量输出图,其中,与所述第一层对应的基础输出图可通过将与所述第一层对应的基础输入图应用于所述第一层而被获得。
4、第一神经网络的初始层可获得输入图像作为与第一神经网络的初始层对应的基础输入图,与第一神经网络的前一层对应的基础输出图可以是与第一神经网络的后一层对应的基础输入图,通过将输入图像应用于第一神经网络的初始层而获得的第一图与通过将输入图像应用于第二神经网络的初始层而获得的第二图之间的差可以是与第二神经网络的初始层对应的差量输出图,与第二神经网络的前一层对应的差量输出图可以是与第二神经网络的后一层对应的差量输入图。
5、第一计算机视觉任务可以是对象分类、深度估计和表面法线估计中的任一者,第二计算机视觉任务可以是对象分类、深度估计和表面法线估计中的与第一计算机视觉任务不同的任一者。
6、在一个总体方面,一种用于处理多个计算机视觉任务的设备包括:至少一个处理器;以及至少一个存储器,包括指令,所述指令能够由所述至少一个处理器执行以:获取输入图像,以及对输入图像执行第一计算机视觉任务,并至少基于执行第一计算机视觉任务的中间结果来对输入图像执行第二计算机视觉任务,其中,当执行第一计算机视觉任务时,所述指令还能够由所述至少一个处理器执行以,通过将输入图像输入到用于第一计算机视觉任务的第一神经网络,来执行第一计算机视觉任务,其中,当执行第二计算机视觉任务时,所述指令还能够由所述至少一个处理器执行以:针对作为用于第二计算机视觉任务的第二神经网络的多个层中的至少一个层中的层的第二层,基于与作为第一神经网络中的层的第一层对应的基础输入图来获得与所述第二层对应的输入图,将与所述第二层对应的输入图应用于所述第二层来获得与所述第二层对应的输出图。
7、当获得与所述第二层对应的输入图时,所述指令还能够由所述至少一个处理器执行以:基于与所述第二层对应的差量输入图和与所述第一层对应的基础输入图,来恢复与所述第二层对应的输入图,以获得与所述第二层对应的输入图,当获得与所述第二层对应的输出图时,所述指令还能够由所述至少一个处理器执行以:通过将恢复后的与所述第二层对应的输入图应用于所述第二层,来获得与所述第二层对应的输出图,所述指令还能够由所述至少一个处理器执行以:基于与所述第一层对应的基础输出图和与所述第二层对应的输出图之间的差,来获得与所述第二层对应的差量输出图,以及存储与所述第一层对应的基础输出图和与所述第二层对应的差量输出图,其中,与所述第一层对应的基础输出图可通过将与所述第一层对应的基础输入图应用于所述第一层被获得。
8、第一神经网络的初始层可获得输入图像作为与第一神经网络的初始层对应的基础输入图,与第一神经网络的前一层对应的基础输出图可以是与第一神经网络的后一层对应的基础输入图,通过将输入图像应用于第一神经网络的初始层而获得的第一图和通过将输入图像应用于第二神经网络的初始层而获得的第二图之间的差可以是与第二神经网络的初始层对应的差量输出图,与第二神经网络的前一层对应的差量输出图可以是与第二神经网络的后一层对应的差量输入图。在一个总体方面,一种方法由至少一个处理器基于应用了相同的输入数据的第一神经网络和第二神经网络来执行,其中,所述方法包括:通过将与第一神经网络的第一层对应的基础输入图应用于所述第一层,来获得与所述第一层对应的基础输出图;基于基础输入图和与第二神经网络的第二层对应的差量输入图,来恢复与所述第二层对应的输入图;通过将恢复后的与所述第二层对应的输入图应用于所述第二层,来获得与所述第二层对应的输出图;基于基础输出图和与所述第二层对应的输出图之间的差,来获得与所述第二层对应的差量输出图;以及存储基础输出图和差量输出图。
9、存储基础输出图和差量输出图的步骤可包括:将基础输出图存储为与所述第一层的后一层对应的基础输入图;以及将差量输出图存储为与所述第二层的后一层对应的差量输入图。
10、第一神经网络可包括通过基于针对第一任务的迁移学习对包括在预训练的基础模型中的至少一个层的权重进行微调而获得的神经网络。
11、第二神经网络可包括通过基于针对第二任务的迁移学习对包括在基础模型中的至少一个层的权重进行微调而获得的神经网络。
12、所述第一层可对应于包括在与第一神经网络和第二神经网络对应的基础模型中的层中的任何一个。
13、所述第二层可对应于包括在基础模型中的层之中的与所述第一层本文档来自技高网...
【技术保护点】
1.一种用于处理多个计算机视觉任务的方法,所述方法包括:
2.根据权利要求1所述的方法,
3.根据权利要求2所述的方法,
4.根据权利要求1所述的方法,其中,第一计算机视觉任务是对象分类、深度估计和表面法线估计中的任一者,第二计算机视觉任务是对象分类、深度估计和表面法线估计中的与第一计算机视觉任务不同的任一者。
5.根据权利要求1所述的方法,其中,第一神经网络通过基于针对第一计算机视觉任务的迁移学习对预训练的基础模型进行微调被获得,并且
6.根据权利要求1所述的方法,其中,所述第一层和所述第二层对应于基础模型的同一层。
7.根据权利要求2所述的方法,其中,恢复与所述第二层对应的输入图的步骤包括:
8.根据权利要求2所述的方法,其中,获得与所述第一层对应的基础输出图的步骤包括:
9.根据权利要求2所述的方法,其中,获得与所述第二层对应的差量输出图的步骤包括:
10.根据权利要求2所述的方法,其中,存储与所述第一层对应的基础输出图和与所述第二层对应的差量输出图的步骤包括:
>11.根据权利要求2至10中的任一项所述的方法,还包括:
12.根据权利要求1至10中的任一项所述的方法,其中,第一神经网络和第二神经网络包括对输入图像执行一系列的运算的多个层的序列,并且
13.一种存储指令的非暂时性计算机可读存储介质,所述指令在由处理器执行时使处理器执行根据权利要求1至12中的任一项所述的方法。
14.一种用于处理多个计算机视觉任务的设备,所述设备包括:
15.根据权利要求14所述的设备,
16.根据权利要求15所述的设备,
17.根据权利要求15所述的设备,其中,当恢复与所述第二层对应的输入图时,所述指令还能够由所述至少一个处理器执行以:
18.根据权利要求15所述的设备,其中,当获得与所述第一层对应的基础输出图时,所述指令还能够由所述至少一个处理器执行以:
19.根据权利要求15所述的设备,其中,当获得与所述第二层对应的差量输出图时,所述指令还能够由所述至少一个处理器执行以:
20.根据权利要求15所述的设备,其中,当存储与所述第一层对应的基础输出图和与所述第二层对应的差量输出图时,所述指令还能够由所述至少一个处理器执行以:
...【技术特征摘要】
1.一种用于处理多个计算机视觉任务的方法,所述方法包括:
2.根据权利要求1所述的方法,
3.根据权利要求2所述的方法,
4.根据权利要求1所述的方法,其中,第一计算机视觉任务是对象分类、深度估计和表面法线估计中的任一者,第二计算机视觉任务是对象分类、深度估计和表面法线估计中的与第一计算机视觉任务不同的任一者。
5.根据权利要求1所述的方法,其中,第一神经网络通过基于针对第一计算机视觉任务的迁移学习对预训练的基础模型进行微调被获得,并且
6.根据权利要求1所述的方法,其中,所述第一层和所述第二层对应于基础模型的同一层。
7.根据权利要求2所述的方法,其中,恢复与所述第二层对应的输入图的步骤包括:
8.根据权利要求2所述的方法,其中,获得与所述第一层对应的基础输出图的步骤包括:
9.根据权利要求2所述的方法,其中,获得与所述第二层对应的差量输出图的步骤包括:
10.根据权利要求2所述的方法,其中,存储与所述第一层对应的基础输出图和与所述第二层对应的差量输出图的步骤包括:
11.根据权利要求2至10中的任一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。