System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种视觉任务处理方法、装置、可读存储介质及终端设备制造方法及图纸_技高网

一种视觉任务处理方法、装置、可读存储介质及终端设备制造方法及图纸

技术编号:41318882 阅读:5 留言:0更新日期:2024-05-13 14:59
本申请属于视觉任务处理技术领域,尤其涉及一种视觉任务处理方法、装置、计算机可读存储介质及终端设备。所述方法包括:获取待处理的目标视觉任务;使用预设的视觉任务处理模型对所述目标视觉任务进行处理,得到所述目标视觉任务的任务处理结果;其中,所述视觉任务处理模型在半监督训练过程中使用添加图匹配损失项的损失函数,所述图匹配损失项用于表征第一低维嵌入图与第二低维嵌入图之间的差异,所述第一低维嵌入图为使用学生模型对无标注训练图像进行处理得到的低维嵌入图,所述第二低维嵌入图为使用教师模型对所述无标注训练图像进行处理得到的低维嵌入图。本申请中损失函数的计算更加精准,有效提高了模型在进行视觉任务处理时的准确率。

【技术实现步骤摘要】

本申请属于视觉任务处理,尤其涉及一种视觉任务处理方法、装置、计算机可读存储介质及终端设备。


技术介绍

1、半监督训练技术在视觉任务处理领域已得到了较为普遍的使用,半监督训练技术是一种借助少量标注数据和大量无标注数据来联合训练神经网络的方案,主流的半监督视觉任务处理方案(如efficient-teacher等)一般采用教师-学生(teacher-student)解决范式,运用教师(teacher)模型对无标注数据生成的伪标签来指导学生(student)模型学到全量数据的分布,同时学生模型又会以集成学习的方式来更新教师模型的参数,形成互学习的飞轮效应。

2、损失函数是半监督训练的重要组成部分之一,损失函数通过最小化模型对于数据的预测值和该数据真实值之间的误差来优化模型,从而提高模型提取特征的能力。但在现有技术中所使用的损失函数计算往往不够精准,导致训练所得的模型在进行视觉任务处理时准确率较低。


技术实现思路

1、有鉴于此,本申请实施例提供了一种视觉任务处理方法、装置、计算机可读存储介质及终端设备,以解决现有技术中所使用的损失函数计算往往不够精准,导致训练所得的模型在进行视觉任务处理时准确率较低的问题。

2、本申请实施例的第一方面提供了一种视觉任务处理方法,可以包括:

3、获取待处理的目标视觉任务;

4、使用预设的视觉任务处理模型对所述目标视觉任务进行处理,得到所述目标视觉任务的任务处理结果;

5、其中,所述视觉任务处理模型在半监督训练过程中使用添加图匹配损失项的损失函数,所述图匹配损失项用于表征第一低维嵌入图与第二低维嵌入图之间的差异,所述第一低维嵌入图为使用学生模型对无标注训练图像进行处理得到的低维嵌入图,所述第二低维嵌入图为使用教师模型对所述无标注训练图像进行处理得到的低维嵌入图。

6、在第一方面的一种具体实现方式中,所述添加图匹配损失项的损失函数的构建过程可以包括:

7、使用所述学生模型对所述无标注训练图像进行处理,得到所述第一低维嵌入图;

8、使用所述教师模型对所述无标注训练图像进行处理,得到所述第二低维嵌入图;

9、对所述第一低维嵌入图和所述第二低维嵌入图进行图匹配,得到所述图匹配损失项;

10、在初始的损失函数中添加所述图匹配损失项,得到所述添加图匹配损失项的损失函数。

11、在第一方面的一种具体实现方式中,所述使用所述学生模型对所述无标注训练图像进行处理,得到所述第一低维嵌入图,可以包括:

12、按照预设的第一数据增强方式对所述无标注训练图像进行数据增强,得到第一增强图像;

13、按照预设的第二数据增强方式对所述无标注训练图像进行数据增强,得到第二增强图像;其中,所述第一数据增强方式与所述第二数据增强方式为两种不同的数据增强方式;

14、使用所述学生模型确定与所述第一增强图像对应的第一低维嵌入;

15、使用所述学生模型确定与所述第二增强图像对应的第二低维嵌入;

16、根据所述第一低维嵌入和所述第二低维嵌入构造所述第一低维嵌入图。

17、在第一方面的一种具体实现方式中,所述使用所述学生模型确定与所述第一增强图像对应的第一低维嵌入,可以包括:

18、使用所述学生模型的卷积神经网络对所述第一增强图像进行特征提取,得到与所述第一增强图像对应的第一特征图;

19、使用所述学生模型的投影头对所述第一特征图进行特征映射,得到与所述第一增强图像对应的所述第一低维嵌入。

20、在第一方面的一种具体实现方式中,所述使用所述学生模型确定与所述第二增强图像对应的第二低维嵌入,可以包括:

21、使用所述学生模型的卷积神经网络对所述第二增强图像进行特征提取,得到与所述第二增强图像对应的第二特征图;

22、使用所述学生模型的投影头对所述第二特征图进行特征映射,得到与所述第二增强图像对应的所述第二低维嵌入。

23、在第一方面的一种具体实现方式中,所述使用所述教师模型对所述无标注训练图像进行处理,得到所述第二低维嵌入图,可以包括:

24、按照预设的第三数据增强方式对所述无标注训练图像进行数据增强,得到第三增强图像;

25、使用所述教师模型确定与所述第三增强图像对应的第三低维嵌入;

26、根据所述第三低维嵌入构造所述第二低维嵌入图。

27、在第一方面的一种具体实现方式中,在对所述第一低维嵌入图和所述第二低维嵌入图进行图匹配,得到图匹配损失项之前,还可以包括:

28、对所述第一低维嵌入图和所述第二低维嵌入图分别进行归一化处理,得到归一化的所述第一低维嵌入图和归一化的所述第二低维嵌入图;

29、相应地,所述对所述第一低维嵌入图和所述第二低维嵌入图进行图匹配,得到图匹配损失项,包括:

30、对归一化的所述第一低维嵌入图和归一化的所述第二低维嵌入图进行图匹配,得到所述图匹配损失项。

31、本申请实施例的第二方面提供了一种视觉任务处理装置,可以包括:

32、视觉任务获取模块,用于获取待处理的目标视觉任务;

33、视觉任务处理模块,用于使用预设的视觉任务处理模型对所述目标视觉任务进行处理,得到所述目标视觉任务的任务处理结果;

34、其中,所述视觉任务处理模型在半监督训练过程中使用添加图匹配损失项的损失函数,所述图匹配损失项用于表征第一低维嵌入图与第二低维嵌入图之间的差异,所述第一低维嵌入图为使用学生模型对无标注训练图像进行处理得到的低维嵌入图,所述第二低维嵌入图为使用教师模型对所述无标注训练图像进行处理得到的低维嵌入图。

35、在第二方面的一种具体实现方式中,所述视觉任务处理装置还可以包括:

36、第一低维嵌入图构建模块,用于使用所述学生模型对所述无标注训练图像进行处理,得到所述第一低维嵌入图;

37、第二低维嵌入图构建模块,用于使用所述教师模型对所述无标注训练图像进行处理,得到所述第二低维嵌入图;

38、图匹配损失项构建模块,用于对所述第一低维嵌入图和所述第二低维嵌入图进行图匹配,得到所述图匹配损失项;

39、图匹配损失项添加模块,用于在初始的损失函数中添加所述图匹配损失项,得到所述添加图匹配损失项的损失函数。

40、在第二方面的一种具体实现方式中,所述第一低维嵌入图构建模块可以包括:

41、第一数据增强单元,用于按照预设的第一数据增强方式对所述无标注训练图像进行数据增强,得到第一增强图像;

42、第二数据增强单元,用于按照预设的第二数据增强方式对所述无标注训练图像进行数据增强,得到第二增强图像;其中,所述第一数据增强方式与所述第二数据增强方式为两种不同的数据增强方式;

43、第一低维嵌入确定单元,用于使用所述学生模型确定与所述第一增强图本文档来自技高网...

【技术保护点】

1.一种视觉任务处理方法,其特征在于,包括:

2.根据权利要求1所述的视觉任务处理方法,其特征在于,所述添加图匹配损失项的损失函数的构建过程包括:

3.根据权利要求2所述的视觉任务处理方法,其特征在于,所述使用所述学生模型对所述无标注训练图像进行处理,得到所述第一低维嵌入图,包括:

4.根据权利要求3所述的视觉任务处理方法,其特征在于,所述使用所述学生模型确定与所述第一增强图像对应的第一低维嵌入,包括:

5.根据权利要求3所述的视觉任务处理方法,其特征在于,所述使用所述学生模型确定与所述第二增强图像对应的第二低维嵌入,包括:

6.根据权利要求2所述的视觉任务处理方法,其特征在于,所述使用所述教师模型对所述无标注训练图像进行处理,得到所述第二低维嵌入图,包括:

7.根据权利要求2至6中任一项所述的视觉任务处理方法,其特征在于,在对所述第一低维嵌入图和所述第二低维嵌入图进行图匹配,得到图匹配损失项之前,还包括:

8.一种视觉任务处理装置,其特征在于,包括:

9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的视觉任务处理方法的步骤。

10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的视觉任务处理方法的步骤。

...

【技术特征摘要】

1.一种视觉任务处理方法,其特征在于,包括:

2.根据权利要求1所述的视觉任务处理方法,其特征在于,所述添加图匹配损失项的损失函数的构建过程包括:

3.根据权利要求2所述的视觉任务处理方法,其特征在于,所述使用所述学生模型对所述无标注训练图像进行处理,得到所述第一低维嵌入图,包括:

4.根据权利要求3所述的视觉任务处理方法,其特征在于,所述使用所述学生模型确定与所述第一增强图像对应的第一低维嵌入,包括:

5.根据权利要求3所述的视觉任务处理方法,其特征在于,所述使用所述学生模型确定与所述第二增强图像对应的第二低维嵌入,包括:

6.根据权利要求2所述的视觉任务处理方法,其特征在于,所述使用所述教师模型对所...

【专利技术属性】
技术研发人员:赵煜冰王侃董培庞建新谭欢
申请(专利权)人:深圳市优必选科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1