System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种图像处理方法、装置、电子设备及存储介质制造方法及图纸_技高网

一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40782136 阅读:2 留言:0更新日期:2024-03-28 19:15
本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质,该方法包括:将原始图像输入目标模型;通过目标模型对原始图像进行目标任务的处理,并输出目标处理结果;目标模型为,先基于第一数据集进行预训练,再基于第一数据集和第二数据集进行领域泛化训练得到的模型;第一数据集的数据量大于第二数据集的数据量;第二数据集为与目标任务对应的数据集。由于第一数据集的数据量较大,通过先利用第一数据集对目标模型进行预训练,有助于提升模型性能。第二数据集为与目标任务对应的数据集,通过结合第一数据集和第二数据集对预训练后的目标模型进行领域泛化训练,可以将模型在大规模预训练的成果迁移到目标任务中,从而提升模型性能。

【技术实现步骤摘要】

本公开实施例涉及机器学习,尤其涉及一种图像处理方法、装置、电子设备及存储介质


技术介绍

1、目前,人工智能与计算机视觉领域常以机器学习为基础,实现各种图像处理任务。在机器学习中,不同细分任务对应的数据集的领域差异很大;其中,领域可理解为由数据变量和标签变量构成的联合分布。现有技术一般在细分任务对应的数据集下进行模型训练。由于细分任务对应的数据集的规模通常较小,容易导致模型性能不佳。


技术实现思路

1、本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质,能够提升模型性能。

2、第一方面,本公开实施例提供了一种图像处理方法,包括:

3、将原始图像输入目标模型;

4、通过所述目标模型对所述原始图像进行目标任务的处理,并输出目标处理结果;

5、其中,所述目标模型为,先基于第一数据集进行预训练,再基于所述第一数据集和第二数据集进行领域泛化训练得到的模型;

6、其中,所述第一数据集的数据量大于所述第二数据集的数据量;所述第二数据集为与所述目标任务对应的数据集。

7、第二方面,本公开实施例还提供了一种图像处理方法,包括:

8、将原始图像输入目标模型;

9、通过所述目标模型对所述原始图像进行目标任务的处理,并输出目标处理结果;

10、其中,所述目标模型为,先基于第一数据集进行预训练,再基于教师模型进行知识蒸馏训练得到的模型;

11、其中,所述目标模型的规模小于所述教师模型的规模;

12、其中,所述教师模型为,先基于所述第一数据集进行预训练,再基于所述第一数据集和第二数据集进行领域泛化训练得到的模型;

13、其中,所述第一数据集的数据量大于第二数据集的数据量;所述第二数据集为与所述目标任务对应的数据集。

14、第三方面,本公开实施例还提供了一种图像处理装置,包括:

15、第一输入模块,用于将原始图像输入目标模型;

16、第一输出模块,用于通过所述目标模型对所述原始图像进行目标任务的处理,并输出目标处理结果;

17、其中,所述目标模型为,先基于第一数据集进行预训练,再基于第一数据集和第二数据集进行领域泛化训练得到的模型;

18、其中,所述第一数据集的数据量大于所述第二数据集的数据量;所述第二数据集为与所述目标任务对应的数据集。

19、第四方面,本公开实施例还提供了一种图像处理装置,包括:

20、第二输入模块,用于将原始图像输入目标模型;

21、第二输出模块,用于通过所述目标模型对所述原始图像进行目标任务的处理,并输出目标处理结果;

22、其中,所述目标模型为,先基于第一数据集进行预训练,再基于教师模型进行知识蒸馏训练得到的模型;

23、其中,所述目标模型的规模小于所述教师模型的规模;

24、其中,所述教师模型为,先基于第一数据集进行预训练,再基于第一数据集和第二数据集进行领域泛化训练得到的模型;

25、其中,所述第一数据集的数据量大于第二数据集的数据量;所述第二数据集为与所述目标任务对应的数据集。

26、第五方面,本公开实施例还提供了一种电子设备,所述电子设备包括:

27、一个或多个处理器;

28、存储装置,用于存储一个或多个程序,

29、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。

30、第六方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。

31、本公开实施例的技术方案,将原始图像输入目标模型;通过目标模型对原始图像进行目标任务的处理,并输出目标处理结果;其中,目标模型为,先基于第一数据集进行预训练,再基于第一数据集和第二数据集进行领域泛化训练得到的模型;其中,第一数据集的数据量大于第二数据集的数据量;第二数据集为与目标任务对应的数据集。

32、由于第一数据集的数据量较大,通过先利用第一数据集对目标模型进行大规模预训练,可以使目标模型学习到更加通用的特征,有助于提升模型性能。其中,第二数据集为与目标任务对应的数据集,即第二数据集中图像与原始图像同属目标域,第一数据集中图像可以为领域更为复杂多样的源域。通过结合第一数据集和第二数据集,对预训练后的目标模型进行领域泛化训练,可以使模型具有对不同领域图像的特征提取不变性,从而可以将在源域进行的大规模预训练的成果迁移到目标域中,使目标模型在目标任务上具有较佳的表现,实现目标模型性能的提升。

本文档来自技高网...

【技术保护点】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述目标模型的预训练步骤,包括:

3.根据权利要求1所述的方法,其特征在于,所述目标模型的领域泛化训练步骤,包括:

4.根据权利要求3所述的方法,其特征在于,所述目标模型为目标检测模型时,所述对所述第二数据集进行数据扩增,包括下述至少一项:

5.根据权利要求3所述的方法,其特征在于,所述根据所述第一数据集和所述第三数据集,对领域判别器和所述目标模型的编码器进行对抗训练,包括:

6.一种图像处理方法,其特征在于,包括:

7.根据权利要求6所述的方法,其特征在于,所述目标模型的知识蒸馏训练步骤,包括:

8.根据权利要求7所述的方法,其特征在于,在所述目标模型的知识蒸馏训练过程中,还包括:

9.一种图像处理装置,其特征在于,包括:

10.一种图像处理装置,其特征在于,包括:

11.一种电子设备,其特征在于,所述电子设备包括:

12.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5或6-8中任一所述的图像处理方法。

...

【技术特征摘要】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述目标模型的预训练步骤,包括:

3.根据权利要求1所述的方法,其特征在于,所述目标模型的领域泛化训练步骤,包括:

4.根据权利要求3所述的方法,其特征在于,所述目标模型为目标检测模型时,所述对所述第二数据集进行数据扩增,包括下述至少一项:

5.根据权利要求3所述的方法,其特征在于,所述根据所述第一数据集和所述第三数据集,对领域判别器和所述目标模型的编码器进行对抗训练,包括:

6.一种图像处理方法...

【专利技术属性】
技术研发人员:吴捷
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1