System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像处理方法、设备、存储介质和程序产品技术_技高网

图像处理方法、设备、存储介质和程序产品技术

技术编号:41299425 阅读:5 留言:0更新日期:2024-05-13 14:47
本发明专利技术实施例提供一种图像处理方法、设备、存储介质和程序产品,该方法包括:确定多个图像对,并根据同一图像对中不同图像各自特征之间的相似度,以及不同图像对中来源于同一成像设备的图像各自的特征之间的相似度,训练具有图像识别能力的学生模型。其中,一个图像对可以包含利用不同成像设备对相同对象拍得的两张图像,两张图像的特征分别由教师模型和学生模型提取得到。上述训练过程中使用到教师模型从单张图像中提取出的特征,可以使学生模型学习到单张图像的语义。同时,训练过程中还使用到教师模型从语义存在关联的、不同图像中提取出的特征,这样可以使学生模型学习到不同图像之间的语义关联,从而提高学生模型的图像理解能力。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种图像处理方法、设备、存储介质和程序产品


技术介绍

1、知识蒸馏在人工智能领域得到了广泛的应用,其核心思想是将一个训练好的教师模型所学习到的知识迁移到一个轻量级的学生模型中,从而完成学生模型的训练,所以知识蒸馏本质上也是一种模型压缩和知识迁移方法。其中,学生模型使用从教师模型迁移来的知识实现与教师模型相同的功能。学生模型和教师模型的功能可以包括图像识别、文本理解等等。

2、因此,如何提高学生模型的训练效果就成为一个亟待解决的问题。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种图像处理方法、设备和存储介质,用以提高图像配准效果。

2、第一方面,本专利技术实施例提供一种图像处理方法,包括:

3、将待识别图像输入学生模型,以由所述学生模型识别所述待识别图像中的目标对象;

4、其中,所述学生模型的训练过程包括:

5、确定多个图像对,所述多个图像对中的任一图像对包含利用不同成像设备对相同对象拍得的第一图像和第二图像,所述待识别图像与所述第二图像来源于目标成像设备;

6、根据同一图像对中不同图像各自特征之间的相似度,以及不同图像对中来源于同一成像设备的图像各自的特征之间的相似度,训练所述学生模型,其中,不同图像对中第一图像的特征由教师模型输出,不同图像对中第二图像的特征由所述学生模型输出。

7、第二方面,本专利技术实施例提供一种图像处理方法,包括:

8、将待识别图像输入学生模型,以由所述学生模型识别所述待识别图像中的目标对象;

9、其中,所述学生模型的训练过程包括:

10、获取训练图像以及所述训练图像的提示信息,所述提示信息包括所述训练图像的图像分割结果和/或所述训练图像中相邻信息单元之间的间距;

11、根据所述训练图像和所述提示信息,训练用于图像识别的学生模型。

12、第三方面,本专利技术实施例提供一种图像处理方法,包括:

13、根据语义相似度,确定语义相同的第一描述文本和第二描述文本;

14、根据描述文本和图像之间的语义匹配关系,确定与所述第一描述文本语义相同的第一图像,以及与所述第二描述文本语义相同的第二图像,以得到包含所述第一图像和所述第二图像的图像对;

15、根据所述图像对中不同图像各自特征之间的相似度,训练用于图像识别的学生模型,其中,描述文本用于描述图像内容,所述第一图像和所述第二图像是利用不同成像设备对相同对象拍得的,所述第一图像的特征由教师模型输出,所述第二图像的特征由所述学生模型输出。

16、第四方面,本专利技术实施例提供一种图像处理方法,包括:

17、若训练图像的原始描述文本缺少关键词,则根据所述训练图像补全所述关键词,以得到完整描述所述训练图像内容的目标描述文本,所述关键词描述所述图像中对象的属性和/或类型;

18、根据描述文本和图像之间的语义匹配关系,以及不同图像各自的目标描述文本之间的相似度,在所述训练图像中确定利用不同成像设备对相同对象拍得的第一图像和第二图像,以得到图像对;

19、根据所述图像对中不同图像各自特征之间的相似度,训练用于图像识别的学生模型,所述第一图像的特征由教师模型输出,所述第二图像的特征由所述学生模型输出。

20、第五方面,本专利技术实施例提供一种图像处理方法,包括:

21、响应于用户的输入操作,展示所述用户输入的待识别医学图像;

22、展示由学生模型输出的识别结果,所述识别结果包括所述待识别医学图像中的目标解剖结构;

23、其中,所述学生模型的训练过程包括:

24、确定多个医学图像对,所述多个医学图像对中的任一图像对包含利用不同成像设备对相同解剖结构拍得的第一图像和第二图像,所述待识别图像与所述第二图像来源于目标成像设备;

25、根据同一医学图像对中不同医学图像各自特征之间的相似度,以及不同医学图像对中来源于同一成像设备的医学图像各自的特征之间的相似度,训练所述学生模型,其中,不同医学图像对中第一医学图像的特征由教师模型输出,不同图像对中第二医学图像的特征由所述学生模型输出。

26、第六方面,本专利技术实施例提供一种图像处理方法,包括:

27、将待识别医学图像输入学生模型,以由所述学生模型识别所述待识别医学图像中的目标解剖结构;

28、输出所述待识别医学图像的识别结果;

29、其中,所述学生模型的训练过程包括:

30、确定多个医学图像对,所述多个医学图像对中的任一图像对包含利用不同成像设备对相同解剖结构拍得的第一图像和第二图像,所述待识别图像与所述第二图像来源于目标成像设备;

31、根据同一医学图像对中不同医学图像各自特征之间的相似度,以及不同医学图像对中来源于同一成像设备的医学图像各自的特征之间的相似度,训练所述学生模型,其中,不同医学图像对中第一医学图像的特征由教师模型输出,不同图像对中第二医学图像的特征由所述学生模型输出。

32、第七方面,本专利技术实施例提供一种电子设备,包括处理器和存储器,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面至第六方面中任一方面中的图像处理方法。该电子设备还可以包括通信接口,用于与其他设备或通信系统通信。

33、第八方面,本专利技术实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如上述第一方面至第六方面中任一方面中的图像处理方法。

34、第九方面,本专利技术实施例提供了一种程序产品,所述计算机程序产品包括计算机程序或指令,当所述计算机程序或指令被处理器执行时,致使所述处理器能实现如上述第一方面至第六方面中任一方面中的图像处理方法。

35、本专利技术实施例提供的图像处理方法中,对于用于识别待识别对象图像的学生模型,其的训练过程可以包括:确定多个图像对,并根据同一图像对中不同图像各自特征之间的第一相似度,以及不同图像对中来源于同一成像设备的图像各自的特征之间的第二相似度,训练学生模型。其中,多个图像对中的任一图像对包含利用不同成像设备对相同对象拍得的第一图像和第二图像,待识别图像与第二图像来源于目标成像设备。图像对中第一图像的特征由教师模型输出,图像对中第二图像的特征由学生模型输出。

36、可见,上述模型训练过程通过多种相似度的使用实现知识蒸馏,从而完成学习模型的训练。其中,由于同一图像对中的图像包含同一个对象,并且教师模型从图像中提取出的特征能够反映该教师模型对该图像的理解能力,因此,使用第一相似度可以使学生模型学习到教师模型对该单张图像的理解能力,能够提高学生模型的图像理解能力。又由于由同一成像设备拍得的、包含不同对象的图像之间存在语义关联,并且教师模本文档来自技高网...

【技术保护点】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述提示信息包括所述第二图像的图像分割结果和/或所述第二图像中相邻信息单元之间的间距。

4.根据权利要求2所述的方法,其特征在于,所述根据所述第二图像和所述提示信息,训练所述学生模型,包括:

5.根据权利要求1所述的方法,其特征在于,所述确定多个图像对,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.根据权利要求5所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述将缺少关键词的文本模板以及图像输入所述文本生成模型,包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

11.一种图像处理方法,其特征在于,包括:

12.一种图像处理方法,其特征在于,包括:

13.一种图像处理方法,其特征在于,包括:

14.一种图像处理方法,其特征在于,包括:

15.一种图像处理方法,其特征在于,包括:

16.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1~15中任一项所述的图像处理方法。

17.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1~15中任一项所述的图像处理方法。

18.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或指令,致使所述计算机程序或指令能够实现权利要求1~15中任一项所述的图像处理方法中的步骤。

...

【技术特征摘要】

1.一种图像处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述提示信息包括所述第二图像的图像分割结果和/或所述第二图像中相邻信息单元之间的间距。

4.根据权利要求2所述的方法,其特征在于,所述根据所述第二图像和所述提示信息,训练所述学生模型,包括:

5.根据权利要求1所述的方法,其特征在于,所述确定多个图像对,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.根据权利要求5所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述将缺少关键词的文本模板以及图像输入所述文本生成模型,包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

【专利技术属性】
技术研发人员:张建鹏曹维维张灵唐禹行夏英达吕乐莫志荣李孜
申请(专利权)人:阿里巴巴中国有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1