表示学习制造技术

本文所公开的系统、方法和计算机程序涉及基于具有有限数目的经标记图像的图像训练数据对机器学习模型进行训练。据对机器学习模型进行训练。据对机器学习模型进行训练。

【技术实现步骤摘要】
【国外来华专利技术】表示学习


[0001]本文所公开的系统、方法和计算机程序涉及基于具有有限数目的经标记图像的图像训练数据对机器学习模型的训练。

技术介绍

[0002]机器学习模型接收输入，且基于所接收的输入和模型的参数值来生成输出(例如，预测输出)。
[0003]特别地，对于医疗应用而言，机器学习模型起着越来越重要的作用。
[0004]例如，机器学习模型可被用于向医护专业人员建议患者的一个或多个医学图像是否可能具有一个或多个给定的特征，从而使得医护专业人员能够诊断患者的医疗状况。
[0005]为了使机器学习模型执行此功能，需要使用经注释(经标记)的医疗训练图像来训练机器学习模型，所述经注释(经标记)图像指示训练图像是否具有一个或多个特征。例如，为了使机器学习模型能够发现图像中的一个状况，许多被注释为示出该状况的训练图像以及许多被注释为未示出该状况的训练图像可被用于训练机器学习模型。
[0006]然而，机器学习模型为此目的的成功的阻碍是医学图像中缺乏经注释(经标记)的大数据组。注释(标记)医学图像不但繁琐和耗时，而且需要昂贵的、专业性的知识和技能，而这些知识和技能不易获得。
[0007]因此，期望的是用于降低医学图像注释负担的新机制。

技术实现思路

[0008]此目标通过本公开内容的独立权利要求的主题来实现。在从属权利要求、本说明书和附图中可以找到优选的实施方案。
[0009]在第一方面，本公开内容提供一种(预)训练机器学习模型的计算机实施的方法，所述方法包括以下步骤：r/>[0010]‑
接收多个未经标记图像，
[0011]‑
从所述多个未经标记图像生成增强训练数据组，其中所述增强训练数据组包括第一组增强图像和第二组增强图像，其中所述第一组增强图像是通过对所述未经标记图像应用一种或多种空间增强技术而从所述未经标记图像生成的，其中所述第二组增强图像是通过对所述第一组增强图像的图像应用一种或多种掩膜增强技术而从所述第一组增强图像的图像生成的，
[0012]‑
在所述第一组增强图像和第二组增强图像上训练机器学习模型，
[0013]其中所述机器学习模型包括编码器
‑
解码器结构，且在所述编码器的端部处具有对比输出，以及在所述解码器的端部处具有重构输出，
[0014]其中所述机器学习模型被训练为：
[0015]‑
经由所述重构输出，为所述第二组增强图像中的每个图像输出所述第一组增强图像中的对应图像，以及
[0016]‑
经由所述对比输出，将源自同一未经标记图像的增强图像与不源自同一未经标记图像的增强图像进行区分。
[0017]在第二方面，本公开内容提供了一种计算机系统，包括：
[0018]处理器；以及
[0019]存储器，存储应用程序，所述应用程序被配置为在被处理器运行时执行操作，所述操作包括：
[0020]‑
接收多个未经标记图像，
[0021]‑
从所述多个未经标记图像生成增强训练数据组，其中所述增强训练数据组包括第一组增强图像和第二组增强图像，其中所述第一组增强图像是通过对所述未经标记图像应用一种或多种空间增强技术而从所述未经标记图像生成的，其中所述第二组增强图像是通过对所述第一组增强图像的图像应用一种或多种掩膜增强技术而从所述第一组增强图像的图像生成的，
[0022]‑
在所述第一组增强图像和第二组增强图像上训练机器学习模型，
[0023]其中所述机器学习模型包括编码器
‑
解码器结构，且在所述编码器的端部处具有对比输出，以及在所述解码器的端部处具有重构输出，
[0024]其中所述机器学习模型被训练为：
[0025]‑
经由所述重构输出，为所述第二组增强图像中的每个图像输出所述第一组增强图像中的对应图像，以及
[0026]‑
经由所述对比输出，将源自同一未经标记图像的增强图像与不源自同一未经标记图像的增强图像进行区分。
[0027]在第三方面，本公开内容提供了一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上储存有软件指令，当所述软件指令被计算机系统的处理器执行时，导致所述计算机系统执行以下步骤：
[0028]‑
接收多个未经标记图像，
[0029]‑
从所述多个未经标记图像生成增强训练数据组，其中所述增强训练数据组包括第一组增强图像和第二组增强图像，其中所述第一组增强图像是通过对所述未经标记图像应用一种或多种空间增强技术而从所述未经标记图像生成的，其中所述第二组增强图像是通过对所述第一组增强图像的图像应用一种或多种掩膜增强技术而从所述第一组增强图像的图像生成的，
[0030]‑
在所述第一组增强图像和第二组增强图像上训练机器学习模型，
[0031]其中所述机器学习模型包括编码器
‑
解码器结构，且在所述编码器的端部处具有对比输出，以及在所述解码器的端部处具有重构输出，
[0032]其中所述机器学习模型被训练为：
[0033]‑
经由所述重构输出，为所述第二组增强图像中的每个图像输出所述第一组增强图像中的对应图像，以及
[0034]‑
经由所述对比输出，将源自同一未经标记图像的增强图像与不源自同一未经标记图像的增强图像进行区分。
具体实施方式
[0035]下文将在不对本专利技术的多个方面(方法、计算机系统、计算机可读存储介质)进行区分的情况下对本专利技术进行更具体的阐释。相反，无论下文的阐释出现在哪种上下文中(方法、计算机系统、计算机可读存储介质)，它们旨在类似地适用于本专利技术的所有方面。
[0036]如果在本描述或在权利要求中以一次序陈述了一些步骤，这未必意味着本专利技术被限制于所陈述的次序。相反，可设想，还可以不同的次序或者彼此平行地执行这些步骤，除非一个步骤建立在另一步骤之上，此当然需要所建立的步骤随后执行(然而，此在个体情况下是清楚的)。因此，所陈述的次序是本专利技术的优选实施方案。
[0037]如本文中所使用的，冠词“一”(a)和“一个”(an)旨在包括一个或多个项，且可与“一个或多个”和“至少一个”互换使用。如说明书和权利要求书中所使用的，除非上下文另有明确规定，“一”(a)、“一个”(an)和“所述”(the)的单数形式包括对复数的指代。如果旨在仅一项，则使用术语“一个”(one)或类似语言。另外，如本文中所使用的，术语“具有”(has)、“具有”(have)、“具有”(having)等旨在作为开放式术语。此外，除非另有明确陈述，短语“基于”旨在意味着“至少部分地基于”。此外，短语“基于”可意味着“响应于”，且指示用于自动触发本文适当地引用的电子设备(例如，控制器、处理器、计算设备等)的特定操作的条件。
[0038]下文将参考附图更充分地描述本公开内容的一些实施方式，在附图中示出了本公开内容的一些但非所有本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的方法，所述方法包括以下步骤：
‑
接收多个未经标记图像，
‑
从所述多个未经标记图像生成增强训练数据组，其中所述增强训练数据组包括第一组增强图像和第二组增强图像，其中所述第一组增强图像是通过对所述未经标记图像应用一种或多种空间增强技术而从所述未经标记图像生成的，其中所述第二组增强图像是通过对所述第一组增强图像中的图像应用一种或多种掩膜增强技术而从所述第一组增强图像的图像生成的，
‑
在所述第一组增强图像和所述第二组增强图像上训练第一机器学习模型，其中所述机器学习模型包括编码器
‑
解码器结构，且在所述编码器的端部处具有对比输出，以及在所述解码器的端部处具有重构输出，其中所述机器学习模型被训练为：
‑
经由所述重构输出，为所述第二组增强图像中的每个图像输出所述第一组增强图像中的对应图像，以及
‑
经由所述对比输出，将源自同一未经标记图像的增强图像与不源自同一未经标记图像的增强图像进行区分。2.根据权利要求1所述的方法，其中所述未经标记图像是医学图像。3.根据权利要求2所述的方法，其中所述未经标记图像是植物或植物一部分的图片。4.根据权利要求1至3中的任一项所述的方法，其中将以下技术中的一种或多种应用至所述未经标记图像：旋转、弹性变形、翻转、缩放、拉伸、剪切、裁剪、调整大小和/或它们的组合。5.根据权利要求1至4中的任一项所述的方法，其中将以下技术中的一种或多种应用至所述第一组增强图像的图像：内部切除、外部切除、擦除和/或它们的组合。6.根据权利要求1至5中的任一项所述的方法，其中对所述第一机器学习模型的训练包括以下步骤：
‑
将所述第二组增强图像中的第一图像输入到所述机器学习模型中，
‑
经由所述机器学习模型的重构输出，接收第一重构图像，
‑
将所述第一重构图像与第一组增强图像中生成第二组增强图像中的第一图像的图像进行比较，其中比较包括使用重构损失函数来计算重构损失，所述重构损失是由所述机器学习模型执行重构任务的目标函数，
‑
将所述第二组增强图像中的第二图像输入到所述机器学习模型中，
‑
经由所述对比输出来接收信息，所述信息指示所述第二组增强图像中的第一图像与所述第二组增强图像中的第二图像是源自同一未经标记图像，还是源自不同的未经标记图像，
‑
使用对比损失函数来计算对比损失，所述对比损失函数是所述机器学习模型执行对比任务的目标函数，
‑
从所述重构损失和所述对比损失计算组合损失，
‑
以最小化所述组合损失的方式来修改所述机器学习模型的参数。7.根据权利要求1至6中的任一项所述的方法，其中在所述编码器的端部处引入神经网络投射头，所述投射头将所述表示映射至应用对比损失的空间，其中所述投射头执行可学
习的非线性变换。8.根据权利要求1至7中的任一项所述的方法，还包括以下步骤：
‑
从所述第一机器学习模型生成第二机器学习模型，所述生成包括基于来自所述编码器
‑
解码器结构的编码器来创建分类器，
‑
在包括经标记图像的训练组上训练所述分类器。9.根据权利要求1至8中的任一...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：拜耳公司，
类型：发明
国别省市：