用于利用域不变正则化的图像分类的系统、方法和设备技术方案

公开了用于利用域不变正则化的图像分类的系统、方法和设备，所述方法包括：接收输入图像；使用域不变机器学习模型来基于输入图像计算输出，其中，域不变机器学习模型使用域不变正则化被训练；以及基于所述输出显示信息。以及基于所述输出显示信息。以及基于所述输出显示信息。

【技术实现步骤摘要】
用于利用域不变正则化的图像分类的系统、方法和设备
[0001]本申请要求于2021年10月4日提交的第63/252,142号美国临时申请以及于2022年9月14日提交的第17/945,073号美国申请的优先权权益，所述美国临时申请以及所述美国申请的公开如在此充分阐述的那样通过引用全部包含于此。


[0002]公开总体涉及图像分类。更具体地，在此公开的主题涉及对用于利用域不变正则化(domain invariant regularization)的图像分类(classification)的系统、方法和设备的改进。

技术介绍

[0003]可使用来自一个或多个源域的图像来训练用于图像分类的机器学习模型，一个或多个源域中的每个可具有相应的域特定特征(诸如，样式、光照条件和/或纹理等)。当用于对来自训练所针对的一个或多个相同域的图像进行分类时，模型可能表现良好，但是当用于对来自未用于训练的新目标域的图像进行分类(classify)时，模型可能表现不良。例如，来自新目标域的图像可能具有样式差异(样式差异可能导致一个或多个源域与目标域之间的域偏移(domain shift))，这可能导致性能下降。
[0004]为了解决这个问题，域适应(DA)技术可使用来自一个或多个源域和目标域的数据来生成特征空间，特征空间对于域是不变的，但是保留可用于分类的有区别的类别(class)信息。这可使机器学习模型能够学习可用于对来自源域或目标域的图像进行分类的域不变特征。利用这种方法的一个问题是它涉及使用来自目标域的图像来训练模型。因此，DA技术可能无法用于将机器学习模型训练为对来自在训练期间不可用的域的图像进行分类。
[0005]在另一方法中，域泛化(DG)技术可使用来自不同的源域的图像来训练机器学习模型，以尝试学习可用于对新目标域中的图像进行分类的域不变特征表示。利用这个方法的一个问题是：因为每个域可能包含可能难以与域不变特征分离的域特定信息，所以随着源域变得更加多样化，对模型进行训练可能变得更加困难。

技术实现思路

[0006]为了克服这些问题，在此描述了用于使用机器学习模型并且使用域不变正则化技术来训练机器学习模型的系统和方法，在域不变正则化技术中，具有分开的(disentangled)内容特定特征空间和域特定特征空间的训练图像可用于将模型训练为对域特定特征不变。例如，这可通过使用域不变正则化损失函数来将模型训练为针对训练图像(训练图像具有相同的特定内容的特征和不同的域特定特征)计算相似输出来实现。例如，可使用生成模型来生成训练图像，生成模型可扰动(perturb)来自源域的图像的域特定特征以创建新图像。例如，这可通过将源图像的内容特定特征与随机选择的样式特定特征进行组合来实现。可使用多域图像到图像转换网络来训练生成模型，在多域图像到图像转换网络中，分类器可被训练为对源图像进行分类，然后用于将生成模型训练为生成与源图
像具有相同类别的域转换的图像。
[0007]因为以上方法可改进分类模型的跨域(包括在训练期间不可用的域)的泛化性能，所以它们改进了先前的系统和方法。
[0008]在一个实施例中，一种方法包括：接收输入图像；使用域不变机器学习模型来基于输入图像计算输出，其中，域不变机器学习模型使用域不变正则化被训练；以及基于所述输出显示信息。
[0009]在一个实施例中，一种系统包括：一个或多个处理器；以及存储器，存储指令，所述指令在由所述一个或多个处理器执行时，使域不变机器学习模型基于输入图像计算输出，其中，域不变机器学习模型使用域不变正则化被训练。
[0010]在一个实施例中，一种训练机器学习模型的方法包括：接收多个输入图像；基于所述多个输入图像生成多个扰动的输入图像；以及使用所述多个输入图像和所述多个扰动的输入图像将机器学习模型训练为域不变。
附图说明
[0011]在下面的部分中，将参照附图中示出的示例性实施例来描述在此公开的主题的方面，其中：
[0012]图1描绘根据实施例的机器学习系统。
[0013]图2描绘根据实施例的用于将机器学习模型训练为域不变的系统。
[0014]图3描绘根据实施例的用于将机器学习模型训练为域不变的另一系统。
[0015]图4A描绘根据实施例的用于生成训练图像并将机器学习模型训练为域不变的系统。
[0016]图4B描绘可与图4A中描绘的系统一起使用的训练图像。
[0017]图5描绘根据实施例的示出内容特定特征、样式特定特征、种类(category)和域之间的关系的因果图。
[0018]图6描绘根据实施例的用于生成分开的(disentangled)内容特定特征和域特定特征以生成训练图像并将机器学习模型训练为域不变的系统。
[0019]图7描绘根据实施例的用于训练内容特定编码器、域特定生成器和/或图像生成器的系统。
[0020]图8描绘根据实施例的用于使用域不变机器学习模型的方法。
[0021]图9描绘根据实施例的用于将机器学习模型训练为域不变的方法。
[0022]图10是根据实施例的网络环境1000中的电子装置的框图。
具体实施方式
[0023]在下面的具体实施方式中，阐述了许多具体细节，以便提供对公开的彻底理解。然而，本领域的技术人员将理解，可在没有这些具体细节的情况下实践公开的方面。在其他情况下，没有详细描述公知的方法、过程、组件和电路，以免模糊在此公开的主题。
[0024]贯穿本说明书对“一个实施例”或者“实施例”的引用表示结合实施例描述的特定特征、结构或特性可被包括在在此公开的至少一个实施例中。因此，在贯穿本说明书的各个地方中出现的短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或者具有相似
含义的其他短语)可不必全部表示相同的实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式来组合。在这方面，如在此使用的，词语“示例性”表示“用作示例、实例或说明”。在此描述为“示例性”的任何实施例将不被解释为必然优选或优于其他实施例。另外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式来组合。此外，根据在此讨论的上下文，单数术语可包括对应的复数形式，并且复数术语可包括对应的单数形式。相似地，带有连字符的术语(例如，“二
‑
维”、“预
‑
确定”、“特定
‑
像素”等)可与对应的不带连字符的版本(例如，“二维”、“预确定”、“特定像素”等)偶尔可互换地使用，并且大写的条目(例如，“Counter Clock”、“Row Select”、“PIXOUT”等)可与对应的非大写的版本(例如，“counter clock”、“row select”、“pixout”等)可互换地使用。这样的偶尔可互换的使用不应被认为彼此不一致。
[0025]此外，根据在此讨论的上下文，单数术语可包括对应的复数形式，并且复数术语可包括对应的单数形式。还应注意，在此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像分类的方法，包括：接收输入图像；使用域不变机器学习模型来基于输入图像计算输出，其中，域不变机器学习模型使用域不变正则化被训练；以及基于所述输出显示信息。2.根据权利要求1所述的方法，其中，域不变正则化包括使用域不变损失。3.根据权利要求1所述的方法，其中，域不变机器学习模型使用第一图像和第二图像被训练，第一图像包括内容特定特征和第一域特定特征，第二图像包括所述内容特定特征和第二域特定特征。4.根据权利要求3所述的方法，其中，第二图像通过改变第一图像的域特定特征来从第一图像被生成。5.根据权利要求3所述的方法，其中，通过使用针对第一图像的分类损失、使用针对第二图像的域不变损失、并且对所述分类损失和所述域不变损失进行组合，来训练域不变机器学习模型。6.根据权利要求3所述的方法，其中，第二图像使用基于源图像的分类进行操作的图像生成器被生成。7.根据权利要求6所述的方法，其中，图像生成器使用分类器模型被训练，并且分类器模型基于源图像的分类被训练。8.一种用于图像分类的系统，包括：一个或多个处理器；以及存储器，存储指令，所述指令在由所述一个或多个处理器执行时，使域不变机器学习模型基于输入图像计算输出，其中，域不变机器学习模型使用域不变正则化被训练。9.根据权利要求8所述的系统，其中，域不变正则化包括使用域不变损失。10.根据权利要求8所述的系统，其中，域不变机器学习模型使用第一图像和第二图像被训练，第一图像包括内容特定特征和第一域特定特征，第二图像包括所述内容特定特征和第二域特定特征。11.根据权利要求10所述的系统，其中，第二图像通过改变第一图像的域特定特征来从第一图像被生成。...

【专利技术属性】
技术研发人员：贝南，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：