在合成数据系统和应用程序中使用域对抗学习的域适应技术方案

在各种示例中，可以使用多阶梯度来更新机器学习模型(MLM)，以便训练所述MLM，例如至少一阶梯度和任意数量的高阶梯度。可以训练MLM中的至少第一个以生成对于对应于第一数据集的第一域和对应于第二数据集的第二域是不变的特征表示。可以训练所述MLM中的至少第二个以对表示是对应于所述第一域还是所述第二域进行分类。可以训练所述MLM中的至少第三个以执行任务。所述第一数据集可以对应于标记的源域，而所述第二数据集可以对应于未标记的目标域。所述训练可以包括在表示空间中将知识从所述第一域转移到所述第二域。述第一域转移到所述第二域。述第一域转移到所述第二域。

【技术实现步骤摘要】
【国外来华专利技术】在合成数据系统和应用程序中使用域对抗学习的域适应

技术介绍

[0001]无监督域适应(UDA)通过从标记的源域(例如，具有不同分布的相关数据集，其中已经存在大量标记数据)转移知识来解决目标域中缺乏标记数据的问题。域对抗学习(DAL)是UDA的一种形式，它涉及以对抗方式学习输入的域不变表示。DAL可能旨在欺骗在表示空间中运行的分类器，以对数据点属于源域还是目标域进行分类。更正式地说，DAL可以理解为训练以最小化表示空间中源域和目标域之间的差异。
[0002]在训练神经网络时，可以使用优化器来定义如何更改神经网络的参数，诸如权重和学习率，以便根据损失函数减少损失。DAL通常实现基于梯度下降的优化器，其是一种依赖于损失函数的一阶导数的一阶优化算法。在DAL中，学习算法的对抗性可能是由于梯度反转层(GRL)的引入。在反向传播过程中，GRL可以从后续级别获取梯度并更改其符号—例如，将梯度乘以
‑
1—然后再将其传递到前一层。虽然DAL理论上能够实现高性能，但在实践中，DAL可能明显不稳定且难以实现用于训练神经网络。

技术实现思路

[0003]本公开的实施例涉及对竞争神经网络组件具有增强收敛性的优化器。更具体地，本公开涉及用于确定神经网络的参数值，同时避免与基于梯度的优化算法相关联的潜在问题的方法，这些潜在问题可能导致训练中的不稳定或以其他方式限制训练性能。
[0004]与诸如上述那些训练机器学习模型(MLM)的传统方法相比，MLM的参数值可以至少基于对应于一个或更多个成本函数的多阶梯度来更新。例如，可以至少基于一阶梯度和任意数量的高阶梯度来更新这些值。可以使用对抗性学习来训练MLM，例如，通过联合训练MLM。MLM中的至少第一个可以被训练以生成对于与第一数据集对应的第一域和与第二数据集对应的第二域是不变的一个或更多个特征的表示。MLM中的至少第二个可以被训练以对表示是对应于第一域还是第二域进行分类。MLM中的至少第三个可以被训练以使用分配给第一数据集的一个或更多个真值标签来执行任务——例如对输入数据中表示的对象进行分类。在至少一个实施例中，第一数据集可以对应于标记的源域(例如，对应于三维模型的渲染)，并且第二数据集可以对应于未标记的目标域(例如，对应于真实世界的图像)。训练可以包括在表示空间中将知识从第一域转移到第二域。
附图说明
[0005]下面参照附图详细描述了用于对竞争神经网络组件具有增强收敛性的优化器的本系统和方法，其中：
[0006]图1是根据本公开的一些实施例的可用于训练一个或更多个机器学习模型的示例过程的图示；
[0007]图2示出了根据本公开的一些实施例的可用于领域对抗学习的机器学习模型和相关数据集的示例；
[0008]图3A示出了根据本公开的一些实施例的源域的数据集分布的示例；
[0009]图3B示出了根据本公开的一些实施例的目标域的数据集分布的示例；
[0010]图4是根据本公开的一些实施例的针对各种形式的优化器的联合训练神经网络中的参数值的示例图；
[0011]图5是根据本公开的一些实施例示出用于使用至少第一梯度和第二梯度训练一个或更多个MLM的方法的流程图；
[0012]图6是根据本公开的一些实施例示出用于使用至少第一梯度和第二梯度联合训练MLM的方法的流程图；
[0013]图7是适用于实现本公开的一些实施例的示例计算设备的框图；以及
[0014]图8是适用于实现本公开的一些实施例的示例数据中心的框图。
具体实施方式
[0015]本公开涉及对竞争神经网络组件具有增强收敛性的优化器。更具体地说，该公开涉及用于确定神经网络的参数值，同时避免与基于梯度的优化算法相关的潜在问题的方法，这些潜在问题可能导致训练不稳定或以其他方式限制训练性能。
[0016]所公开的方法提供了神经网络的参数的基于梯度的优化，其中参数的值至少基于对应于一个或更多个成本函数的多阶梯度来更新。例如，可以至少基于一阶梯度和任意数量的高阶梯度来更新这些值。在至少一个实施例中，可以将一个或更多个样本应用于具有一个或更多个参数的第一值的一个或更多个神经网络，以生成一个或更多个输出。例如，一个或更多个神经网络可以包括将使用对抗性学习来训练的多个神经网络(或者更一般地，为竞争任务或功能而被训练的神经网络组件)。一个或更多个输出可用于计算与所述一个或更多个成本函数对应的至少第一梯度和第二梯度，其中第二梯度具有比第一梯度更高的阶。可以使用第一梯度和第二梯度来调整第一值，以确定一个或更多个神经网络的一个或更多个参数的第二值。在至少一个实施例中，调整可以至少基于至少第一梯度和第二梯度的统计组合(例如，平均值)。可以使用一个或更多个参数的第二值来训练一个或更多个神经网络。
[0017]在一个或更多个实施例中，使用多阶梯度来更新一个或更多个参数的值可以改善在使用基于梯度的优化算法(例如梯度下降)训练神经网络时可能出现的许多潜在问题。例如，使用梯度下降来优化包括梯度反转层(GRL)的一个网络(或更多个网络)的参数，例如在域对抗学习(DAL)中，可能违反局部纳什均衡的渐近收敛保证，除非对学习率设置上限。使用高阶梯度可以有效地抵消基于梯度的优化算法导致上限的特性。因此，可以使用更积极的学习率，同时实现更快的收敛。
[0018]在至少一个实施例中，多个神经网络可被联合训练且包括一个或更多个第一神经网络，该一个或更多个第一神经网络被训练以生成对于与第一数据集对应的第一域和与第二数据集对应的第二域是不变的一个或更多个特征的表示。神经网络还可以包括一个或更多个第二神经网络，用于对表示是对应于第一域还是第二域进行分类。神经网络可以进一步包括被训练为对表示进行分类的一个或更多个第三神经网络(该训练可以使用分配给第一数据集中的样本的一个或更多个真值标签)。在至少一个实施例中，第一数据集可以对应于标记的源域(例如，对应于三维模型的渲染)，并且第二数据集可以对应于未标记的目标域(例如，对应于真实世界的图像)。训练可以包括在由神经网络学习的表示空间中将知识
从第一域转移到第二域。
[0019]本文描述的系统和方法可以由(但不限于)非自动驾驶汽车、半自动驾驶汽车(例如，在一个或更多个自适应驾驶员辅助系统(ADAS)中)、有人驾驶和无人驾驶的机器人或机器人平台、仓库车辆、越野车辆、连接到一个或更多个拖车的车辆、飞行船只、船只、班车、应急响应车辆、摩托车、电动或机动自行车、飞机、工程车辆、水下船只、无人机和/或其他车辆类型使用。此外，本文中描述的系统和方法可用于多种目的，作为示例但不限于，用于机器控制、机器运动、机器驾驶、合成数据生成、模型训练、感知、增强现实、虚拟现实、混合现实、机器人、安全和监视、模拟和数字孪生、自动或半自动机器应用、深度学习、环境模拟、对象或参与者模拟和/或数字孪生、数据中心处理、对话式AI、光传输模拟(例如光线追踪、路径追踪等)、3D资产的协作内容创建、云计算和/或任何其他合适的应用程序。
[0020]所公开的实施例可以被包括在各本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：使用一个或更多个神经网络生成一个或更多个输出，所述一个或更多个神经网络包括对应于一个或更多个第一值的一个或更多个参数；使用一个或更多个成本函数并至少基于所述一个或更多个输出，计算第一梯度和比所述第一梯度更高阶的第二梯度；以及使用所述第一梯度和所述第二梯度调整对应于所述一个或更多个参数的所述一个或更多个第一值，以确定与所述一个或更多个神经网络的所述一个或更多个参数相对应的一个或更多个第二值。2.根据权利要求1所述的方法，其中所述一个或更多个神经网络包括第一神经网络和第二神经网络，所述第一神经网络和所述第二神经网络使用对抗性训练来训练。3.根据权利要求1所述的方法，其中所述一个或更多个神经网络包括多个神经网络，并且至少部分地通过以下方式训练所述多个神经网络：训练所述多个神经网络中的至少一个第一神经网络，以生成一个或更多个特征的表示，所述表示对于与输入到所述至少一个第一神经网络的第一数据集相对应的第一域和与输入到所述至少一个第一神经网络的第二数据集相对应的第二域是不变的；以及训练所述多个神经网络中的至少一个第二神经网络以对所述表示是对应于所述第一域还是所述第二域进行分类。4.根据权利要求3所述的方法，其中所述第一域对应于合成数据，而所述第二域对应于真实世界的数据。5.根据权利要求3所述的方法，还包括：使用分配给所述第一数据集的一个或更多个真值标签来训练所述多个神经网络中的至少一个第三神经网络，以对所述表示进行分类。6.根据权利要求1所述的方法，其中调整对应于所述一个或更多个参数的所述一个或更多个第一值是至少基于至少所述第一梯度和所述第二梯度的统计组合。7.根据权利要求1所述的方法，其中所述第一梯度是所述一个或更多个成本函数的一阶梯度，并且所述第二梯度是所述一个或更多个成本函数的二阶梯度。8.根据权利要求1所述的方法，其中所述一个或更多个神经网络包括一个或更多个对抗性神经网络，并且所述训练包括确定所述一个或更多个对抗性神经网络的所述一个或更多个参数收敛到局部纳什均衡。9.根据权利要求1所述的方法，其中所述一个或更多个神经网络包括梯度反转层。10.根据权利要求1所述的方法，还包括使用所述一个或更多个神经网络来执行系统内的一个或更多个操作，所述系统包括或被包括在以下的至少一个中：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行数字孪生操作的系统；用于执行光传输模拟的系统；用于执行3D资产的协作内容创建的系统；用于执行深度学习操作的系统；使用边缘设备实现的系统；使用机器人实现的系统；用于执行对话式AI操作的系统；用于生成合成数据的系统；包含一个或更多个虚拟机(VM)的系统；至少部分地在数据中心中实现的系统；或者至少部分地使用云计算资源实现的系统。11.一种系统，包括：一个或更多个处理单元，用于：生成一个或更多个第一神经网络的一个或更多个第一输出和一个或更多个第二神经网络的一个或更多个第二输出；使用一个或更多个成本函数并至少基于所述一个或更多个第一输出和所述一个或更多个第二输出，确定所述一个或更多个第一神经网络和所述一个或更多个第二神经网络的联合参数集的第一梯度和第二梯度，所述第二梯度比所述第一梯度更高阶；以及使用所述第一梯度和所述第二梯度更新所述联合参数集的值。
12.根据权利要求11所述的系统，其中通过...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：辉达公司，
类型：发明
国别省市：