使用合成数据和创新生成网络进行深度神经网络的高级和增强训练的方法和系统技术方案

使用合成数据和创新生成网络对深度神经网络（DNN）进行高级和增强训练的方法和系统。一种方法包括：使用合成数据来训练DNN，使用上下文数据来训练多个DNN，将使用上下文数据训练的DNN的特征与利用合成数据训练的DNN的特征相关联，以及使用相关联的特征来生成增强的DNN。

Advanced and enhanced training methods and systems for deep neural networks using synthetic data and innovative generation networks

【技术实现步骤摘要】
【国外来华专利技术】使用合成数据和创新生成网络进行深度神经网络的高级和增强训练的方法和系统
本专利技术的实施例属于数据处理领域，包括图像处理、图形处理和机器学习。更特别地，本专利技术的实施例涉及用于使用合成数据和创新生成网络进行深度神经网络的高级和增强训练的方法和系统的方法和系统。
技术介绍
当前的并行图形数据处理包括被开发以对图形数据实行特定操作的系统和方法，这些特定操作诸如例如线性内插、曲面细分、栅格化、纹理映射、深度测试等。传统上，图形处理器使用了固定功能计算单元来处理图形数据；然而，最近，图形处理器的多个部分已变得可编程，从而使得这样的处理器能够支持用于处理顶点和片段数据的更广泛种类的操作。为了进一步提高性能，图形处理器通常实现处理技术（诸如，流水线操作），这些处理技术试图贯穿图形流水线的不同部分来并行处理尽可能多的图形数据。具有单指令多线程（SIMT）架构的并行图形处理器被设计成最大化图形流水线中的并行处理量。在SIMT架构中，多组并行线程试图尽可能经常地一起同步执行程序指令，以提高处理效率。在SIMT架构中，多组并行线程尝试尽可能经常地一起同步执行程序指令，以提高处理效率。用于SIMT架构的软件和硬件的一般性概述可以在ShaneCook的CUDA编程（CUDAProgramming），第3章，第37-51页（2013年）中找到。机器学习已经在解决许多种类的任务方面成功。在训练和使用机器学习算法（例如，神经网络）时发生的计算自然地服从高效并行实现方式。因此，诸如通用图形处理单元（GPGPU）之类的并行处理器在深度神经网络的实际实现方式中发挥了重要作用。具有单指令多线程（SIMT）架构的并行图形处理器被设计成最大化图形流水线中的并行处理量。在SIMT架构中，多组并行线程试图尽可能经常地一起同步执行程序指令，以提高处理效率。并行机器学习算法实现方式所提供的效率允许使用高容量网络，并且使得那些网络能够在较大的数据集上进行训练。深度神经网络（DNN）由于其特征识别能力而可以实行在计算机视觉和图像识别应用中有用的深度机器学习。DNN包括具有节点的层，这些节点被组织成一组“滤波器”，其可以充当特征检测器。每组滤波器的输出被传播到网络的连续层中的节点。DNN处理在具有多个节点的每个层处可以是计算密集的，其中多个节点具有要为图像检测和处理应用计算的多个参数。此外，对于DNN的培训和学习可能非常广泛的，如果数量层和节点很深，则需要大量的训练数据并且使用参数。附图说明附图图示了示例，并且因此是示例性实施例而不认为在范围上是限制性的。图1是图示了被配置成实现本文所述的实施例的一个或多个方面的计算机系统的框图。图2A-2D图示了根据示例性实施例的并行处理器部件。图3A-3B是根据示例性实施例的图形多处理器的框图。图4A-4F图示了其中多个图形处理单元（GPU）通信地耦合到多个多核处理器的示例性架构。图5图示了根据示例性实施例的图形处理流水线。图6图示了根据示例性实施例的机器学习软件栈。图7图示了根据示例性实施例的高度并行的通用图形处理单元。图8图示了根据示例性实施例的多GPU计算系统。图9A-9B图示了示例性深度神经网络的层。图10图示了示例性递归神经网络。图11图示了深度神经网络的训练和部署的示例性实施例。图12是图示了分布式学习的示例性框图。图13图示了适合于使用经训练的模型来实行推断的示例性推断片上系统（SOC）。图14是用以接收用于训练DNN的训练数据的具有深度神经网络（DNN）训练和学习系统的基本训练和学习架构的示例性框图。图15A图示了使用DNN训练代理处理合成数据和上下文数据的示例性训练架构。图15B图示了包括各种类型的椅子图像的示例性室内场景图像的示例性合成数据。图15C图示了使用DNN训练代理来生成增强DNN的示例性示图。图15D图示了使用合成数据和上下文数据来生成增强DNN的示例性操作。图16A是用以处理合成的标记图像和真实的未标记图像的GAN的示例性基本架构的示图。图16B是处理合成的标记图像和真实的未标记图像的示例性操作。图17图示了示例性GAN模型，其中鉴别器未改变并且发生器损耗被改变。图18A-18D图示了将GAN与创新发生器和鉴别器一起使用的示例性操作。图19图示了根据示例性实施例的处理系统的框图。图20图示了具有一个或多个处理器核、集成存储器控制器和集成图形处理器的实施例的示例性框图。图21图示了图形处理器的示例性框图。图22图示了根据示例性实施例的图形处理器的图形处理引擎的框图。图23图示了图形处理器的另一示例性实施例的框图。图24图示了包括在图形处理引擎（GPE）的示例性实施例中采用的处理元件的阵列的线程执行逻辑。图25是图示了根据示例性实施例的图形处理器指令格式的框图。图26图示了图形处理器的示例性实施例的框图。图27A图示了根据示例性实施例的图形处理器命令格式的框图。图27B图示了根据示例性实施例的图形处理器命令序列的框图。图28图示了根据示例性实施例的数据处理系统的示例性图形软件架构。图29图示了可以被用来制造集成电路（IC）以实行根据示例性实施例的操作的IP核开发系统的框图。图30图示了根据示例性实施例的可以使用一个或多个IP核来制造的示例性片上系统IC的框图。图31图示了根据示例性实施例的可以使用一个或多个IP核来制造的片上系统IC的示例性图形处理器的框图。图32图示了根据实施例的可以使用一个或多个IP核来制造的片上系统IC的示例性附加图形处理器的框图。具体实施方式在一些实施例中，图形处理单元（GPU）通信地耦合到主机/处理器核以加速图形操作、机器学习操作、模式分析操作，以及各种通用GPU（GPGPU）功能。GPU可以通过总线或另一互连件（例如，诸如PCIe或NVLink之类的高速互连件）通信地耦合到主机处理器/核。在其他实施例中，GPU可以与核集成在同一封装或芯片上并且通过内部处理器总线/互连件（即，在封装或芯片内部）通信地耦合至核。不管GPU连接的方式如何，处理器核都可以以工作描述符中包含的命令/指令的序列的形式向GPU分配工作。然后，GPU使用专用电路/逻辑来高效地处理这些命令/指令。在一些实施例中，图像捕获设备是用以捕获输入图像的独立设备。然而，图像捕获设备可以是需要图像捕获能力的另一计算设备的一部分或子部件，诸如具有用以捕获图像的数码相机的便携式或手持式计算设备。在以下描述中，阐述了众多具体细节来提供更透彻的理解。然而，将显而易见的是，可以在没有这些具体细节中的一个或多个的情况下来实践本文中描述的实施例。在其他实例中，没有描述公知的特征以避免使本专利技术实施例的细节晦涩难懂。计算系统概述图1是图示了被配置成实现本文所述的示例性实施例的一个或多个方面的计算系统100的框图。计算系统100包括处理子系统101，该处理子系统具有一个或多个处理器102和系统存储器104，该一个或多个处理器和系统存储器经由互连路径进行通信，该互连路径可以包括存储器中枢105。存储器中枢105可以是芯片组部件内的单独的部件，或者可以集成在一个或多个处理器102内。存储器中枢105经由通信链路106与I/O子系统111耦合。I/O子系统111包括I/O中枢107，该I/O中枢可以使得计算系统100能够从本文档来自技高网...

【技术保护点】
1.一种深度神经网络（DNN）训练方法包括：使用合成数据来训练DNN；使用上下文数据来训练多个DNN；将使用上下文数据训练的DNN的特征与利用合成数据训练的DNN的特征相关联；以及使用相关联的特征来生成增强的DNN。

【技术特征摘要】
【国外来华专利技术】1.一种深度神经网络（DNN）训练方法包括：使用合成数据来训练DNN；使用上下文数据来训练多个DNN；将使用上下文数据训练的DNN的特征与利用合成数据训练的DNN的特征相关联；以及使用相关联的特征来生成增强的DNN。2.如权利要求1所述的方法，进一步包括：通过所述增强的DNN来接收真实输入；以及使用所述增强的DNN来提供所述输入的预测结果。3.如权利要求1所述的方法，其中，生成增强的DNN，添加来自使用上下文数据训练的每个DNN的最后卷积层，所述使用上下文数据训练的每个DNN具有来自利用合成数据训练的DNN的最后卷积层。4.如权利要求3所述的方法，进一步包括：仅重新训练所添加的卷积层。5.一种用于服务器的系统包括：处理核，具有深度神经网络（DNN）；I/O中枢控制器，其耦合到所述处理核，并且为所述处理核提供网络、数据存储和DNN访问；以及图形处理器，用以使用合成数据来训练DNN，使用上下文数据来训练多个DNN，将使用上下文数据训练的DNN的特征与利用合成数据训练的DNN的特征相关联，以及利用相关联的特征来生成增强的DNN。6.如权利要求5所述的系统，其中所述图形处理器用以通过所述增强的DNN来接收真实输入，以及使用所述增强的DNN来提供所述输入的预测结果。7.如权利要求5所述的系统，其中所述图形处理器用以生成增强的DNN，添加来自使用上下文数据训练的每个DNN的最后卷积层，所述使用上下文数据训练的每个DNN具有来自利用合成数据训练的DNN的最后卷积层。8.如权利要求7所述的系统，其中所述图形处理器仅重新训练所添加的卷积层。9.一种深度神经网络（DNN）训练方法包括：处理具有所标记的信息的合成的标记图像以生成视觉逼真的图像；对真实的未标记图像和使用来自合成的标记图像的所标记的信息所生成的视觉逼真的图像进行处理；以及区分经处理的真实的未标记图像和所述视觉逼真的图像，以确定所述视觉逼真的图像是真实数据还...

【专利技术属性】
技术研发人员：姚安邦，S王，W程，D蔡，L王，L徐，P胡，郭怡文，L杨，Y候，Z苏，Y陈，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US