用稀疏数据训练神经网络的系统和方法技术方案

本申请涉及用稀疏数据训练神经网络的系统和方法。公开了用于训练神经网络模型的方法、计算机可读介质和系统。所述方法包括步骤：从包括输入向量和稀疏目标向量的一组训练数据中选择输入向量，其中每个稀疏目标向量包括对应于神经网络模型的输出向量内的样本子集的目标数据。所述方法还包括步骤：通过神经网络模型处理输入向量以针对输出向量内的样本产生输出数据，以及调整神经网络模型的参数值以针对样本子集减小输出向量与稀疏目标向量之间的差。之间的差。之间的差。

【技术实现步骤摘要】
用稀疏数据训练神经网络的系统和方法
[0001]分案申请信息
[0002]本专利技术专利申请是申请日为2018年6月8日、申请号为201810589639.6、专利技术名称为“用稀疏数据训练神经网络的系统和方法”的专利技术专利申请案的分案申请。
[0003]优先权要求
[0004]本申请要求于2017年6月12日提交的题为“用稀疏数据训练神经网络(TRAINING NEURAL NETWORKS WITH SPARSE DATA)”的62/518,435号美国临时申请的权益，其全部内容通过引用并入本文。


[0005]本专利技术涉及训练神经网络，并且更具体地涉及使用稀疏数据来训练神经网络。

技术介绍

[0006]通常使用反向传播来训练用于图像处理的神经网络，以将神经网络模型的输出(即，预测)与目标图像进行匹配。例如，神经网络模型可以被训练成升档(upscale)图像，从低分辨率图像生成高分辨率图像，或被训练成去噪图像，从有噪声图像产生干净的输出图像。假设可微函数g被描述为具有可训练参数集Θ的神经网络，其将输入向量x＝{x1,x2,...,x
n
}映射到输出向量}映射到输出向量
[0007][0008]神经网络通过最小化损失函数来训练，
[0009][0010]量化目标y＝{y1,y2,...,y
m
}与神经网络输出之间的误差。
[0011]对于图像处理网络来说，L2标准经常被用作损失函数。生成和存储训练所需的输入和目标对(x，y)的大数据集常常是一个重大挑战。例如，图像处理网络通常用成千上百万图像训练图像处理网络。在离线渲染场景下用路径追踪图像训练时，经常花费数周来生成参考图像和许多兆兆字节的数据存储。计算精确的目标图像是耗时的并且需要很大的数据存储和传输能力。具有解决这些问题和/或与现有技术相关的其他问题的需求。

技术实现思路

[0012]公开了用于训练神经网络模型的方法、计算机可读介质和系统。该方法包括从包括输入向量和稀疏目标向量的训练数据集中选择输入向量的步骤，其中每个稀疏目标向量包括对应于神经网络模型的输出向量内的样本子集的目标数据。该方法还包括通过神经网络模型处理输入向量以针对输出向量内的样本产生输出数据以及调整神经网络模型的参数值以针对样本子集减小输出向量与稀疏目标向量之间的差的步骤。
附图说明
[0013]图1A示出了根据一个实施例的用于训练神经网络的方法的流程图；
[0014]图1B示出了使用稀疏输入数据和地面实况训练目标的现有技术神经网络训练的示意图；
[0015]图1C示出了根据一个实施例的使用稀疏输入数据和稀疏地面实况训练目标的神经网络训练的示意图；
[0016]图1D示出了根据一个实施例的用于使用稀疏目标向量来训练神经网络的系统的框图；
[0017]图1E示出了根据一个实施例的使用稀疏输入数据和稀疏地面实况训练目标的神经网络训练的另一个示意图；
[0018]图1F示出了根据一个实施例的用于使用稀疏输入数据和稀疏地面实况训练目标来训练神经网络的方法的流程图；
[0019]图2A示出了根据一个实施例的用于使用稀疏目标向量来训练神经网络的系统的框图；
[0020]图2B示出了用于使用输入数据和稀疏地面实况训练目标来训练神经网络的方法的另一个流程图；
[0021]图2C示出了根据一个实施例的使用稀疏输入数据和稀疏地面实况训练目标的神经网络训练的示意图；
[0022]图2D示出了根据一个实施例的使用稀疏输入数据和稀疏目标数据训练以生成抗锯齿图像的神经网络的稀疏输入数据、地面实况目标数据和输出数据；
[0023]图3示出了根据一个实施例的并行处理单元；
[0024]图4A示出了根据一个实施例的图3的并行处理单元的通用处理集群；
[0025]图4B示出了根据一个实施例的图3的并行处理单元的分区单元；
[0026]图5示出了根据一个实施例的图4A的流式多处理器；以及
[0027]图6示出了示例性系统，其中可以实现各种先前实施例的各种架构和/或功能。
具体实施方式
[0028]描述了一种用于使用稀疏目标数据来训练神经网络的技术，而不是使用输入数据和密集目标数据来训练神经网络。在一个实施例中，仅存在密集目标数据的选定子集。在以下描述的上下文中，密集目标数据包括针对图像数据的每像素至少一个样本。相反，稀疏目标数据包括针对图像数据的每像素少于一个样本。在一个实施例中，为每个稀疏目标向量随机选择密集目标数据的子集。在另一个实施例中，基于某个预定标准来选择密集目标数据的子集。为了在训练神经网络模型期间实现收敛，所有数据样本(例如图像数据的像素)应该在稀疏目标数据中被均等地表示。重要的是，只需要生成和存储密集目标数据的选定子集。使用稀疏目标数据而不是密集目标数据可以大大减少生成训练数据集所需的时间和计算。因此，可以减少完成整个训练过程所需的时间。
[0029]在一个实施例中，输入数据也是稀疏的，使得只有输入数据的选定子集被生成和存储。当输入数据是稀疏的时，输入数据的选定子集不应与训练数据对内的目标数据的选定子集相关。训练还可以实时执行。例如，可以将训练执行为从图像捕获设备接收稀疏输入
图像或者使用计算机图形渲染稀疏输入图像可以训练神经网络以生成精确匹配密集目标图像的输出图像
‑
在训练过程期间不再使用密集目标图像Y。相反，稀疏目标图像被用来训练神经网络。
[0030]图1A示出了根据一个实施例的用于训练神经网络的方法100的流程图。方法100在神经网络的上下文中被描述，并且方法100也可以由程序、定制电路或由定制电路和程序的组合来执行。例如，方法100可以由图形处理单元(GPU)、中央处理单元(CPU)或能够执行必要处理操作的任何处理器来执行。此外，本领域的普通技术人员将理解，执行方法100的任何系统都在本专利技术的实施例的范围和精神内。
[0031]在步骤110中，从包括密集输入向量X和稀疏目标向量的训练数据集中选择输入向量X，其中每个稀疏目标向量包括对应于神经网络模型的输出向量f(X)内的样本子集的目标数据。密集目标向量Y包括稀疏目标向量在一个实施例中，针对每个稀疏目标向量随机选择样本子集中的样本。针对训练数据中的每个稀疏目标向量使用随机选择的目标数据的不同排列使得神经网络模型收敛到与使用采用密集目标向量的传统训练时相同的结果。相比之下，常规的密集目标向量包括与神经网络模型的输出向量内的所有样本而不仅仅是样本子集相对应的目标数据。
[0032]重要的是，跨越稀疏目标向量，所有数据样本应该被均等地表示。换句话说，在稀疏目标向量中，每个数据样本(或者在图像处理的情况下的像素)均等地可能存在或者缺失。例如，对于稀疏目标向量集，只有奇数像素存在于图像的一半中，而对于该稀疏目标向量集，只有偶数像素存在于图像的另一半中。在另一个示例中，只要每个像素在该稀疏目标向量集中被均等地表示，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，其包括：一个或更多个电路，用于使用一个或更多个神经网络以至少部分地基于一个或更多个图像的稀疏选择的像素来对所述一个或更多个图像进行上采样。2.根据权利要求1所述的处理器，其中所述稀疏选择的像素将被用作地面实况数据。3.根据权利要求1所述的处理器，其中所述一个或更多个电路用于通过从一个或更多个图像中随机选择一个或更多个像素设置为零来生成所述稀疏选择的像素。4.根据权利要求1所述的处理器，其中用于上采样所述一个或更多个图像的所述一个或更多个神经网络通过将来自上采样的一个或更多个图像的一个或更多个像素与所述一个或更多个图像的所述稀疏选择的像素进行比较来进行训练，以减少反向传播期间的差异。5.根据权利要求1所述的处理器，其中通过至少使用稀疏输入训练数据和稀疏输出训练数据来训练所述一个或更多个神经网络。6.根据权利要求1所述的处理器，其中所述一个或更多个电路用于至少部分地基于密度掩码和一个或更多个图像的稀疏选择的像素来上采样所述一个或更多个图像，所述密度掩码指示在所述稀疏选择的像素中存在的每个个体样本的强度。7.根据权利要求1所述的处理器，其中所述一个或更多个电路用于使用所述一个或更多个神经网络来至少部分地基于图像的一个或更多个第二像素来生成所述图像的一个或更多个第一像素。8.一种系统，其包括:一个或更多个电路，用于使用一个或更多个神经网络以至少部分地基于一个或更多个图像的稀疏选择的像素来对所述一个或更多个图像进行上采样。9.根据权利要求8所述的系统，其中所述稀疏选择的像素将被用作地面实况数据。10.根据权利要求8所述的系统，其中所述一个或更多个电路用于通过从一个或更多个图像中随机选择一个或更多个像素设置为一个或更多个预定值来生成所述稀疏选择的...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：辉达公司，
类型：发明
国别省市：