识别用于训练一个或更多个神经网络的数据的技术制造技术

用于识别用于训练一个或更多个神经网络的一个或更多个图像的装置、系统和技术。在至少一个实施例中，用于训练一个或更多个神经网络的一个或更多个图像是基于例如一个或更多个图像内的一个或更多个对象的一个或更多个标签来识别的。标签来识别的。标签来识别的。

【技术实现步骤摘要】
【国外来华专利技术】识别用于训练一个或更多个神经网络的数据的技术
[0001]相关申请的交叉引用
[0002]本申请要求于2021年3月1日提交的名称为“识别用于训练一个或更多个神经网络的数据的技术(TECHNIQUES TO IDENTIFY DATA USED TO TRAIN ONE OR MORE NEURAL NETWORKS)”的美国专利申请No.17/188,397的优先权，其全部内容通过引用整体并入本文并用于所有目的。


[0003]至少一个实施例涉及用于基于来自一个或更多个经训练的神经网络的训练结果来确定训练数据的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新技术基于从一个或更多个经训练的神经网络确定的梯度来确定训练数据的处理器或计算系统。

技术介绍

[0004]在各种情况下，确定用于训练神经网络模型的训练数据可能很困难。通常，梯度数据是系统确定训练数据的唯一可用数据。当训练数据的批量大小很大时，用于确定所有训练数据的内存、时间或计算资源的量就变得很重要。可以改进用于从梯度数据确定训练数据的内存、时间或计算资源的量。
附图说明
[0005]图1示出了根据至少一个实施例的联合学习计算环境的示例，其中由一个或更多个客户端设备共享的梯度用于确定训练数据；
[0006]图2示出了根据至少一个实施例的用于梯度反演的框架的概览的示例；
[0007]图3示出了根据至少一个实施例的用于梯度反演的框架的示例；
[0008]图4示出了根据至少一个实施例的用于提高重建质量的基于多种子优化和图像配准的组一致性正则化项的示例；
[0009]图5示出了根据至少一个实施例的用于梯度反演的框架的结果的可视化示例；
[0010]图6示出了根据至少一个实施例的用于梯度反演的框架的最终图像的示例；
[0011]图7示出了根据至少一个实施例的用于梯度反演的框架的过程的示例；
[0012]图8A示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图8B示出了根据至少一个实施例的推理和/或训练逻辑；
[0014]图9示出了根据至少一个实施例的神经网络的训练和部署；
[0015]图10示出了根据至少一个实施例的示例数据中心系统；
[0016]图11A示出了根据至少一个实施例的自主车辆的示例；
[0017]图11B示出了根据至少一个实施例的图11A的自主车辆的相机位置和视野的示例；
[0018]图11C是根据至少一个实施例的示出图11A的自主车辆的示例系统架构的框图；
[0019]图11D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图11A的自主车辆之间进行通信的系统的图；
[0020]图12是根据至少一个实施例的示出计算机系统的框图；
[0021]图13是根据至少一个实施例的示出计算机系统的框图；
[0022]图14示出了根据至少一个实施例的计算机系统；
[0023]图15示出了根据至少一个实施例的计算机系统；
[0024]图16A示出了根据至少一个实施例的计算机系统；
[0025]图16B示出了根据至少一个实施例的计算机系统；
[0026]图16C示出了根据至少一个实施例的计算机系统；
[0027]图16D示出了根据至少一个实施例的计算机系统；
[0028]图16E和图16F示出了根据至少一个实施例的共享编程模型；
[0029]图17示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
[0030]图18A和图18B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0031]图19A和图19B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0032]图20示出了根据至少一个实施例的计算机系统；
[0033]图21A示出了根据至少一个实施例的并行处理器；
[0034]图21B示出了根据至少一个实施例的分区单元；
[0035]图21C示出了根据至少一个实施例的处理集群；
[0036]图21D示出了根据至少一个实施例的图形多处理器；
[0037]图22示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0038]图23示出了根据至少一个实施例的图形处理器；
[0039]图24是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0040]图25示出了根据至少一个实施例的深度学习应用程序处理器；
[0041]图26是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0042]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0043]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0044]图29示出了根据一个或更多个实施例的图形处理器的至少部分；
[0045]图30是根据至少一个实施例的图形处理器的图形处理引擎的框图；
[0046]图31是根据至少一个实施例的图形处理器核心的至少部分的框图；
[0047]图32A和图32B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列；
[0048]图33示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0049]图34示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0050]图35示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0051]图36示出了根据至少一个实施例的流式多处理器；
[0052]图37是根据至少一个实施例的高级计算管线的示例数据流图；
[0053]图38是根据至少一个实施例的用于在高级计算管线中训练、自适应、实例化和部署机器学习模型的示例系统的系统图；
[0054]图39包括根据至少一个实施例的用于处理成像数据的高级计算管线的示例图示；
[0055]图40A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0056]图40B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0057]图41A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0058]图41B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0059]在至少一个实施例中，在训练期间共享权重更新或梯度用于深度网络的协作、分布式和联合学习。在至少一个实施例中，联合学习是指一个或更多个机器学习过程，其中神经网络模型在一个或更多个分散的实体上进行训练。在至少一个实施例中，在联合随机梯度下降中，每个设备学习本地数据，并共享梯度以更新全局模型。在至少一个实施例中，在联合学习中，客户端设备可以在不访问任何其他客户端本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理器，包括：一个或更多个电路，用于至少部分地基于用于训练一个或更多个神经网络的一个或更多个图像内的一个或更多个对象的一个或更多个标签，识别所述一个或更多个图像。2.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于：生成一个或更多个种子，其中所述一个或更多个种子包括一个或更多个噪声图像；以及使用所述一个或更多个种子、所述一个或更多个标签和所述一个或更多个图像来修改所述一个或更多个种子以匹配用于训练所述一个或更多个神经网络的所述一个或更多个图像。3.如权利要求2所述的处理器，其中所述一个或更多个电路进一步用于：从多个不同计算机系统中的每一个接收包括模型梯度的训练结果，其中所述不同计算机系统中的每一个训练神经网络的不同部分；获得从所接收到的模型梯度生成的平均模型梯度；计算所述一个或更多个种子的变化以匹配所述平均模型梯度和所述一个或更多个标签；以及使用所计算的变化修改所述一个或更多个种子。4.如权利要求3所述的处理器，其中所述一个或更多个噪声图像使用至少一个图像先验来进一步修改。5.如权利要求3所述的处理器，其中所述平均模型梯度包括具有所述一个或更多个标签的所述一个或更多个图像的平均梯度值。6.如权利要求5所述的处理器，其中所述一个或更多个标签是使用来自最后全连接分类层的梯度确定的。7.一种系统，包括：一个或更多个处理器，用于至少部分地基于用于训练一个或更多个神经网络的一个或更多个图像内的一个或更多个对象的一个或更多个标签，识别所述一个或更多个图像。8.如权利要求7所述的系统，其中所述一个或更多个处理器进一步用于：生成一个或更多个噪声图像；从训练所述一个或更多个神经网络的一部分的不同计算机系统获得平均梯度；以及使用所述平均梯度、所述一个或更多个标签和所述一个或更多个噪声图像来更新所述一个或更多个噪声图像以匹配用于训练所述一个或更多个神经网络的所述一个或更多个图像。9.如权利要求8所述的系统，其中所述一个或更多个处理器还用于通过使用来自在训练期间确定的所述不同计算机系统的每一个的最后一层中的模型梯度的信息来更新所述一个或更多个噪声图像。10.如权利要求9所述的系统，其中来自所述不同计算机系统的每一个的最后一层中的模型梯度的信息指示用于训练所述一个或更多个神经网络的所述一个或更多个图像内的所述一个或更多个对象的所述一个或更多个标签。11.如权利要求10所述的系统，其中所述一个或更多个处理器进一步用于基于用于训练所述一个或更多个神经网络的所述一个或更多个图像中存在的对象的类型来确定所述
一个或更多个标签。12.如权利要求7所述的系统，其中用于训练所述一个或更多个神经网络的所述一个或更多个图像包括大于一的批量大小。13.一种方法，包括：至少部分地基于用于训练一个或更多个神经网络的一个或更多个图像内的一个或更多个对象的一个或更多个标签，来识别所述一个或更多个图像。14.如权利要求13所述的方法，还包括使用来自至少一个客户端设备的神经网络层的梯度信息来：确定用于训练所述一个或更多个神经网络的所述一个或更多个图像内的所述一个或更多个对象的所述一个或更多个标签；以及使用所述一个或更多个图像和所述一个或更多个标签来更新一个或更多个生成的噪声图像以匹配所述一个或更多个图像。15.如权利要求14所述的方法，其中通过至少使用来自所述至少一个客户端设备的所述神经网络的最后一层的梯度信息来更新所述一个或更多个生成的噪声图像。16.如权利要求15所述的方法，还包括：对一个或更多个更新后的噪声图像执行像素平均，以生成平均噪声...

【专利技术属性】
技术研发人员：尹洪旭，A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：