【技术实现步骤摘要】
【国外来华专利技术】识别用于训练一个或更多个神经网络的数据的技术
[0001]相关申请的交叉引用
[0002]本申请要求于2021年3月1日提交的名称为“识别用于训练一个或更多个神经网络的数据的技术(TECHNIQUES TO IDENTIFY DATA USED TO TRAIN ONE OR MORE NEURAL NETWORKS)”的美国专利申请No.17/188,397的优先权,其全部内容通过引用整体并入本文并用于所有目的。
[0003]至少一个实施例涉及用于基于来自一个或更多个经训练的神经网络的训练结果来确定训练数据的处理资源。例如,至少一个实施例涉及用于根据本文描述的各种新技术基于从一个或更多个经训练的神经网络确定的梯度来确定训练数据的处理器或计算系统。
技术介绍
[0004]在各种情况下,确定用于训练神经网络模型的训练数据可能很困难。通常,梯度数据是系统确定训练数据的唯一可用数据。当训练数据的批量大小很大时,用于确定所有训练数据的内存、时间或计算资源的量就变得很重要。可以改进用于从梯度数据确定训练数据的内存、时间或计算资源的量。
附图说明
[0005]图1示出了根据至少一个实施例的联合学习计算环境的示例,其中由一个或更多个客户端设备共享的梯度用于确定训练数据;
[0006]图2示出了根据至少一个实施例的用于梯度反演的框架的概览的示例;
[0007]图3示出了根据至少一个实施例的用于梯度反演的框架的示例;
[0008]图4示出了根据至少一个实施例的用于提高重建质量的基 ...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种处理器,包括:一个或更多个电路,用于至少部分地基于用于训练一个或更多个神经网络的一个或更多个图像内的一个或更多个对象的一个或更多个标签,识别所述一个或更多个图像。2.如权利要求1所述的处理器,其中所述一个或更多个电路进一步用于:生成一个或更多个种子,其中所述一个或更多个种子包括一个或更多个噪声图像;以及使用所述一个或更多个种子、所述一个或更多个标签和所述一个或更多个图像来修改所述一个或更多个种子以匹配用于训练所述一个或更多个神经网络的所述一个或更多个图像。3.如权利要求2所述的处理器,其中所述一个或更多个电路进一步用于:从多个不同计算机系统中的每一个接收包括模型梯度的训练结果,其中所述不同计算机系统中的每一个训练神经网络的不同部分;获得从所接收到的模型梯度生成的平均模型梯度;计算所述一个或更多个种子的变化以匹配所述平均模型梯度和所述一个或更多个标签;以及使用所计算的变化修改所述一个或更多个种子。4.如权利要求3所述的处理器,其中所述一个或更多个噪声图像使用至少一个图像先验来进一步修改。5.如权利要求3所述的处理器,其中所述平均模型梯度包括具有所述一个或更多个标签的所述一个或更多个图像的平均梯度值。6.如权利要求5所述的处理器,其中所述一个或更多个标签是使用来自最后全连接分类层的梯度确定的。7.一种系统,包括:一个或更多个处理器,用于至少部分地基于用于训练一个或更多个神经网络的一个或更多个图像内的一个或更多个对象的一个或更多个标签,识别所述一个或更多个图像。8.如权利要求7所述的系统,其中所述一个或更多个处理器进一步用于:生成一个或更多个噪声图像;从训练所述一个或更多个神经网络的一部分的不同计算机系统获得平均梯度;以及使用所述平均梯度、所述一个或更多个标签和所述一个或更多个噪声图像来更新所述一个或更多个噪声图像以匹配用于训练所述一个或更多个神经网络的所述一个或更多个图像。9.如权利要求8所述的系统,其中所述一个或更多个处理器还用于通过使用来自在训练期间确定的所述不同计算机系统的每一个的最后一层中的模型梯度的信息来更新所述一个或更多个噪声图像。10.如权利要求9所述的系统,其中来自所述不同计算机系统的每一个的最后一层中的模型梯度的信息指示用于训练所述一个或更多个神经网络的所述一个或更多个图像内的所述一个或更多个对象的所述一个或更多个标签。11.如权利要求10所述的系统,其中所述一个或更多个处理器进一步用于基于用于训练所述一个或更多个神经网络的所述一个或更多个图像中存在的对象的类型来确定所述
一个或更多个标签。12.如权利要求7所述的系统,其中用于训练所述一个或更多个神经网络的所述一个或更多个图像包括大于一的批量大小。13.一种方法,包括:至少部分地基于用于训练一个或更多个神经网络的一个或更多个图像内的一个或更多个对象的一个或更多个标签,来识别所述一个或更多个图像。14.如权利要求13所述的方法,还包括使用来自至少一个客户端设备的神经网络层的梯度信息来:确定用于训练所述一个或更多个神经网络的所述一个或更多个图像内的所述一个或更多个对象的所述一个或更多个标签;以及使用所述一个或更多个图像和所述一个或更多个标签来更新一个或更多个生成的噪声图像以匹配所述一个或更多个图像。15.如权利要求14所述的方法,其中通过至少使用来自所述至少一个客户端设备的所述神经网络的最后一层的梯度信息来更新所述一个或更多个生成的噪声图像。16.如权利要求15所述的方法,还包括:对一个或更多个更新后的噪声图像执行像素平均,以生成平均噪声...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。