利用联合学习执行神经网络架构搜索的技术制造技术

在联合学习(FL)设置中从多个神经网络中选择神经网络架构的装置、系统和技术。在至少一个实施例中，通过结合来自不同的FL计算系统的训练结果来训练神经网络，其中不同的FL计算系统中的每一个，例如训练神经网络的不同部分。分。分。

【技术实现步骤摘要】
【国外来华专利技术】利用联合学习执行神经网络架构搜索的技术
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月1日提交的题为“利用联合学习执行神经网络架构搜索的技术(TECHNIQUE TO PERFORM NEURAL NETWORK ARCHITECTURE SEARCH WITH FEDERATED LEARNING)”美国专利申请No.16/889,652的优先权，其全部内容通过引用并出于所有目的而合并于此。


[0003]至少一个实施例涉及在联合学习(FL)设置中使用不同的计算系统来训练神经网络的一部分。例如，至少一个实施例涉及使神经网络的不同部分在每个不同的计算系统中被训练，并且来自这些不同的计算系统中的每个训练不同部分的结果被结合起来以训练神经网络。

技术介绍

[0004]由于数据隐私问题，训练在多个客户中共享的神经网络可能是个挑战。例如，训练数据可能包括特定于个人的医学成像数据。此外，将静态神经网络应用于未知的输入会在推理时导致数据不一致。在至少一个实施例中，通过为每个客户构建特定于输入推理的神经网络，来提高神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理器，包括：一个或更多个电路，用于通过组合来自不同的计算机系统的训练结果来训练神经网络，其中所述不同的计算机系统中的每一个训练所述神经网络的不同部分。2.根据权利要求1所述的处理器，其中所述不同的计算机系统中的每一个通过从要训练的所述神经网络中选择子网络来训练所述神经网络的不同部分，其中所述子网络是至少部分地基于要使用多个神经网络中的至少一个神经网络推理的信息来从所述神经网络中选择的。3.根据权利要求2所述的处理器，其中所述一个或更多个电路进一步用于：从所述不同的计算机系统中的每一个接收包括模型参数的训练结果；以及使用所述模型参数来训练所述神经网络。4.根据权利要求2所述的处理器，其中所述神经网络是包括多个神经网络的超级网络。5.根据权利要求4所述的处理器，其中所述一个或更多个电路进一步用于：向所述不同的计算机系统中的每一个提供所述超级网络；使用所述不同的计算机系统中的至少一个计算机系统将数据点传递给所述多个神经网络中的至少一个神经网络用于推理；在传递所述数据点用于推理之后，使用生成器网络来重建所述数据点，以生成重建的数据点；执行所述重建的数据点和所述数据点之间的比较；以及使用所述比较的结果来指示从所述多个神经网络中的所述至少一个神经网络中的每一个的每一层中选择哪个操作，以确定用于所述数据点的所述子网络。6.根据权利要求5所述的处理器，其中在每一层处对所述数据点执行的操作在所述数据点被馈送入后续层以对所述数据点执行附加操作之前被平均。7.根据权利要求5所述的处理器，其中所述比较是通过使用本地验证集执行的。8.根据权利要求7所述的处理器，其中基于所述本地验证集来确定损失。9.根据权利要求5所述的处理器，其中所述一个或更多个电路进一步用于：使用所述至少一个计算机系统将第二数据点传递给所述多个神经网络中的至少一个神经网络用于推理；使用所述生成器网络来重建所述第二数据点，以生成重建的第二数据点；执行所述重建的第二数据点与所述第二数据点的比较；以及使用所述比较的结果来指示从所述多个神经网络中的至少一个神经网络中的每一个的每一层中选择哪个操作，以选择用于所述第二数据点的第二子网络，其中所述第二子网络是相同的子网络或不同的子网络。10.根据权利要求9所述的处理器，其中所述第二数据点与所述数据点的输入类型相同。11.一种系统，包括：一个或更多个计算机，其具有一个或更多个处理器，用于通过组合来自不同的计算机系统的训练结果来训练神经网络，其中所述不同的计算机系统中的每一个训练所述神经网络的不同部分。12.根据权利要求11所述的系统，其中在所述不同的计算机系统中的每一个处训练所
述神经网络的不同部分进一步包括：具有一个或更多个处理器的所述一个或更多个计算机从要训练的所述神经网络中的多个神经网络中选择子网络。13.根据权利要求12所述的系统，其中所述子网络包括最佳路径，所述最佳路径至少部分地基于要使用所述多个神经网络中的至少一个神经网络推理的信息来确定。14.根据权利要求12所述的系统，其中所述一个或更多个处理器进一步用于：从多个不同的计算机系统接收模型权重；以及聚合所述模型权重并使用来自聚合的模型权重的信息来训练所述神经网络。15.根据权利要求14所述的系统，其中所述一个或更多个处理器进一步用于：向所述不同的计算机系统中的每一个提供所述神经网络；使所述不同的计算机系统中的每一个通过选择要训练的所述子网络来训练所述神经网络的一部分，其中所述子网络是通过将数据点传递给所述多个神经网络中的至少一个神经网络用于推理来选择的；在传递所述数据点用于推理后，使用生成器网络来重建所述数据点，以生成重建的数据点；执行所述重建的数据点和所述数据点的比较；以及使用所述比较的结果来指示从所述多个神经网络中的至少一个神经网络中的每一个的每一层中选择哪个操作，以选择用于所述数据点的所述子网络。16.根据权利要求15所述的系统，进一步包括具有一个或更多个处理器的所述一个或更多个计算机，用于在将所述数据点馈送入后续层以对所述数据点执行附加操作之前，从要在每一层处对所述数据点执行的操作中生成加权平均值。17.根据权利要求15所述的系统，其中所述比较是通过使用本地验证集来执行的。18.根据权利要求17所述的系统，其中基于所述本地验证集来确定损失。19.根据权利要求11所述的系统，其中具有一个或更多个处理器的所述一个或更多个计算机进一步使所述不同的计算机系统中的至少两个选择用于相同类型的不同数据点的不同的子网络。20.一种机器可读介质，其上存储有一组指令，所述一组指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器通过组合来自不同的计算机系统的训练结果来训练神经网络，其中所述不同的计算机系统中的每一个训练所述神经网络的不同部分。21.根据权利要求20所述的机器可读介质，其中所述一组指令如果由所述一个或更多个处理器执行，则进一步使所述一个或更多个处理器：至少部分地基于所述不同的计算机系统中的每一个使用所述不同的计算机系统中的每一个的本地数据训练所述神经网络的一部分，从所述不同的计算机系统中的每一个接收模型参数；以及聚合所述模型参数并使用来自聚合的模型参数的信息来生成所述神经网络。22.根据权利要求21所述的机器可读介质，其中所述一组指令如果由所述一个或更多个处理器执行，则进一步使所述一个或更多个处理器：向所述不同的计算机系统中的每一个提供所述神经网络；使所述不同的计算机系统中的每一个通过选择要训练的子网络来训练所述神经网络的一部分，其中所述子网络是通过将数据点传递给所述神经网络用于推理来选择的；
在传递所述数据点用于推理后，使用生成器网络来重建所述数据点，以生成重建的数据点；执行所述重建的数据点与所述数据点的比较；以及使用所述比较的结果来指示从所述神经网络的每一层中选择哪个操作，以选择用于所述数据点的子网络。23.根据权利要求22所述的机器可读介质，其中所述神经网络包括多个神经网络，并且所述神经...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：辉达公司，
类型：发明
国别省市：