联合学习系统中的语义学习技术方案

提供了一种用于利用语义学习增强的联合学习的方法、计算机系统和计算机程序产品。聚合器可以从分布式计算设备接收集群信息。集群信息可以与分布式计算设备的样本数据中的所识别的集群有关。聚合器可以集成集群信息以定义类别。该集成可以包括识别所识别的集群中的任何冗余集群。类别的数量可以对应于来自分布式计算设备的集群的总数减去任何冗余集群。深度学习模型可以从聚合器发送到分布式计算设备。深度学习模型可以包括具有可以对应于所定义的类别的节点的输出层。聚合器可以接收由分布式计算设备执行的联合学习的结果。联合学习可以训练深度学习模型。可以训练深度学习模型。可以训练深度学习模型。

【技术实现步骤摘要】
【国外来华专利技术】联合学习系统中的语义学习

技术介绍

[0001]本专利技术总地涉及深度学习模型领域，具体涉及用于深度学习模型的联合学习(federated learning)。
[0002]在联合学习系统中，一组多个设备或多方一起工作以开发和协作地训练一个深度学习模型，例如预测模型，而不与参与模型训练的其他设备或各方共享或透露个体方的原始数据。因为处理的数据越多，模型将被训练得越好，所以使用多方及其数据进行深度学习训练将导致更好的训练和更好的模型。聚合器从各个设备或各方接收信息，并且编译或聚合该信息以微调深度学习模型。在一些情况下，聚合器对来自各方的信息求平均以便调整深度学习模型。在联合学习系统中，网络中的各种设备的数据可以用于训练模型，而无需设备通过云共享在个体计算设备或电话上的个体原始数据。聚合器可以将经调整的深度学习模型发送到各个设备，而无需这些设备从其他设备接收原始数据。因此，联合学习帮助实现个体设备的原始数据的私密性，同时仍允许多方一起工作以训练深度学习模型。联合学习防止对手还原数据变换以找到与特定方匹配的原始训练数据。
[0003]Bonawitz等人的“Towards Federated Learning At Scale System Design”描述了联合学习(“FL”)是一种分布式机器学习方法，其使得能够训练驻留在诸如移动电话的设备上的大量分散数据。Bonawitz等人还说FL解决了数据的私密性、所有权和本地性(locality)的基本问题。
[0004]Prakash等人的美国专利申请公开号2019/0138934A1公开了为了联合学习，每个客户端计算节点获取全局模型，使用其本地数据更新全局模型，并将更新的模型传送到中央服务器。然而，Prakash等人公开了，应当基于异构计算节点所经历的网络条件和操作约束的知识，在异构计算节点之间平衡计算。
[0005]已知的联合学习系统具有的缺点是，它们是基于假设不同方对数据进行标记、不同方将使用相同的数据标记、以及不同方知道所有可能的数据类别而构建的。实际上，各方通常将不知道其它各方使用的标记。第一方可以给予样本的标记可能不同于第二方给予该样本的标记。例如，一些方可能认为兔子是宠物，而其他方可能认为兔子是食物。有时，诸如医院的各方不被允许提前共享他们的数据和标记。此外，可能出现不能很好地拟合静态模型结构的新样本。例如，在用于识别食物图片的模型中，当地的一方将理解诸如AREPA(玉米饼)的当地食物，而分散在全世界的其他方则不理解该当地食物。更新模型结构需要重新训练所有本地模型，这将消耗大量时间和能量。

技术实现思路

[0006]根据一个示例性实施例，一种方法、计算机系统和计算机程序产品可以执行联合学习。聚合器可以从分布式计算设备接收集群信息。集群信息可以与分布式计算设备的样本数据中的所识别的集群有关。聚合器可以包括至少一个处理器。聚合器可以集成集群信息以定义类别。该集成可以包括识别所识别的集群中的任何冗余集群。类别的数量可以对应于来自分布式计算设备的集群的总数减去任何冗余集群。深度学习模型可以从聚合器发
送到分布式计算设备。深度学习模型可以包括具有节点的输出层。节点可以对应于所定义的类别。聚合器可以接收由分布式计算设备执行的联合学习的一个或多个结果。联合学习可以训练深度学习模型。
[0007]利用该实施例，即使不同的各方对相同的样本类型给出不同的名称，也可以在深度学习系统中准确地且适当地代码化(codify)用于数据样本的标记。联合学习中的深度学习模型被定制为适应不同参与者的语义含义，使得参与者可以独立地使用其正确的唯一语义标记，同时仍然贡献于联合学习系统。
[0008]在附加的示例性实施例中，聚合器可以向分布式计算设备提供自动编码器。分布式计算设备的各个计算设备可以通过自动编码器运行各个计算设备的样本数据，以产生自动编码器输出。各个计算设备可以通过聚类算法运行自动编码器输出以从样本数据识别集群。可以将集群信息从分布式计算设备发送到聚合器。
[0009]利用该实施例，可以改进联合学习系统以具有改进的准确性，从而正确地识别馈送到系统中的数据样本的标记和类别。
[0010]另一示例性实施例可以附加地包括经由分布式计算设备中的计算设备根据计算设备的语义含义来命名类别中的类别的步骤。
[0011]利用该实施例，作为联合学习深度学习网络中的分布式计算设备的系统的一部分的个体参与方可以提供他们自己的语义定义，以便标记由网络中的其他参与方共享的组。
[0012]补充示例性实施例可以附加地包括在集群信息被发送到聚合器之前经由分布式计算设备匿名化集群信息的步骤。
[0013]利用该实施例，可以维护客户数据的私密性，使得各个方可以参与联合学习，而不暴露其私有客户和其他个体原始数据。
[0014]另一示例性实施例可以附加地包括在联合学习期间经由分布式计算设备中的第一计算设备检查新类别的步骤。该检查可以包括第一计算设备向自动编码器馈送新样本，以及执行异常检测以检测偏离类别的新样本。该偏离超过预定义阈值。
[0015]这样，可以以节省计算资源的加速方式将在联合学习期间出现的新类别添加到深度学习模型中。
附图说明
[0016]本专利技术的这些和其它目的、特征和优点将从以下结合附图阅读的对其说明性实施例的详细描述中变得显而易见。附图的各种特征不是按比例的，因为图示是为了清楚地帮助本领域技术人员结合详细描述理解本专利技术。在附图中：
[0017]图1示出了根据至少一个实施例的联网计算机环境；
[0018]图2是示出根据至少一个实施例的利用语义学习增强的联合学习过程工作流的过程的操作流程图；
[0019]图3示出了根据至少一个实施例实现的自动编码器和聚类技术的结构；
[0020]图4示出了根据至少一个实施例的集群信息集成的示例；
[0021]图5示出了根据至少一个实施例的联网计算机环境，其中联合学习网络的各个计算设备被加载了组织成集群的数据样本；
[0022]图6示出了深度学习模型的层的示例；
[0023]图7是根据至少一个实施例的图1中描绘的计算机和服务器的内部和外部组件的框图；
[0024]图8是根据本公开的实施例的包括图1中描绘的计算机系统的说明性云计算环境的框图；以及
[0025]图9是根据本公开的实施例的图7的说明性云计算环境的功能层的框图。
具体实施方式
[0026]本文公开了所要求保护的结构和方法的详细实施例；然而，可以理解，所公开的实施例仅仅是对可以以各种形式实施的所要求保护的结构和方法的说明。然而，本专利技术可以以许多不同的形式实施，并且不应被解释为限于这里阐述的示例性实施例。相反，提供这些示例性实施例是为了使本公开透彻和完整，并将本专利技术的范围完全传达给本领域技术人员。在描述中，可以省略公知的特征和技术的细节，以避免不必要地模糊所呈现的实施例。
[0027]以下描述的示例性实施例提供了一种用于利用语义学习增强的联合学习的系统、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于联合学习的计算机实现的方法，所述方法包括：经由聚合器从分布式计算设备接收集群信息，其中所述集群信息与所述分布式计算设备的样本数据中的所识别的集群有关，并且其中所述聚合器包括至少一个处理器；经由所述聚合器集成所述集群信息以定义类别，其中所述集成包括识别所述所识别的集群之中的任何冗余集群，并且其中所述类别的数量对应于来自所述分布式计算设备的集群的总数减去任何冗余集群；从所述聚合器向所述分布式计算设备发送深度学习模型，其中所述深度学习模型包括具有节点的输出层，其中所述节点对应于所定义的类别；以及由所述聚合器接收由所述分布式计算设备执行的联合学习的一个或多个结果，其中所述联合学习训练所述深度学习模型。2.根据权利要求1所述的方法，还包括：经由所述聚合器向所述分布式计算设备提供自动编码器；经由所述分布式计算设备的各个计算设备，通过所述自动编码器运行所述各个计算设备的样本数据以产生自动编码器输出；经由所述各个计算设备通过聚类算法运行所述自动编码器输出以从所述样本数据识别所述集群；以及将所述集群信息从所述分布式计算设备发送到所述聚合器。3.根据权利要求1所述的方法，还包括：经由所述分布式计算设备执行所述联合学习。4.根据权利要求1所述的方法，其中每个集群包括质心；其中所述集群信息包括质心信息，其中所述质心信息与所述质心有关；并且其中识别任何冗余集群包括比较所述集群的所述质心的所述质心信息。5.根据权利要求4所述的方法，其中如果两个集群的质心之间的距离小于预定义的阈值，则所述聚合器将所述两个集群定义为冗余的。6.根据权利要求1所述的方法，还包括：经由所述分布式计算设备中的计算设备，根据所述计算设备的语义含义来命名所述类别中的类别。7.根据权利要求2所述的方法，还包括：在所述集群信息被发送到所述聚合器之前，经由所述分布式计算设备匿名化所述集群信息。8.根据权利要求2所述的方法，还包括：由所述聚合器向所述分布式计算设备发送初始自动编码器以供执行；经由所述分布式计算设备顺序训练所述初始自动编码器以生成所述自动编码器；以及将所述自动编码器从所述分布式计算设备中的最后的计算设备发送到所述聚合器。9.根据权利要求8所述的方法，其中所述顺序训练包括：经由所述分布式计算设备中的第一计算设备训练所述初始自动编码器以产生部分训练的自动编码器；将所述部分训练的自动编码器从所述第一计算设备发送到所述分布式计算设备中的第二计算设备；
经由所述第二计算设备训练所述部分训练的自动编码器以产生进一步训练的自动编码器；将所述进一步训练的自动编码器从所述第二计算设备发送到附加计算设备；以及通过所述附加计算设备训练所述进一步训练的自动编码器以产生所述自动编码器，其中所述附加计算设备是所述最后的计算设备。10.根据权利要求8所述的方法，其中所述初始自动编码器是预先训练的自动编码器。11.根据权利要求2所述的方法，还包括：经由所述分布式计算设备中的第一计算设备在所述联合学习期间检查新类别，其中所述检查包括所述第一计算设备向所述自动编码器馈送新样本并且执行异常检测以检测偏离所述类别的所述新样本，并且其中所述偏离超过预定义阈值。12.根据权利要求11所述的方法，还包括：经由所述第一计算设备向所述聚合器通知所述偏离；经由所述聚合器将新类别添加到所述类别以形成新的类别集合，其中所述新类别对应...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：