联邦学习方法、联邦学习装置及联邦学习系统制造方法及图纸

本说明书实施例提供用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习方法，联邦学习装置和联邦学习系统。各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型。在进行联邦学习时，在各个第一成员设备从第二成员设备接收当前业务模型后，各个第一成员设备使用本地数据训练所接收的当前业务模型，确定本地训练出的业务模型与所接收的业务模型之间的模型相关性，并且仅仅在模型相关性满足预定条件时才将本地训练出的模型更新量提供给第二成员设备。第二成员设备根据从各个第一成员设备接收的模型更新量更新业务模型。新量更新业务模型。新量更新业务模型。

【技术实现步骤摘要】
联邦学习方法、联邦学习装置及联邦学习系统


[0001]本说明书实施例通常涉及人工智能领域，尤其涉及用于训练业务模型的联邦学习方法、联邦学习装置及联邦学习系统。

技术介绍

[0002]机器学习技术被广泛地应用于各种业务应用场景。在业务应用场景中，使用机器学习模型作为业务模型来进行各种业务预测服务，比如，分类预测、业务风险预测等等。在很多情况下，业务模型需要采用多个数据拥有方的业务数据来进行模型训练。多个数据拥有方(例如，电子商务公司、快递公司和银行)各自拥有训练业务模型所使用的训练样本数据的部分数据。该多个数据拥有方期望共同使用彼此的数据来统一训练业务模型，但又不想把各自的数据提供给其它数据拥有方以防止自己的数据被泄露。
[0003]面对这种情况，提出了能够保护数据安全的联邦学习方法，其能够在保证多个数据拥有方的各自数据安全的情况下，协同该多个数据拥有方来训练业务模型。

技术实现思路

[0004]本说明书实施例提供一种用于训练业务模型的联邦学习方法、联邦学习装置及联邦学习系统，其通过在具有本地数据的各个第一成员设备完成本地业务模型训练后，基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地业务模型更新对全局业务模型更新的模型更新影响度，并且仅仅在本地业务模型更新的模型更新影响度满足预定条件时，才将本地将所训练出的业务模型的模型更新量提供给第二成员设备来参与全局业务模型更新，可以在不损害业务模型的模型训练精度的情况下减少第一成员设备和第二成员设备之间的通信开销，进而提升联邦学习系统的模型训练效率，并且提升联邦学习系统的系统规模。
[0005]根据本说明书实施例的一个方面，提供一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于第一成员设备，所述方法包括：从第二成员设备接收当前业务模型；使用本地数据训练所接收的当前业务模型；基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地训练出的业务模型与所接收的业务模型之间的模型相关度；以及响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
[0006]可选地，在上述方面的一个示例中，所述模型相关度可以包括下述中的至少一种：基于模型距离的第一模型相关度；和基于模型分歧度的第二模型相关度。
[0007]可选地，在上述方面的一个示例中，所述模型分歧度基于本地训练出业务模型的各个模型参数的模型参数变化相对值确定。
[0008]可选地，在上述方面的一个示例中，所述模型分歧度可以根据下述公式确定：
其中，d表示业务模型的模型参数维度，p
j
表示本地训练出的业务模型中的第j个模型参数的模型参数值，以及表示所接收的业务模型中的第j个模型参数的模型参数值。
[0009]可选地，在上述方面的一个示例中，所述第一模型相关度和所述第二模型相关度具有权重，在所述模型相关度包括所述第一模型相关度和所述第二模型相关度两者时，所述模型相关度基于各自的权重对所述第一模型相关度和所述第二模型相关度进行加权求和得到。
[0010]可选地，在上述方面的一个示例中，所述方法还可以包括：响应于所述模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势。响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型可以包括：响应于所述模型相关度不小于第一预定阈值且所述模型更新趋势相关度不小于第二预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
[0011]可选地，在上述方面的一个示例中，所述模型更新趋势相关度基于本地训练出的业务模型以及所接收的业务模型的各个模型参数的变化趋势确定。
[0012]可选地，在上述方面的一个示例中，所述模型更新趋势相关度根据下述公式确定：可选地，在上述方面的一个示例中，所述模型更新趋势相关度根据下述公式确定：其中，d表示业务模型的模型参数维度，sign()为取值函数，Δp
j
表示本地训练出的业务模型中的第j个模型参数的模型参数变化值，表示所接收的业务模型中的第j个模型参数的模型参数变化值。
[0013]根据本说明书的实施例的另一方面，提供一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于所述第二成员设备，所述方法包括：将当前业务模型发送给各个第一成员设备；从在各自当前模型训练过程结束后被确定为具有不小于第一预定阈值的模型相关度的第一成员设备接收各自的本地模型更新量；以及根据所接收的各个本地模型更新量，更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。
[0014]根据本说明书的实施例的另一方面，提供一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的联邦学习装置，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述联邦学习装置应用于第一成员设备，所述联邦学习装置包括：模型接收单元，从第二成员设备接收当前业务模型；模型训练单元，使用本地数据训练所接收的当前业务模型；模型相关度确定单元，基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地训练出的业务模型与所接收的业务模型之间的模型相关度；以及模型更新量提供单元，响应于所述模型相关度不小于第一预定阈值，将所训练出
的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。
[0015]可选地，在上述方面的一个示例中，所述模型相关度包括下述中的至少一种：基于模型距离的第一模型相关度；和基于模型分歧度的第二模型相关度。
[0016]可选地，在上述方面的一个示例中，所述第一模型相关度和所述第二模型相关度具有权重，在所述模型相关度包括所述第一模型相关度和所述第二模型相关度两者时，所述模型相关度确定单元基于各自的权重对所述第一模型相关度和所述第二模型相关度进行加权求和得到所述模型相关度。
[0017]可选地，在上述方面的一个示例中，所述联邦学习装置还可以包括：模型更新趋势相关度确定单元，响应于所述模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势。响应于所述模型相关度不小于第一预定阈值且所述模型更新趋势相关度不小于第二预定阈值，所述模型更新量提供单元将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于第一成员设备，所述方法包括：从第二成员设备接收当前业务模型；使用本地数据训练所接收的当前业务模型；基于本地训练出的业务模型以及所接收的业务模型的模型参数值，确定本地训练出的业务模型与所接收的业务模型之间的模型相关度；以及响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。2.如权利要求1所述的方法，其中，所述模型相关度包括下述中的至少一种：基于模型距离的第一模型相关度；和基于模型分歧度的第二模型相关度。3.如权利要求2所述的方法，其中，所述模型分歧度基于本地训练出的业务模型的各个模型参数的模型参数变化相对值确定。4.如权利要求3所述的方法，其中，所述模型分歧度根据下述公式确定：其中，d表示业务模型的模型参数维度，p
j
表示本地训练出的业务模型中的第j个模型参数的模型参数值，以及表示所接收的业务模型中的第j个模型参数的模型参数值。5.如权利要求2所述的方法，其中，所述第一模型相关度和所述第二模型相关度具有权重，在所述模型相关度包括所述第一模型相关度和所述第二模型相关度两者时，所述模型相关度基于各自的权重对所述第一模型相关度和所述第二模型相关度进行加权求和得到。6.如权利要求1所述的方法，还包括：响应于所述模型相关度不小于第一预定阈值，确定本地训练出的业务模型与所接收的业务模型之间的模型更新趋势相关度，所述模型更新趋势相关度用于指示本地训练出的业务模型的模型更新趋势是否符合业务模型的模型更新全局趋势，响应于所述模型相关度不小于第一预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型包括：响应于所述模型相关度不小于第一预定阈值且所述模型更新趋势相关度不小于第二预定阈值，将所训练出的业务模型的模型更新量提供给所述第二成员设备，以供所述第二成员设备用于更新所述业务模型。7.如权利要求6所述的方法，其中，所述模型更新趋势相关度基于本地训练出的业务模型以及所接收的业务模型的各个模型参数的变化趋势确定。8.如权利要求7所述的方法，其中，所述模型更新趋势相关度根据下述公式确定：8.如权利要求7所述的方法，其中，所述模型更新趋势相关度根据下述公式确定：
其中，d表示业务模型的模型参数维度，sign()为取值函数，Δp
j
表示本地训练出的业务模型中的第j个模型参数的模型参数变化值，表示所接收的业务模型中的第j个模型参数的模型参数变化值。9.一种用于经由至少两个第一成员设备和第二成员设备训练业务模型的方法，各个第一成员设备具有本地数据，第二成员设备维护待训练的业务模型，所述方法应用于所述第二成员设备，所述方法包括：将当前业务模型发送给各个第一成员设备；从在各自当前模型训练过程结束后被确定为具有不小于第一预定阈值的模型相关度的第一成员设备接收各自的本地模型更新量；以及根据所接收的本地模型更新量更新当前业务模型，所述更新后的业务模型作为下轮模型训练过程的当前业务模型。10.一种用于经由至少两个第一成员设备和第二成员...

【专利技术属性】
技术研发人员：李龙飞，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：