用于联盟学习的方法、装置及联盟学习系统制造方法及图纸

本说明书的实施例提供用于联盟学习的方法，所述联盟包括至少三个第一成员设备以及第二成员设备，每个第一成员设备具有本地数据。在该方法中，第二成员设备基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型。各个第一成员设备分组中的第一成员设备的硬件性能参数相似，并且各个初始全局业务模型具有不同的模型复杂度。针对各个第一成员设备分组，该第一成员设备分组中的各个第一成员设备使用各自的本地数据，与第二成员设备一起执行联盟学习来得到目标全局业务模型。

【技术实现步骤摘要】
用于联盟学习的方法、装置及联盟学习系统
本说明书实施例通常涉及人工智能领域，尤其涉及用于联盟学习的方法、装置以及联盟学习系统。
技术介绍
随着人工智能技术的发展，业务模型已经逐渐应用于各种业务应用场景，比如，风险评估、语音识别、自然语言处理等。为了解决模型训练时的数据孤岛问题，提出了联盟学习(FederatedLearning)。利用联盟学习，可以在保护数据隐私的情况下，让多个数据拥有方通过多方安全计算或者在硬件SGX环境中进行加密计算，通过各个数据拥有方之间的协同计算来实现模型训练。然而，在联盟学习场景下，各个数据拥有方设备可能是具有不同配置和不同计算能力的终端设备，比如，由不同生产厂商生产的不同型号的智能移动终端，从而使得各个数据拥有方设备的硬件性能差异非常大。在这种情况下，在各个数据拥有方设备进行联盟学习时，如果所有数据拥有方设备都训练同一全局业务模型，则会存在巨大的性能瓶颈。例如，部分硬件性能较差的数据拥有方设备可能会在规定时间内无法训练出全局业务模型，或者在规定时间内完成全局业务模型训练，但需要消耗大量的代价，比如，大量的通信成本以及大量的电量消耗等等。
技术实现思路
鉴于上述问题，本说明书实施例提供一种用于联盟学习的方法、装置及联盟学习系统。利用该方法、装置及系统，在具有全局业务模型的第二成员设备处，基于具有本地数据的各个第一成员设备的硬件性能参数来对第一成员设备进行成员设备分组，每个成员设备分组具有与其硬件性能参数适配的全局业务模型，并由各个成员设备分组的第一成员设备使用本地数据，与第二成员设备一起来对各自的全局业务模型进行联盟学习，可以为不同硬件性能的第一成员设备分配不同模型复杂度的全局业务模型，由此使得各个第一成员设备所训练的全局业务模型的复杂度不超出该第一成员设备的硬件性能参数，从而使得各个第一成员设备分组能够快速地训练出全局业务模型，进而提高联盟学习效率。根据本说明书实施例的一个方面，提供一种用于联盟学习的方法，所述联盟包括至少三个第一成员设备以及第二成员设备，每个第一成员设备具有本地数据，所述方法由第二成员设备执行，所述方法包括：获取各个第一成员设备的硬件性能参数信息；基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型，各个第一成员设备分组中的第一成员设备的硬件性能参数相似，并且各个初始全局业务模型具有不同的模型复杂度；以及将各个初始全局业务模型分别提供给对应的第一成员设备分组中的各个第一成员设备，其中，针对各个第一成员设备分组，各个第一成员设备使用各自的本地数据，与所述第二成员设备一起执行联盟学习来得到目标全局业务模型。可选地，在上述方面的一个示例中，所述第二成员设备维护至少一个全局业务模型，基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型可以包括：基于各个第一成员设备的硬件性能参数信息，将各个第一成员设备分配给与各自的硬件性能参数适配的初始全局业务模型，具有同一初始全局业务模型的第一成员设备组成第一成员设备分组。可选地，在上述方面的一个示例中，基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型可以包括：基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组；以及为各个第一成员设备分组生成与各自的硬件性能参数适配的初始全局业务模型。可选地，在上述方面的一个示例中，所述第一成员设备是智能终端设备，所述硬件性能参数信息可以包括下述参数信息中的至少一种：处理芯片型号、内存大小、操作系统版本以及设备使用年限。可选地，在上述方面的一个示例中，基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型可以包括：基于各个第一成员设备的硬件性能参数信息以及其它参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型，所述其它参数信息包括所述第二成员设备的可用计算能力信息以及各个第一成员设备与所述第二成员设备之间的通信参数信息中的至少一种。可选地，在上述方面的一个示例中，各个第一成员设备和所述第二成员设备之间通过网络进行数据传输，所述通信参数信息可以包括网络传输速度、网络使用率和/或网络连接成功率。可选地，在上述方面的一个示例中，所述方法进一步包括：基于各个初始全局业务模型的模型结构和模型训练要求，为各个初始全局业务模型的模型训练配置所述第二成员设备的计算资源。可选地，在上述方面的一个示例中，所述方法进一步包括：针对各个第一成员设备分组，与该第一成员设备分组中的各个第一成员设备一起，使用各个第一成员设备的本地数据执行联盟学习来得到目标全局业务模型。可选地，在上述方面的一个示例中，所述方法进一步包括：针对模型性能最好的第一成员设备分组，利用知识蒸馏技术训练出小规模模型。可选地，在上述方面的一个示例中，所述小规模模型被用作所具有的硬件性能参数低于预定阈值的第一成员设备分组的初始全局业务模型或者目标全局业务模型。可选地，在上述方面的一个示例中，在所述第二成员设备的计算资源不足以提供针对所有第一成员设备分组的全局模型训练时，所述小规模模型被用作部分第一成员设备分组的目标全局业务模型。根据本说明书的实施例的另一方面，提供一种用于联盟学习的方法，所述联盟包括至少三个第一成员设备以及第二成员设备，每个第一成员设备具有本地数据，所述方法由所述第一成员设备执行，所述方法包括：将所述第一成员设备的设备性能参数信息提供给所述第二成员设备；从所述第二成员设备接收初始全局业务模型，所述第二成员设备基于各个第一成员设备的硬件性能参数信息进行成员分组，以得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型，各个第一成员设备分组中的第一成员设备的硬件性能参数相似，并且各个初始全局业务模型具有不同的模型复杂度；以及与同一第一成员设备分组中的其它第一成员设备以及所述第二成员设备一起，使用各自的本地数据执行联盟学习来得到目标全局业务模型。根据本说明书的实施例的另一方面，提供一种用于联盟学习的方法，所述联盟包括至少三个第一成员设备以及第二成员设备，每个第一成员设备具有本地数据，所述方法由所述联盟执行，所述方法包括：在第二成员设备处，获取各个第一成员设备的硬件性能参数信息；基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型，各个第一成员设备分组中的第一成员设备的硬件性能本文档来自技高网...

【技术保护点】
1.一种用于联盟学习的方法，所述联盟包括至少三个第一成员设备，以及第二成员设备，每个第一成员设备具有本地数据，所述方法由第二成员设备执行，所述方法包括：/n获取各个第一成员设备的硬件性能参数信息；/n基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型，各个第一成员设备分组中的第一成员设备的硬件性能参数相似，各个初始全局业务模型具有不同的模型复杂度；以及/n将各个初始全局业务模型分别提供给对应的第一成员设备分组中的各个第一成员设备，/n其中，针对各个第一成员设备分组，各个第一成员设备使用各自的本地数据，与所述第二成员设备一起执行联盟学习来得到目标全局业务模型。/n

【技术特征摘要】
1.一种用于联盟学习的方法，所述联盟包括至少三个第一成员设备，以及第二成员设备，每个第一成员设备具有本地数据，所述方法由第二成员设备执行，所述方法包括：
获取各个第一成员设备的硬件性能参数信息；
基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型，各个第一成员设备分组中的第一成员设备的硬件性能参数相似，各个初始全局业务模型具有不同的模型复杂度；以及
将各个初始全局业务模型分别提供给对应的第一成员设备分组中的各个第一成员设备，
其中，针对各个第一成员设备分组，各个第一成员设备使用各自的本地数据，与所述第二成员设备一起执行联盟学习来得到目标全局业务模型。


2.如权利要求1所述的方法，其中，所述第二成员设备维护至少一个全局业务模型，基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型包括：
基于各个第一成员设备的硬件性能参数信息，将各个第一成员设备分配给与各自的硬件性能参数适配的初始全局业务模型，具有同一初始全局业务模型的第一成员设备组成第一成员设备分组。


3.如权利要求1所述的方法，其中，基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型包括：
基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组；以及
为各个第一成员设备分组生成与各自的硬件性能参数适配的初始全局业务模型。


4.如权利要求1所述的方法，其中，所述第一成员设备是智能终端设备，所述硬件性能参数信息包括下述参数信息中的至少一种：
处理芯片型号、内存大小、操作系统版本以及设备使用年限。


5.如权利要求1所述的方法，其中，基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型包括：
基于各个第一成员设备的硬件性能参数信息以及其它参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型，
所述其它参数信息包括所述第二成员设备的可用计算能力信息以及各个第一成员设备与所述第二成员设备之间的通信参数信息中的至少一种。


6.如权利要求5所述的方法，其中，各个第一成员设备和所述第二成员设备之间通过网络进行数据传输，所述通信参数信息包括网络传输速度、网络使用率和/或网络连接成功率。


7.如权利要求1所述的方法，进一步包括：
基于各个初始全局业务模型的模型结构和模型训练要求，为各个初始全局业务模型的模型训练配置所述第二成员设备的计算资源。


8.如权利要求1所述的方法，进一步包括：
针对各个第一成员设备分组，与该第一成员设备分组中的各个第一成员设备一起，使用各个第一成员设备的本地数据执行联盟学习来得到目标全局业务模型。


9.如权利要求8所述的方法，进一步包括：
针对模型性能最好的第一成员设备分组，利用知识蒸馏技术训练出小规模模型。


10.如权利要求9所述的方法，其中，所述小规模模型被用作所具有的硬件性能参数低于预定阈值的第一成员设备分组的初始全局业务模型或者目标全局业务模型。


11.如权利要求9所述的方法，其中，在所述第二成员设备的计算资源不足以提供针对所有第一成员设备分组的全局模型训练时，所述小规模模型被用作部分第一成员设备分组的目标全局业务模型。


12.一种用于联盟学习的方法，所述联盟包括至少三个第一成员设备，以及第二成员设备，每个第一成员设备具有本地数据，所述方法由所述第一成员设备执行，所述方法包括：
将所述第一成员设备的硬件性能参数信息提供给所述第二成员设备；
从所述第二成员设备接收初始全局业务模型，所述第二成员设备基于各个第一成员设备的硬件性能参数信息进行成员分组，以得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的初始全局业务模型，各个第一成员设备分组中的第一成员设备的硬件性能参数相似，各个初始全局业务模型具有不同的模型复杂度；以及
与同一第一成员设备分组中的其它第一成员设备以及所述第二成员设备一起，使用各自的本地数据执行联盟学习来得到目标全局业务模型。


13.一种用于联盟学习的方法，所述联盟包括至少三个第一成员设备，以及第二成员设备，每个第一成员设备具有本地数据，所述方法由所述联盟执行，所述方法包括：
在第二成员设备处，获取各个第一成员设备的硬件性能参数信息；基于各个第一成员设备的硬件性能参数信息，对第一成员设备进行成员分组，得到各个第一成员设备分组，每个第一成员设备分组具有与各自的硬件性能参数适配的...

【专利技术属性】
技术研发人员：王力，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33