用于联邦学习的通信链路推荐方法及装置制造方法及图纸

提供了一种用于联邦学习的通信链路推荐方法及装置。所述通信链路推荐方法包括：获取多个计算集群和中心服务器的地理位置信息；针对所述多个计算集群中的每个计算集群，根据该计算集群的地理位置信息、所述中心服务器的地理位置信息、已构建的多跳网络中的多个可信代理节点之间的链路信息，预估该计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路；向每个计算集群推荐预估的连接至所述中心服务器的可靠通信链路，以使每个计算集群使用推荐的可靠通信链路与所述中心服务器进行数据交互；其中，所述多个计算集群用于基于本地数据针对同一模型进行联邦学习，所述中心服务器用于维护所述同一模型的参数和/或参数梯度。的参数和/或参数梯度。的参数和/或参数梯度。

【技术实现步骤摘要】
用于联邦学习的通信链路推荐方法及装置


[0001]本公开总体说来涉及机器学习
，更具体地讲，涉及一种用于联邦学习的通信链路推荐方法及装置。

技术介绍

[0002]联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个数据提供方在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现AI协作。
[0003]通常，联邦学习需要基于广域网范围内建立多方可信计算，但广域网的动态不稳定、带宽受限、异构等特点会制约学习的进度和速度，影响联邦学习的全流程可靠性。因此，跨广域联邦学习的通信链路可靠性问题急需解决。

技术实现思路

[0004]本公开的示例性实施例在于提供一种用于联邦学习的通信链路推荐方法及装置，能够为计算集群推荐针对联邦学习的可靠通信链路。
[0005]根据本公开实施例的第一方面，提供一种用于联邦学习的通信链路推荐方法，包括：获取多个计算集群和中心服务器的地理位置信息；针对所述多个计算集群中的每个计算集群，根据该计算集群的地理位置信息、所述中心服务器的地理位置信息、已构建的多跳网络中的多个可信代理节点之间的链路信息，预估该计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路；向每个计算集群推荐预估的连接至所述中心服务器的可靠通信链路，以使每个计算集群使用推荐的可靠通信链路与所述中心服务器进行数据交互；其中，所述多个计算集群用于基于本地数据针对同一模型进行联邦学习，所述中心服务器用于维护所述同一模型的参数和/或参数梯度。
[0006]可选地，预估每个计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路的步骤包括：将每个计算集群的地理位置信息、所述中心服务器的地理位置信息、所述多个可信代理节点之间的链路信息输入预先训练的链路推荐模型，得到所述链路推荐模型输出的、该计算集群连接至所述中心服务器的可靠通信链路。
[0007]可选地，预估每个计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路的步骤包括：根据每个计算集群的地理位置信息、所述中心服务器的地理位置信息、该计算集群与所述中心服务器之间需传输的数据量、所述多个可信代理节点之间的链路信息，预估该计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路。
[0008]可选地，所述多个可信代理节点之间的链路信息包括每两个可信代理节点之间的链路的以下信息之中的至少一项：是否阻塞、阻塞程度、链路承载能力、可靠性信息、丢包情
况、时延、传输速率、链路历史记录、基于区域法则是否允许建立链路传输数据。
[0009]可选地，所述通信链路推荐方法还包括：实时监测向每个计算集群推荐的连接至所述中心服务器的可靠通信链路的通信质量情况；当监测到向任意一个计算集群推荐的连接至所述中心服务器的可靠通信链路的通信质量情况满足受损条件时，根据该计算集群的地理位置信息、所述中心服务器的地理位置信息、更新后的所述多个可信代理节点之间的链路信息，重新预估该计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路；向该计算集群推荐重新预估的连接至所述中心服务器的可靠通信链路，以使该计算集群使用重新推荐的可靠通信链路与所述中心服务器进行数据交互。
[0010]可选地，所述多个可信代理节点在公有云上被构建；和/或，所述多个可信代理节点中每两个可信代理节点直接建立链路或基于其他路由节点建立链路。
[0011]可选地，所述通信链路推荐方法还包括：针对所述多个计算集群中的每两个计算集群，根据所述两个计算集群的地理位置信息、所述多个可信代理节点之间的链路信息，预估所述两个计算集群中的一个计算集群依次经由至少一个可信代理节点多跳连接至所述两个计算集群中的另一计算集群的可靠通信链路；向所述两个计算集群推荐预估的连接彼此的可靠通信链路，以使所述两个计算集群使用推荐的连接彼此的可靠通信链路进行数据交互。
[0012]可选地，预估所述两个计算集群中的一个计算集群依次经由至少一个可信代理节点多跳连接至所述两个计算集群中的另一计算集群的可靠通信链路的步骤包括：将所述两个计算集群的地理位置信息、所述多个可信代理节点之间的链路信息输入预先训练的链路推荐模型，得到所述链路推荐模型输出的、所述两个计算集群连接彼此的可靠通信链路。
[0013]可选地，预估所述两个计算集群中的一个计算集群依次经由至少一个可信代理节点多跳连接至所述两个计算集群中的另一计算集群的可靠通信链路的步骤包括：根据所述两个计算集群的地理位置信息、所述两个计算集群之间需传输的数据量、所述多个可信代理节点之间的链路信息，预估所述两个计算集群中的一个计算集群依次经由至少一个可信代理节点多跳连接至所述两个计算集群中的另一计算集群的可靠通信链路。
[0014]可选地，所述通信链路推荐方法还包括：实时监测向每两个计算集群推荐的连接彼此的可靠通信链路的通信质量情况；当监测到向任意两个计算集群推荐的连接彼此的可靠通信链路的通信质量情况满足受损条件时，根据该两个计算集群的地理位置信息、更新后的所述多个可信代理节点之间的链路信息，预估该两个计算集群中的一个计算集群依次经由至少一个可信代理节点多跳连接至该两个计算集群中的另一计算集群的可靠通信链路；向该两个计算集群推荐重新预估的连接彼此的可靠通信链路，以使该两个计算集群使用重新推荐的可靠通信链路进行数据交互。
[0015]可选地，所述通信链路推荐方法还包括：获取所述多个可信代理节点实时上报的链路状态数据；根据获取的所述多个可信代理节点的链路状态数据，更新所述多个可信代理节点之间的链路信息，以根据更新的链路信息预估可靠通信链路。
[0016]可选地，可信代理节点上报的链路状态数据包括：该可信代理节点与其他可信代理节点之间的链路的传输速率、带宽、时延。
[0017]根据本公开实施例的第二方面，提供一种用于联邦学习的通信链路推荐装置，包括：位置信息获取单元，被配置为获取多个计算集群和中心服务器的地理位置信息；链路预
估单元，被配置为针对所述多个计算集群中的每个计算集群，根据该计算集群的地理位置信息、所述中心服务器的地理位置信息、已构建的多跳网络中的多个可信代理节点之间的链路信息，预估该计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路；链路推荐单元，被配置为向每个计算集群推荐预估的连接至所述中心服务器的可靠通信链路，以使每个计算集群使用推荐的可靠通信链路与所述中心服务器进行数据交互；其中，所述多个计算集群用于基于本地数据针对同一模型进行联邦学习，所述中心服务器用于维护所述同一模型的参数和/或参数梯度。
[0018]可选地，链路预估单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于联邦学习的通信链路推荐方法，包括：获取多个计算集群和中心服务器的地理位置信息；针对所述多个计算集群中的每个计算集群，根据该计算集群的地理位置信息、所述中心服务器的地理位置信息、已构建的多跳网络中的多个可信代理节点之间的链路信息，预估该计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路；向每个计算集群推荐预估的连接至所述中心服务器的可靠通信链路，以使每个计算集群使用推荐的可靠通信链路与所述中心服务器进行数据交互；其中，所述多个计算集群用于基于本地数据针对同一模型进行联邦学习，所述中心服务器用于维护所述同一模型的参数和/或参数梯度。2.如权利要求1所述的通信链路推荐方法，其中，预估每个计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路的步骤包括：将每个计算集群的地理位置信息、所述中心服务器的地理位置信息、所述多个可信代理节点之间的链路信息输入预先训练的链路推荐模型，得到所述链路推荐模型输出的、该计算集群连接至所述中心服务器的可靠通信链路。3.如权利要求1所述的通信链路推荐方法，其中，预估每个计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路的步骤包括：根据每个计算集群的地理位置信息、所述中心服务器的地理位置信息、该计算集群与所述中心服务器之间需传输的数据量、所述多个可信代理节点之间的链路信息，预估该计算集群依次经由至少一个可信代理节点多跳连接至所述中心服务器的可靠通信链路。4.如权利要求1所述的通信链路推荐方法，其中，所述多个可信代理节点之间的链路信息包括每两个可信代理节点之间的链路的以下信息之中的至少一项：是否阻塞、阻塞程度、链路承载能力、可靠性信息、丢包情况、时延、传输速率、链路历史记录、基于区域法则是否允许建立链路传输数据。5.如权利要求1所述的通信链路推荐方法，其中，所述通信链路推荐方法还包括：实时监测向每个计算集群推荐的连接至所述中心服务器的可靠通信链路的通信质量情况；当监测到向任意一个计算集群推荐的连接至所述中心服务器的可靠通信链路的通信质量情况满足受损条件时，根据该计算集群的地理位置信息、所述中心服务器的地理位置信息、更新后的所述多个可信代理节点之间的链路信息，重新预估该计算集群依次经由至少...

【专利技术属性】
技术研发人员：宋吉鹏，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：