System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于联邦学习的任务处理方法及装置、联邦学习推理系统制造方法及图纸_技高网

用于联邦学习的任务处理方法及装置、联邦学习推理系统制造方法及图纸

技术编号:40970543 阅读:4 留言:0更新日期:2024-04-18 21:20
本公开提供了一种用于联邦学习的任务处理方法及装置、联邦学习推理系统,涉及人工智能领域,其中,用于联邦学习的任务处理方法包括:获取用户输入的至少一个推理请求;将至少一个推理请求发送到消息队列,以允许用于执行该推理请求的多个参与方从消息队列获取至少一个推理请求并且针对至少一个推理请求生成各自的推理结果;以及从消息队列获取多个参与方发送的推理结果并反馈至用户。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及人工智能领域,具体涉及一种用于联邦学习的任务处理方法及装置、联邦学习推理系统、电子设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、联邦学习(federated learning)是一种分布式机器学习技术,其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练,在不需要交换本地个体或样本数据的前提下,仅通过交换模型参数或中间结果的方式,构建基于虚拟融合数据下的全局模型,从而实现数据隐私保护和数据共享计算的平衡,即“数据可用不可见”、“数据不动模型动”的应用新范式。

2、联邦学习一般涉及多个参与方,即,多个拥有本地数据的数据源,在训练完成后,每个参与方均具有各自训练好的模型。在使用训练好的联邦学习推理系统进行推理服务(例如:对目标对象进行标签预测)时,每个参与方均利用各自的模型执行各自的推理功能。可以理解,在进行推理服务时,需要多个参与方协调合作以得到推理结果。因此,目前急需一种能够优化多个参与方之间的协调合作,同时系统资源利用率高的联邦学习推理系统。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现思路

1、本公开提供了一种用于联邦学习的任务处理方法及装置、联邦学习推理系统、电子设备、计算机可读存储介质和计算机程序产品。

<p>2、根据本公开的一方面,提供了一种用于联邦学习的任务处理方法,该方法用于联邦学习的协调方,包括:获取用户输入的至少一个推理请求;将至少一个推理请求发送到消息队列,以允许用于执行至少一个推理请求的多个参与方从消息队列获取至少一个推理请求并且针对至少一个推理请求生成各自的推理结果;以及从消息队列获取多个参与方发送的推理结果并反馈至用户。

3、根据本公开的另一方面,提供了一种用于联邦学习的任务处理方法,该方法用于联邦学习的多个参与方,包括:从用于联邦学习的协调方的消息队列获取至少一个推理请求;针对至少一个推理请求生成与参与方的推理模型相关的推理结果;以及将推理结果发送至消息队列。

4、根据本公开的另一方面,提供了一种联邦学习推理系统,包括:协调方,协调方包括:消息队列;消息处理线程,用于将根据用户输入的推理请求发送到消息队列;以及消息响应线程,用于获取多个参与方针对推理请求执行各自的推理功能生成的推理结果;以及多个参与方,多个参与方中的每个参与方与消息队列通信连接,以从消息队列获取推理请求,或将针对推理请求生成的推理结果发送到消息队列。

5、根据本公开的另一方面,还提供了一种用于联邦学习的任务处理装置,其中,该装置用于联邦学习的协调方,包括:第一获取单元,配置成获取用户输入的至少一个推理请求;发送单元,配置成将至少一个推理请求发送到消息队列,以允许用于执行至少一个推理请求的多个参与方从消息队列获取至少一个推理请求并且针对至少一个推理请求生成各自的推理结果;第三获取单元,配置成从所述消息队列获取所述多个参与方发送的推理结果并反馈至用户。

6、根据本公开的另一方面,还提供了一种用于联邦学习的任务处理装置,其中,该装置用于联邦学习的多个参与方,包括:第二获取单元,配置成从用于联邦学习的协调方的消息队列获取至少一个推理请求;生成单元,配置成针对至少一个推理请求生成与参与方的推理模型相关的推理结果;以及发送单元,配置成将推理结果发送至消息队列。

7、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述任一项的方法。

8、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述的方法。

9、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时实现上述的方法。

10、根据本公开的一个或多个实施例,通过设置消息队列,可以将推理请求设置在该消息队列中。联邦学习推理系统中的多个参与方后续可以从消息队列获得推理请求,从而无需使其中一个参与方发送相关数据,从而避免了发送相关数据的参与方发生故障导致推理无法完成的问题,同时还避免了作为转发相关数据的参与方的服务器的性能的下降。

11、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网
...

【技术保护点】

1.一种用于联邦学习的任务处理方法,其中,所述方法用于联邦学习的协调方,包括:

2.根据权利要求1所述的方法,其中,所述至少一个推理请求至少包括多个推理请求,其中,将所述至少一个推理请求发送到消息队列包括:

3.根据权利要求1所述的方法,其中,所述协调方包括用于将所述多个推理请求发送到所述消息队列的消息处理线程,其中,在等待针对所述至少部分推理请求的推理结果期间,将所述多个推理请求中的另一部分推理请求发送到所述消息队列包括:

4.根据权利要求1所述的方法,其中,从所述消息队列获取所述多个参与方的推理结果并反馈至用户包括:

5.根据权利要求4所述的方法,其中,对所述多个参与方的推理结果进行聚合包括:

6.根据权利要求4所述的方法,其中,所述协调方还包括消息响应线程,其中,由所述消息响应线程从所述消息队列获取所述多个参与方发送的推理结果并反馈至用户。

7.根据权利要求6所述的方法,其中,

8.根据权利要求6所述的方法,其中,所述协调方还包括选择器和多个线程,其中,将所述至少一个推理请求发送到消息队列之前还包括:

9.根据权利要求1至8中任一项所述的方法,其中,所述协调方包括缓存,所述方法还包括:

10.根据权利要求9所述的方法,还包括:

11.根据权利要求1至8中任一项所述的方法,其中,

12.一种用于联邦学习的任务处理方法,其中,所述方法用于联邦学习的多个参与方,包括:

13.根据权利要求12所述的方法,还包括:

14.一种联邦学习推理系统,包括:

15.一种用于联邦学习的任务处理装置,其中,所述装置用于联邦学习的协调方,包括:

16.一种用于联邦学习的任务处理装置,其中,所述装置用于联邦学习的多个参与方,包括:

17.一种电子设备,包括:

18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。

19.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1-13中任一项所述的方法。

...

【技术特征摘要】

1.一种用于联邦学习的任务处理方法,其中,所述方法用于联邦学习的协调方,包括:

2.根据权利要求1所述的方法,其中,所述至少一个推理请求至少包括多个推理请求,其中,将所述至少一个推理请求发送到消息队列包括:

3.根据权利要求1所述的方法,其中,所述协调方包括用于将所述多个推理请求发送到所述消息队列的消息处理线程,其中,在等待针对所述至少部分推理请求的推理结果期间,将所述多个推理请求中的另一部分推理请求发送到所述消息队列包括:

4.根据权利要求1所述的方法,其中,从所述消息队列获取所述多个参与方的推理结果并反馈至用户包括:

5.根据权利要求4所述的方法,其中,对所述多个参与方的推理结果进行聚合包括:

6.根据权利要求4所述的方法,其中,所述协调方还包括消息响应线程,其中,由所述消息响应线程从所述消息队列获取所述多个参与方发送的推理结果并反馈至用户。

7.根据权利要求6所述的方法,其中,

8.根据权利要求6所述的方法,其中,所述协调方还包括选择器和多个线程,其中,将所述至少一...

【专利技术属性】
技术研发人员:陈聪李涛
申请(专利权)人:胜斗士上海科技技术发展有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1