兼容不同计算框架的联邦学习方法和联邦学习系统技术方案

本申请涉及一种兼容不同计算框架的联邦学习方法和系统，各参与方包括若干计算节点，各计算节点包括计算实体引擎、受计算实体引擎调用的计算资源、受计算实体引擎调用的计算驱动单元；计算资源用于根据计算实体引擎的调用请求提供计算实体服务，计算驱动单元用于匹配计算框架；对于其中一个参与方，若参与联邦学习的各计算节点使用的计算框架至少部分不同，联邦学习方法包括：计算节点获得中心节点的服务请求；计算实体引擎接收服务请求，在计算资源中调用相应的计算实体服务；计算实体服务通过计算实体引擎调用匹配不同计算框架的计算驱动单元；计算实体引擎创建计算执行主体，完成服务请求，实现未使用计算框架和使用不同计算框架的兼容。算框架的兼容。算框架的兼容。

【技术实现步骤摘要】
兼容不同计算框架的联邦学习方法和联邦学习系统


[0001]本申请涉及分布式机器学习
，特别是涉及一种兼容不同计算框架的联邦学习方法和联邦学习系统。

技术介绍

[0002]近年，人工智能技术飞速发展，已经逐渐渗透应用到社会生活的方方面面。人工智能技术的飞速发展在给社会生活带来便利的同时，也带来了一些问题。传统的人工智能模型部署的过程面临着一定的问题。：模型的训练都是基于所有的集中的数据进行的训练。在实际社会生活的应用过程中，数据往往是分散在各个实体部分，包括不同的企业事业单位，或者同一个实体单位的不同的部门。无论是受到企业之间的限制，还是各个数据拥有者的隐私问题的限制，数据往往无法做到集中到中心进行全局数据集的训练，可以总结为数据的“孤岛问题”。此外，除了现实条件的固有限制，集中数据的人工智能模型训练还存在着以下缺陷：数据的集中存放和传输，存在着很高的数据泄露的风险；数据很容易受到恶意攻击造成数据的损毁和侵害；集中式的数据训练在面对着超大规模训练时，面临着算力不足、计算缓慢、训练周期长、难于调整等问题。
[0003]为了应对以上问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.兼容不同计算框架的联邦学习方法，实施在中心节点和若干参与方之间，其特征在于，各参与方包括若干计算节点，各计算节点包括计算实体引擎、受所述计算实体引擎调用的计算资源、受所述计算实体引擎调用的计算驱动单元；所述计算资源用于根据所述计算实体引擎的调用请求提供计算实体服务，所述计算驱动单元用于匹配计算框架；对于其中一个参与方，若参与联邦学习的各计算节点未使用计算框架，所述联邦学习方法包括：所述计算节点获得所述中心节点的服务请求；所述计算实体引擎接收所述服务请求，在所述计算资源中调用相应的计算实体服务；所述计算实体服务完成所述服务请求；对于其中一个参与方，若参与联邦学习的各计算节点使用计算框架且使用的计算框架至少部分不同，所述联邦学习方法包括：所述计算节点获得所述中心节点的服务请求；所述计算实体引擎接收所述服务请求，在所述计算资源中调用相应的计算实体服务；所述计算实体服务通过所述计算实体引擎调用匹配不同计算框架的所述计算驱动单元；所述计算实体引擎创建计算执行主体，所述计算执行主体完成所述服务请求。2.根据权利要求1所述的兼容不同计算框架的联邦学习方法，其特征在于，所述计算资源包括队列式的多个计算实体服务，所述计算资源用于根据所述计算实体引擎的调用请求提供计算实体服务，包括：所述计算资源用于根据所述计算实体引擎的调用请求，提供队列中的其中一个计算实体服务。3.根据权利要求2所述的兼容不同计算框架的联邦学习方法，其特征在于，所述计算实体引擎包括调度管理模块和计算驱动模块，所述计算资源受所述调度管理模块调用；所述计算实体引擎接收所述服务请求，在所述计算资源中调用相应的计算实体服务，具体包括：所述调度管理模块接收所述服务请求，在所述计算资源中调用相应的计算实体服务；所述计算驱动单元受所述计算驱动模块调用；所述计算实体服务通过所述计算实体引擎调用匹配不同计算框架的所述计算驱动单元，具体包括：所述计算实体服务通过所述计算驱动模块匹配不同计算框架的所述计算驱动单元；所述计算实体引擎创建计算执行主体，具体包括：所述计算驱动模块创建计算执行主体。4.根据权利要求3所述的兼容不同计算框架的联邦学习方法，其特征在于，各参与方包括提供的节点管理服务，所述节点管理服务用于接收各计算节点的工作状态、以及各计算节点使用的计算框架类型。5.根据权利要求4所述的兼容不同计算框架的联邦学习方法，其特征在于，各计算节点包括提供的计算节点服务，所述计算节点服务用于与所述节点管理服务进行信息交互、以
及用于向所计算实体引擎发送所述...

【专利技术属性】
技术研发人员：王德健，林博，董科雄，李进，
申请(专利权)人：杭州医康慧联科技股份有限公司，
类型：发明
国别省市：