联邦计算方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种联邦计算方法，涉及数据处理领域，具体地，涉及大数据的联邦计算领域。该联邦计算方法包括：从多个计算节点获取多个元数据，并发布多个元数据，该元数据表示计算节点的数据仓库中的数据的特征；在多个计算节点中确定商定执行联邦计算任务的至少两个计算节点，其中至少两个计算节点是基于多个元数据来商定执行联邦计算任务的；接收由至少两个计算节点中的至少一个计算节点提交的联邦计算任务，并将联邦计算任务拆分为多个子任务；以及将多个子任务分发给至少两个计算节点，以用于在至少两个计算节点之间执行多个子任务。本公开还提供了一种联邦计算装置、设备和存储介质。

【技术实现步骤摘要】
联邦计算方法、装置、设备及存储介质
本公开涉及数据处理领域，具体地，涉及大数据的联邦计算领域，更具体地，涉及一种联邦计算方法、装置、设备及存储介质。
技术介绍
基于海量数据的分析技术越来越受到数据流通不畅的制约。实际中，海量数据通常由多个实体方所拥有，为了得到更准确的数据分析结果，需要在多个实体方的数据仓库的基础上进行联邦计算。联邦计算基于数据安全及隐私保护技术，在多个分离的实体数据仓库上实施计算，可以实现数据共享并保障数据的隐私安全。然而，在开展联邦计算之前，往往需要开展大量的前期准备工作。例如，需要通过调研、协商、谈判等方式来提前获知其他实体方的数据仓库中数据的情况，以确定这些数据仓库中的数据是否是所需的数据。这需要耗费大量的人力、物力和时间，影响了联邦计算的整体性能。
技术实现思路
有鉴于此，本公开提供了一种联邦计算方法、装置、设备及存储介质。本公开的第一方面提供了一种联邦计算方法，包括：从多个计算节点获取多个元数据，并发布所述多个元数据，所述元数据表示计算节点的数据仓库中的数据的特征；在所述多本文档来自技高网...

【技术保护点】
1.一种联邦计算方法，包括：/n从多个计算节点获取多个元数据，并发布所述多个元数据，所述元数据表示计算节点的数据仓库中的数据的特征；/n在所述多个计算节点中确定商定执行联邦计算任务的至少两个计算节点，其中所述至少两个计算节点是基于所述多个元数据来商定执行所述联邦计算任务的；/n接收由所述至少两个计算节点中的至少一个计算节点提交的联邦计算任务，并将所述联邦计算任务拆分为多个子任务；以及/n将所述多个子任务分发给所述至少两个计算节点，以用于在所述至少两个计算节点之间执行所述多个子任务。/n

【技术特征摘要】
1.一种联邦计算方法，包括：
从多个计算节点获取多个元数据，并发布所述多个元数据，所述元数据表示计算节点的数据仓库中的数据的特征；
在所述多个计算节点中确定商定执行联邦计算任务的至少两个计算节点，其中所述至少两个计算节点是基于所述多个元数据来商定执行所述联邦计算任务的；
接收由所述至少两个计算节点中的至少一个计算节点提交的联邦计算任务，并将所述联邦计算任务拆分为多个子任务；以及
将所述多个子任务分发给所述至少两个计算节点，以用于在所述至少两个计算节点之间执行所述多个子任务。


2.根据权利要求1所述的方法，其中，在所述多个计算节点中确定商定执行联邦计算任务的至少两个计算节点包括：
在所述多个计算节点中的至少两个计算节点之间构建数据审批通道，以用于所述至少两个计算节点经由所述数据审批通道基于所述多个元数据进行数据使用的协商；
在达成数据使用协商的至少两个计算节点之间构建任务审批通道，以用于所述达成数据使用协商的至少两个计算节点经由所述任务审批通道进行联邦计算任务的审批；
将达成联邦计算任务审批的至少两个计算节点作为所述商定执行联邦计算任务的至少两个计算节点。


3.根据权利要求2所述的方法，其中，在所述多个计算节点中的至少两个计算节点之间构建数据审批通道包括：
接收来自所述至少两个计算节点中的至少一个计算节点作为数据使用方节点而发送的数据使用请求；
根据所述数据使用请求确定执行所述联邦计算任务所需的数据所在的计算节点作为数据提供方节点，并将所述数据使用请求发送给所述数据提供方节点；以及
接收来自所述数据提供方节点的使用请求应答，并将所述使用请求应答发送给所述数据使用方节点。


4.根据权利要求3所述的方法，其中，在所述多个计算节点中的至少两个计算节点之间构建任务审批通道包括：
接收来自所述至少两个计算节点中的数据使用方节点的建模任务请求；
将所述建模任务请求发送给所述数据提供方节点；以及
接收来自所述数据提供方节点的建模请求应答，并将所述建模请求应答发送给所述数据使用方节点。


5.根据权利要求1所述的方法，其中，所述联邦计算任务包括基于所述至少两个计算节点各自的数据仓库中的数据而执行的联邦数据查询、联邦数据分析和联邦模型训练，以及根据所述联邦模型训练所得的模型进行联邦预测。


6.根据权利要求1所述的方法，在接收由所述至少两个计算节点中的至少一个计算节点提交的联邦计算任务之后，还包括：
对所述联邦计算任务是否符合联邦计算安全规范进行审核；
在所述联邦计算任务不符合所述联邦计算安全规范的情况下，拒绝所述联邦计算任务。


7.根据权利要求1所述的方法，其中，所述元数据包括数据仓库的名称、存储于所述数据仓库中的数据表的名称、所述数据表的字段名称、字段类型和行数。


8.一种联邦计算方法，包括：
从协调节点获取由多个计算节点上传至所述协调节点的多个元数据，其中每个计算节点的元数据表示相关联的计算节点的数据仓库中的数据的特征；
根据所述多个元数据从所述多个计算节点中确定要协同执行第一联邦计算任务的计算节点作为数据提供方节点；
将所述第一联邦计算任务提交给所述协调节点，以用于所述协调节点将所述第一联邦计算任务拆分为多个第一子任务；以及
从所述协调节点接收所述多个第一子任务中的至少一个第一子任务，并与所述数据提供方节点协同执行所述至少一个第一子任务。


9.根据权利要求8所述的方法，其中，根据所述多个元数据从所述多个计算节点中确定要协同执行第一联邦计算任务的计算节点作为数据提供方节点包括：
根据所述多个元数据从所述多个计算节点中确定执行所述第一联邦计算任务所需的数据所在的计算节点；
与所述执行所述第一联邦计算任务所需的数据所在的计算节点经由所述协调节点所构建的数据审批通道进行数据使用的协商；
与达成数据使用协商的计算节点经由所述协调节点所构建的任务审批通道进行联邦计算任务的审批；
将达成联邦计算任务审批的计算节点作为所述数据提供方节点。


10.根据权利要求8所述的方法，还包括：
将本地元数据上传至所述协调节点，所述本地元数据表示本地数据仓库中的数据的特征；
将所述...

【专利技术属性】
技术研发人员：吕亮亮，冯智，宋传园，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11