数据协同计算方法、装置、系统、电子装置和存储介质制造方法及图纸

本申请涉及一种数据协同计算方法、装置、系统、电子装置和存储介质，其中，该数据协同计算方法包括：获取目标任务，以及目标任务的配置文件，配置文件包括执行目标任务所需的配置信息；根据目标任务、配置文件以及多个单域云的资源信息，确定多个子任务以及每一子任务的执行单域云；将多个子任务分配至对应的执行单域云中。通过本申请，解决了跨域数据的处理效率低的问题，提高了数据协同计算的效率。提高了数据协同计算的效率。提高了数据协同计算的效率。

【技术实现步骤摘要】
数据协同计算方法、装置、系统、电子装置和存储介质


[0001]本申请涉及大数据处理
，特别是涉及一种数据协同计算方法、装置、系统、电子装置和存储介质。

技术介绍

[0002]随着科技的不断发展，云服务日渐发展成熟，越来越多的企业和组织通过部署云服务集群解决海量增长的数据问题。在很多应用场景中，需要对分布在不同地域不同集群中的大数据进行处理。
[0003]目前，针对分布在不同地域不同集群中的大数据进行处理时，大都采用集中式的处理方式，即将分布在不同地域不同集群中的数据上传至集中式服务器中，进一步地，再由集中式服务器分阶段进行处理。大量的数据上传至集中式服务器中不仅会产生大量的数据迁移成本，而且，在数据处理过程中，需要集中式服务器分阶段地进行处理，严重地影响数据处理效率。
[0004]针对相关技术中存在跨域数据的处理效率低的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本实施例中提供了一种数据协同计算方法、装置、系统、电子装置和存储介质，以解决相关技术中跨域数据的处理效率低的问题。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据协同计算方法，其特征在于，应用于数据协同计算系统中的主控制云，所述数据协同计算系统包括所述主控制云以及多个单域云，所述方法包括：获取目标任务，以及所述目标任务的配置文件，所述配置文件包括执行所述目标任务所需的配置信息；根据所述目标任务、所述配置文件以及多个所述单域云的资源信息，确定多个子任务以及每一子任务的执行单域云；将多个所述子任务分配至对应的执行单域云中。2.根据权利要求1所述的数据协同计算方法，其特征在于，所述根据所述目标任务、所述配置文件以及多个所述单域云的资源信息，确定多个子任务以及每一子任务的执行单域云，包括：根据所述配置文件将所述目标任务划分为多个子任务；根据所述配置文件以及多个所述单域云的资源信息，确定每一子任务的执行单域云。3.根据权利要求2所述的数据协同计算方法，其特征在于，所述根据所述配置文件以及多个所述单域云的资源信息，确定每一子任务的执行单域云，包括：根据所述配置文件确定每一子任务的至少一个备选单域云；根据所述资源信息在每一子任务的备选单域云中确定每一子任务对应的执行单域云。4.根据权利要求3所述的数据协同计算方法，其特征在于，所述根据所述资源信息在每一子任务的备选单域云中确定每一子任务对应的执行单域云，包括：根据所述资源信息确定每一子任务在对应的所有备选单域云中执行时所需的执行成本；根据每一子任务的最小执行成本确定每一子任务的执行单域云。5.根据权利要求4所述的数据协同计算方法，其特征在于，所述资源信息至少包括数据资源以及算力资源，所述根据所述资源信息确定每一子任务在对应的所有备选单域云中执行时所需的执行成本，包括：根据所述数据资源确定每一子任务在对应的所有备选单域云中执行时所需的数据迁移成本；根据所述算力资源确定每一子任务在对应的所有备选单域云中执行时所需的算力成本；根据所述数据迁移成本以及所述算力成本确定所述执行成本。6.根据权利要求1所述的数据协同计算方法，其特征在于，在所述将多个...

【专利技术属性】
技术研发人员：孙铭鸽，毛良献，陈旭东，高丰，
申请(专利权)人：之江实验室，
类型：发明
国别省市：