【技术实现步骤摘要】
本专利技术属于云计算领域，尤其涉及一种基于dag延伸机制的云际异构联合计算方法和系统。
技术介绍
1、随着云计算技术的普及，以公有云、私有云、边缘云为代表的的多样化的异构混合云环境及其相应的应用模式层出不穷，标志着云际计算环境的形成和成熟。在云际计算条件下，由于目前的各种大数据计算和存储体系都是以本地单云、单集群条件设计和部署的，相应的计算任务调度也局限于本地、本集群。因此，在面向云际多云、多集群联合计算场景时，亟需提供一种能够在多云、多集群条件下实现在对应的本地计算调度系统间进行联合计算调度、互操作的的方法，从而实现对复杂计算任务的跨云、跨集群的统一管理、调度和控制。
2、同时，由于不同云环境和不同计算存储模型的异构性，相应的计算任务执行所需的资源、类型系统、运行时数据对象等虽然都存在差异，但又具有可以通过dag(有向无环图)的形式进行描述和设计的共性。因此通过对各本地集群及其调度系统的计算任务以dag的形式统一建模，并进而实现跨云、跨集群的dag的延伸和拼接，是实现将计算推向数据的大数据处理的基本原则，使得云际计算获得更好、更高效的计算效率的关键途径。
技术实现思路
1、为解决上述技术问题，本专利技术提出一种基于dag延伸机制的云际异构联合计算方法的技术方案，以解决上述技术问题。
2、本专利技术第一方面公开了一种基于dag延伸机制的云际异构联合计算方法，所述方法包括：
3、步骤s1、在第一云集群的资源上编排和生成第一作业任务；
4
5、步骤s3、如果第一作业任务所需的数据资源需跨云跨集群互操作，那么基于数据互操作机制和场景，通过云际异构资源引擎，进行计算环境推送，来完成实例化的第一作业任务的解析，并通过平台预加载模式提前部署在第二云集群上的运行环境，实现在第二云集群上进行计算资源准备；然后，云际异构资源引擎将解析后的第一作业任务提交至第二云集群，生成第二作业任务；
6、步骤s4、对所述第二作业任务统一进行算子化容器封装和实例化；将实例化的第二作业任务和第二数据资源通过异构计算模型互操作，形成第二云集群上的完整作业任务，并计算所述完整作业任务得到结果数据集；
7、步骤s5、将所述结果数据集进行数据桥接、类型系统转换和动态元数据适配，通过云际异构资源引擎提交至第一作业任务；计算提交后的第一作业任务，获得最终的联合计算结果数据集。
8、根据本专利技术第一方面的方法，在所述步骤s2中，所述对所述第一作业任务统一进行算子化容器封装和实例化的方法包括：
9、对所述第一作业任务进行统一算子容器封装，形成第一作业任务算子；
10、将所述第一作业任务算子提交统一算子执行引擎，进行算子实例化，得到实例化的第一作业任务。
11、根据本专利技术第一方面的方法，在所述步骤s4中，所述对所述第二作业任务统一进行算子化容器封装和实例化的方法包括：
12、对所述第二作业任务进行统一算子容器封装，形成第二作业任务算子；
13、将所述第二作业任务算子提交统一算子执行引擎，进行算子实例化，得到实例化的第二作业任务。
14、根据本专利技术第一方面的方法，在所述步骤s4中，所述方法还包括：
15、所述实例化的第二作业任务在第二云集群上通过数据资源发现准备第二作业任务所需的第二数据资源。
16、根据本专利技术第一方面的方法，在所述步骤s4中，所述方法还包括：
17、所述第二数据资源通过云际异构资源引擎的分布式资源数据标签统一注册管理进行数据资源注册。
18、根据本专利技术第一方面的方法，在所述步骤s4中，所述方法还包括：
19、实例化的第一作业任务在第一云集群上通过数据资源发现准备第一作业任务所需的第一数据资源，同时通过分布式资源数据标签统一注册表引入第二作业任务准备的数据资源注册信息。
20、根据本专利技术第一方面的方法，在所述步骤s4中，所述方法还包括：
21、将实例化的第一作业任务和所述第一数据资源通过异构计算模型互操作，形成本地的第一作业任务。
22、本专利技术第二方面公开了一种基于dag延伸机制的云际异构联合计算系统，所述系统包括：
23、第一处理模块，被配置为，在第一云集群的资源上编排和生成第一作业任务；
24、第二处理模块，被配置为，对所述第一作业任务统一进行算子化容器封装和实例化，并根据资源配置情况，基于平台引擎的全局资源发现机制，通过查询统一数据资源注册信息，判断第一作业任务是否需要跨云跨集群互操作；
25、第三处理模块，被配置为，如果第一作业任务所需的数据资源需跨云跨集群互操作，那么基于数据互操作机制和场景，通过云际异构资源引擎，进行计算环境推送，来完成实例化的第一作业任务的解析，并通过平台预加载模式提前部署在第二云集群上的运行环境，实现在第二云集群上进行计算资源准备；然后，云际异构资源引擎将解析后的第一作业任务提交至第二云集群，生成第二作业任务；
26、第四处理模块，被配置为，对所述第二作业任务统一进行算子化容器封装和实例化；将实例化的第二作业任务和第二数据资源通过异构计算模型互操作，形成第二云集群上的完整作业任务，并计算所述完整作业任务得到结果数据集；
27、第五处理模块，被配置为，将所述结果数据集进行数据桥接、类型系统转换和动态元数据适配，通过云际异构资源引擎提交至第一作业任务；计算提交后的第一作业任务，获得最终的联合计算结果数据集。
28、本专利技术第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本公开第一方面中任一项的一种基于dag延伸机制的云际异构联合计算方法中的步骤。
29、本专利技术第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本公开第一方面中任一项的一种基于dag延伸机制的云际异构联合计算方法中的步骤。
30、综上，本专利技术提出的方案能够通过dag延伸机制，实现云际异构计算任务、计算资源、运行依赖、数据对象的一致化表示，从而支撑了跨云异构计算任务的统一编排和执行控制，为实现云际计算的跨云异构计算联合调度互操作提供了基础能力保证。
本文档来自技高网...【技术保护点】
1.一种基于DAG延伸机制的云际异构联合计算方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于DAG延伸机制的云际异构联合计算方法，其特征在于，在所述步骤S2中，所述对所述第一作业任务统一进行算子化容器封装和实例化的方法包括：
3.根据权利要求1所述的一种基于DAG延伸机制的云际异构联合计算方法，其特征在于，在所述步骤S4中，所述对所述第二作业任务统一进行算子化容器封装和实例化的方法包括：
4.根据权利要求1所述的一种基于DAG延伸机制的云际异构联合计算方法，其特征在于，在所述步骤S4中，所述方法还包括：
5.根据权利要求4所述的一种基于DAG延伸机制的云际异构联合计算方法，其特征在于，在所述步骤S4中，所述方法还包括：
6.根据权利要求5所述的一种基于DAG延伸机制的云际异构联合计算方法，其特征在于，在所述步骤S4中，所述方法还包括：
7.根据权利要求6所述的一种基于DAG延伸机制的云际异构联合计算方法，其特征在于，在所述步骤S4中，所述方法还包括：
8.一种用于基于DAG延伸机
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的一种基于DAG延伸机制的云际异构联合计算方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的一种基于DAG延伸机制的云际异构联合计算方法中的步骤。
...【技术特征摘要】
1.一种基于dag延伸机制的云际异构联合计算方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于dag延伸机制的云际异构联合计算方法，其特征在于，在所述步骤s2中，所述对所述第一作业任务统一进行算子化容器封装和实例化的方法包括：
3.根据权利要求1所述的一种基于dag延伸机制的云际异构联合计算方法，其特征在于，在所述步骤s4中，所述对所述第二作业任务统一进行算子化容器封装和实例化的方法包括：
4.根据权利要求1所述的一种基于dag延伸机制的云际异构联合计算方法，其特征在于，在所述步骤s4中，所述方法还包括：
5.根据权利要求4所述的一种基于dag延伸机制的云际异构联合计算方法，其特征在于，在所述步骤s4中，所述方法还包括：
6.根据权利要求5所述的一种基于da...
【专利技术属性】
技术研发人员：项君，陈越，方振中，程道疆，黄若衡，陈晓梅，齐咏杰，彭力，奚家熹，
申请(专利权)人：上海直真君智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。