System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种云际分布式资源数据模型拓展和标注方法和系统技术方案_技高网

一种云际分布式资源数据模型拓展和标注方法和系统技术方案

技术编号:40468470 阅读:6 留言:0更新日期:2024-02-22 23:23
本发明专利技术提出一种云际分布式资源数据模型拓展和标注方法和系统。其中,方法包括:利用不同云环境的Spark计算模型的RDD机制为载体,通过扩展对应的数据模型来为计算任务和数据资源打标,实现对分布于不同云环境上的RDD统一标注和管理。本发明专利技术提出的方案首创了面向云际计算条件下分布式资源统一标签化管理和标注方法,从而支撑了跨云异构计算任务的有效标识和统一管理,为实现云际计算的跨云异构计算联合调度互操作提供了基础能力保证。

【技术实现步骤摘要】

本专利技术属于云计算领域,尤其涉及一种云际分布式资源数据模型拓展和标注方法和系统


技术介绍

1、随着云计算技术的普及,以公有云、私有云、边缘云为代表的多样化异构混合云环境及其相应的应用模式层出不穷,标志着云际计算环境的形成和成熟。在云际计算条件下,由于目前的各种大数据计算和存储体系都是以本地单云、单集群条件设计和部署的,因此亟需提供一种面向云际分布式资源的统一管理和标识的方法,从而保证参与计算的分布于不同云环境上的资源能得到有效的区分、识别和管理控制。

2、同时,由于不同云环境和不同计算存储模型的异构性,相应的资源标识和管理方法也大相径庭。而在面向海量数据的云际计算过程中,由于核心的瓶颈在于不同的云环境互联互通的网络带宽,因此云际计算的关键就是要充分发挥将计算推向数据的原则,尽量在云环境和异构集群间降低海量数据迁移的可能,而代之以交换算法和相关的计算任务。所以在面向不同的云环境展开联合计算调度时,如何对计算任务的环境依赖及其计算中间结果进行统一的标识和管理控制也是亟待解决的重要问题。


技术实现思路

1、为解决上述技术问题,本专利技术提出一种云际分布式资源数据模型拓展和标注方法的技术方案,以解决上述技术问题。

2、本专利技术第一方面公开了一种云际分布式资源数据模型拓展和标注方法,所述方法包括:

3、步骤s1、将原始计算或存储模型的计算存储任务提交为作业任务;

4、步骤s2、通过对作业任务的解析,获取所述作业任务的静态资源参数、静态计算控制参数和完整的业务数据对象;

5、步骤s3、对所述作业任务的静态资源参数、静态计算控制参数和完整的业务数据对象进行拓展,即打标,生成资源标签;

6、步骤s4、通过将所述资源标签对业务数据对象进行数据模型的扩展,生成模型的标签描述属性对象;通过对所述资源标签统一标注管理,完成资源标签注册;

7、步骤s5、对注册后的资源标签填入拓展后的数据模型,完成对业务数据对象的标注,生成扩展业务数据对象;

8、步骤s6、对所述扩展业务数据对象进行动态任务重构,引入所述作业任务的静态资源参数和静态计算控制参数,生成新的目标计算作业任务,并提交执行。

9、根据本专利技术第一方面的方法,在所述步骤s1中,将原始计算或存储模型的计算存储任务以算子形式提交为作业任务。

10、根据本专利技术第一方面的方法,在所述步骤s2中,通过对作业任务的解析,获取完整的业务数据对象的方法包括:

11、通过调用动态元数据管理,对作业任务的业务数据对象进行动态解析和定位,得到完整的业务数据对象。

12、根据本专利技术第一方面的方法,在所述步骤s2中,所述作业任务的解析以算子执行的形式实现;所述业务数据对象为弹性数据对象。

13、根据本专利技术第一方面的方法,在所述步骤s3中,所述对所述作业任务的静态资源参数、静态计算控制参数和完整的业务数据对象进行拓展,即打标,生成资源标签的方法包括:

14、基于所述静态资源参数生成资源id;

15、基于所述静态计算控制参数生成任务id;

16、通过对所述资源id和任务id进行合并生成资源标签。

17、根据本专利技术第一方面的方法,在所述步骤s4中,所述资源标签注册以算子执行的形式实现。

18、根据本专利技术第一方面的方法,在所述步骤s6中,所述动态任务重构以算子执行的形式实现。

19、本专利技术第二方面公开了一种云际分布式资源数据模型拓展和标注系统,所述系统包括:

20、第一处理模块,被配置为,将原始计算或存储模型的计算存储任务提交为作业任务;

21、第二处理模块,被配置为,通过对作业任务的解析,获取所述作业任务的静态资源参数、静态计算控制参数和完整的业务数据对象;

22、第三处理模块,被配置为,对所述作业任务的静态资源参数、静态计算控制参数和完整的业务数据对象进行拓展,即打标,生成资源标签;

23、第四处理模块,被配置为,通过将所述资源标签对业务数据对象进行数据模型的扩展,生成模型的标签描述属性对象;通过对所述资源标签统一标注管理,完成资源标签注册;

24、第五处理模块,被配置为,对注册后的资源标签填入拓展后的数据模型,完成对业务数据对象的标注,生成扩展业务数据对象;

25、第六处理模块,被配置为,对所述扩展业务数据对象进行动态任务重构,引入所述作业任务的静态资源参数和静态计算控制参数,生成新的目标计算作业任务,并提交执行。

26、本专利技术第三方面公开了一种电子设备。电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时,实现本公开第一方面中任一项的一种云际分布式资源数据模型拓展和标注方法中的步骤。

27、本专利技术第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,实现本公开第一方面中任一项的一种云际分布式资源数据模型拓展和标注方法中的步骤。

28、综上,本专利技术提出的方案首创了面向云际计算条件下分布式资源统一标签化管理和标注方法,从而支撑了跨云异构计算任务的有效标识和统一管理,为实现云际计算的跨云异构计算联合调度互操作提供了基础能力保证。

本文档来自技高网...

【技术保护点】

1.一种云际分布式资源数据模型拓展和标注方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤S1中,将原始计算或存储模型的计算存储任务以算子形式提交为作业任务。

3.根据权利要求1所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤S2中,通过对作业任务的解析,获取完整的业务数据对象的方法包括:

4.根据权利要求3所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤S2中,所述作业任务的解析以算子执行的形式实现;所述业务数据对象为弹性数据对象。

5.根据权利要求1所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤S3中,所述对所述作业任务的静态资源参数、静态计算控制参数和完整的业务数据对象进行拓展,即打标,生成资源标签的方法包括:

6.根据权利要求1所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤S4中,所述资源标签注册以算子执行的形式实现。

7.根据权利要求1所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤S6中,所述动态任务重构以算子执行的形式实现。

8.一种用于云际分布式资源数据模型拓展和标注系统,其特征在于,所述系统包括:

9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现权利要求1至7中任一项所述的一种云际分布式资源数据模型拓展和标注方法中的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至7中任一项所述的一种云际分布式资源数据模型拓展和标注方法中的步骤。

...

【技术特征摘要】

1.一种云际分布式资源数据模型拓展和标注方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤s1中,将原始计算或存储模型的计算存储任务以算子形式提交为作业任务。

3.根据权利要求1所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤s2中,通过对作业任务的解析,获取完整的业务数据对象的方法包括:

4.根据权利要求3所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤s2中,所述作业任务的解析以算子执行的形式实现;所述业务数据对象为弹性数据对象。

5.根据权利要求1所述的一种云际分布式资源数据模型拓展和标注方法,其特征在于,在所述步骤s3中,所述对所述作业任务的静态资源参数、静态计算控制参数和完整的业务数据对象进行拓展,即打标,生成资源标签的方法包括:<...

【专利技术属性】
技术研发人员:项君陈越方振中程道疆黄若衡陈晓梅齐咏杰彭力奚家熹
申请(专利权)人:上海直真君智科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1