一种基于跨环境的资源映射及任务发布方法技术

技术编号:41180432 阅读:18 留言:0更新日期:2024-05-07 22:14
本发明专利技术涉及资源映射技术领域,尤其涉及一种基于跨环境的资源映射及任务发布方法,包括,步骤S1,根据开发环境、测试环境以及生产环境对现有资源进行规划分配,进行物理集群搭建:步骤S2,在数据任务执行前,在各环境的系统中创建虚拟资源,并对各环境中的虚拟资源进行资源唯一标识的标记;步骤S3,对各环境的虚拟资源通过环境类型与资源唯一标识进行关联,并保存到系统中,完成资源映射。本发明专利技术通过资源映射对各环境合理规划后的集群资源进行逻辑关联,使新建好的大数据开发任务能够精确找到所属执行集群、引擎、数据源,通过对各环境资源进行唯一标识,可有效解决资源选择不对应、开发代码缺失的问题,保证任务顺利执行。

【技术实现步骤摘要】

本专利技术涉及资源映射,尤其涉及一种基于跨环境的资源映射及任务发布方法


技术介绍

1、对于大数据研发平台类项目而言,分环境集群部署,提供开发、测试、生产等不同类型的终端用户使用资源已经是基本的需求;对此,常见的实施方案是先根据实际情况规划分配各环境的物理机资源,再在各环境系统中创建提供开发代码执行的资源,如hadoop集群、k8s集群、数据源等,最后完成开发的代码会依次在开发、测试、生产环境中执行,对于各环境而言,无论是物理机器、应用集群还是应用数据都做到了相互隔离,互不干扰;此方法虽能实现研发平台中的项目从开发到测试再到投产的完整闭环,但过程中的逻辑集群配置、选择,以及代码执行均需对应环境用户从上一环境进行人工复制操作,及易出现资源选择不对应、开发代码缺失等问题,最终导致任务执行失败。

2、中国专利公开号:cn108833159a,公开了一种sdn/nfv环境下跨域服务链映射方法;其技术点是根据最小映射开销服务链分割方案对服务链构建请求进行分割,将服务链映射到底层物理网络中;由此可见,在现有的跨环境资源映射技术中,缺乏数据源整体的资源映射,本文档来自技高网...

【技术保护点】

1.一种基于跨环境的资源映射方法,其特征在于,包括,

2.根据权利要求1所述的基于跨环境的资源映射方法,其特征在于,在所述步骤S1中,所述开发环境与所述测试环境的物理集群搭建需满足任务可执行。

3.根据权利要求1所述的基于跨环境的资源映射方法,其特征在于,在所述步骤S1中,所述生产环境需满足系统的可用性,并根据任务执行高峰对资源进行冗余分配。

4.根据权利要求1所述的基于跨环境的资源映射方法,其特征在于,在所述步骤S2中,所述虚拟资源包括各环境中系统任务所需的集群与数据源。

5.基于权利要求1至4任意一项所述的基于跨环境的资源映射方法的基于...

【技术特征摘要】

1.一种基于跨环境的资源映射方法,其特征在于,包括,

2.根据权利要求1所述的基于跨环境的资源映射方法,其特征在于,在所述步骤s1中,所述开发环境与所述测试环境的物理集群搭建需满足任务可执行。

3.根据权利要求1所述的基于跨环境的资源映射方法,其特征在于,在所述步骤s1中,所述生产环境需满足系统的可用性,并根据任务执行高峰对资源进行冗余分配。

4.根据权利要求1所述的基于跨环境的资源映射方法,其特征在于,在所述步骤s2中,所述虚拟资源包括各环境中系统任务所需的...

【专利技术属性】
技术研发人员:高海玲高经郡韩冰城
申请(专利权)人:北京科杰科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1