【技术实现步骤摘要】
本专利技术涉及地震数据处理作业管理领域，具体涉及一种基于spark的地震数据处理作业状态管理方法和装置。
技术介绍
1、地震数据处理具有数据量巨大，计算处理逻辑复杂，耗费资源多，计算耗时长等特点，是一种典型的大数据处理过程。基于上述特点，在地震数据处理过程中，会采用大数据相关技术，常见的包含hadoop、spark、mpi等计算框架。
2、为了能够方便灵活的进行地震数据处理过程管理，通常将处理过程以作业为单位进行调度和管理，这也是大数据处理任务采用的管理方式。作业是一个任务的动态运行过程，具有生命周期，在整个生命周期过程中具有多种状态。典型的作业状态包括：创建、提交、运行、暂停、停止、成功和失败等。通过对作业状态进行有效的管理，可以实时掌握作业当前的运行情况，有助于及时对作业进行人为干预，解决作业运行过程中的问题，提升作业执行的效率。
3、在地震数据处理作业状态管理中，其中两个状态：暂停和停止，尤其是暂停，在实现上具有较大的难度，这和地震数据处理作业的本身特点是相关的。地震数据处理作业一旦开启运行，在执行过程中会...
【技术保护点】
1.一种基于Spark的地震数据处理作业状态管理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述作业状态包括：开始、提交、运行、暂停、停止、成功和失败；
3.根据权利要求2所述的方法，其特征在于，所述SparkApplication状态包括：创建、提交、运行、停止、成功和失败；
4.根据权利要求3所述的方法，其特征在于，所述关联关系包括：
5.根据权利要求4所述的方法，其特征在于，基于所述关联关系，控制SparkApplication执行checkpoint操作，完成作业的暂停和恢复包括：
...【技术特征摘要】
1.一种基于spark的地震数据处理作业状态管理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述作业状态包括：开始、提交、运行、暂停、停止、成功和失败；
3.根据权利要求2所述的方法，其特征在于，所述sparkapplication状态包括：创建、提交、运行、停止、成功和失败；
4.根据权利要求3所述的方法，其特征在于，所述关联关系包括：
5.根据权利要求4所述的方法，其特征在于，基于所述关联关系，控制sparkapplication执行checkpoint操作，完成作业的暂停和...
【专利技术属性】
技术研发人员：张巍，
申请(专利权)人：中国石油化工股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。