基于大数据环境的作业处理方法、装置、系统及存储介质制造方法及图纸

本发明专利技术实施例涉及一种基于大数据环境的作业处理方法、装置、系统及存储介质，该方法包括：实时采集大数据作业信息；根据大数据作业信息确定与大数据作业信息对应的作业是否符合资源调度触发条件；当确定作业符合资源调度触发条件时，对作业执行与资源调度触发条件对应的处理操作，其中处理操作包括预警处理或查杀处理。通过该种方式，尽量避免在平台资源有限的情况下，各类任务发生资源争抢的情况发生。缩短各类大数据任务整体执行时间，避免对业务分析提供数据服务的SLA时效影响，方便企业管理层及时进行决策分析。业管理层及时进行决策分析。业管理层及时进行决策分析。

【技术实现步骤摘要】
基于大数据环境的作业处理方法、装置、系统及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种基于大数据环境的作业处理方法、装置、系统及存储介质。

技术介绍

[0002]随着大数据时代的到来，企业中每天存在海量的大数据计算，用于支撑企业营销和运营。在企业大数据平台、数据中台或数据仓库环境中会存在大量计算任务等，任务数量规模在万级、十万级、百万级规模不等。而平台的计算资源通常会采用另一种资源协调者(Yet Another Resource Negotiator，简称YARN)进行计算资源的管理、分配和调度，YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
[0003]YARN资源管理可以由平台管理人员进行资源划分，不同的任务划分不同数量的资源。在实际执行时，考虑不同时段，执行任务不同，如果按照实际资源总量为每一个任务划分资源量，有些任务在这个时段并没有执行任务，必然导致资源浪费。为避免资源闲置所造成浪费情况发生，就会在为每一个任务划本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据环境的作业处理方法，其特征在于，所述方法包括：实时采集大数据作业信息；根据所述大数据作业信息确定与所述大数据作业信息对应的作业是否符合资源调度触发条件；当确定所述作业符合资源调度触发条件时，对所述作业执行与所述资源调度触发条件对应的处理操作，其中所述处理操作包括预警处理或查杀处理，以便根据对所述作业执行的预警处理或查杀处理结果，辅助资源调度分配。2.根据权利要求1所述的方法，其特征在于，所述资源调度触发条件包括预警触发条件以及查杀触发条件；所述预警触发条件以及查杀触发条件分别包括如下一种或多种：作业处理时间段、资源队列、作业名称、作业的map数量、作业的reduce数量以及作业来源。3.根据权利要求2所述的方法，其特征在于，与所述预警触发条件以及所述查杀触发条件相对应的，所述大数据作业信息包括但不限于如下中一种或多种：用户名称、作业来源、作业的资源队列、作业运行时间、完成时间、map数量以及reduce数量。4.根据权利要求1或2所述的方法，其特征在于，所述实时采集大数据作业信息之前，所述方法还包括：识别所述作业对应的任务所在的类型和级别；根据所述作业对应的任务的类型和级别，将所述作业划分到相应的队列，其中，所述任务对应至少一个作业，不同队列对应于不同的资源配置规格。5.根据权利要求3所述的方法，其特征在于，所述根据所述大数据作业信息确定与所述大数据作业信息对应的作业是否符合资源调度触发条件，包括：将所述大数据作业信息分别与预配置的预警触发条件以及查杀触发条件进行匹配；确定所述大数据作业信息是否符合所述预警触发条件，或是否符合所述查杀触发条件。6.根据权利要求4所述的方法，...

【专利技术属性】
技术研发人员：杨泽森，
申请(专利权)人：京东数字科技控股股份有限公司，
类型：发明
国别省市：