本申请涉及数据处理技术领域，具体涉及一种基于任务调度运行的数据处理方法、装置及电子设备。一种基于任务调度运行的数据处理方法应用于服务器中，包括：获取任务处理数据；记录任务处理数据的获取时间，并基于任务处理数据，计算各业务部门的资源使用值；在预设第一时间段内，基于任务处理数据的获取时间和各业务部门的资源使用值，得到各业务部门的资源使用曲线，以便于展示各业务部门的资源使用曲线。本申请通过对各业务部门的任务处理数据进行统计和分析，得到各业务部门的资源使用曲线，以便于展示各业务部门对于任务调度系统的资源使用情况，为任务调度系统的管理员管理任务调度系统的资源提供数据支持。务调度系统的资源提供数据支持。务调度系统的资源提供数据支持。
【技术实现步骤摘要】
基于任务调度运行的数据处理方法、装置及电子设备
[0001]本申请涉及数据处理
，具体涉及一种基于任务调度运行的数据处理方法、装置及电子设备。
技术介绍
[0002]随着大数据处理系统的兴起，很多大中型互联网公司都有自己独立的大中型任务调度系统。计算平台上的任务调度系统能够按照生产环境中任务运行的日志记录，真实地反映在某时刻资源管理调度系统所要处理的任务的数量，以及集群机器节点的宕机和添加等变化，让任务调度系统的管理员了解任务调度系统的工作状态。
[0003]目前的任务调度系统提供任务调度方法，获取公司各个业务部门提交的任务，根据资源（CPU、内存、存储空间等）的空闲和负载情况，将任务调度到合适的节点，分配硬件资源，以执行任务。
[0004]在上述相关技术中，任务调度系统提供任务调度功能，但无法反映公司各个业务部分对于任务调度系统的资源使用情况。
技术实现思路
[0005]为了解决任务调度系统提供任务调度功能，但无法反映公司各个业务部分对于任务调度系统的资源使用情况的问题，本申请提供一种基于任务调度运行的数据处理方法、装置及电子设备。
[0006]在本申请的第一方面提供了一种基于任务调度运行的数据处理方法，应用于服务器中，所述方法包括：获取任务处理数据；所述任务处理数据包括任务名称、任务所属业务部门和执行任务的资源使用值，所述资源包括内存和CPU；记录任务处理数据的获取时间，并基于所述任务处理数据，计算各业务部门的资源使用值；在预设第一时间段内，基于所述任务处理数据的获取时间和各所述业务部门的资源使用值，得到各业务部门的资源使用曲线，以便于展示各所述业务部门的资源使用曲线。
[0007]通过采用上述技术方案，服务器对各业务部门的任务处理数据进行统计和分析，得到各业务部门的资源使用曲线，以便于展示各业务部门对于任务调度系统的资源使用情况，为任务调度系统的管理员管理任务调度系统的资源提供数据支持。
[0008]在一种可能的实施方式中，所述在预设第一时间段内，基于所述任务处理数据的获取时间和各所述业务部门的资源使用值，得到各业务部门的资源使用曲线，以便于展示各所述业务部门的资源使用曲线；具体包括：基于所述任务处理数据的获取时间和各所述业务部门的资源使用值，绘制各业务部门的资源使用曲线；计算各所述业务部门的资源使用曲线的斜率；基于各所述业务部门的资源使用曲线的斜率，得到各所述业务部门的资源使用情况。
[0009]通过采用上述技术方案，服务器绘制并分析各业务部门的资源使用曲线，得到各资源使用曲线的分析结果，在展示各业务部门的资源使用曲线时，同时展示各资源使用曲
线的分析结果，以便于任务调度系统的管理员了解到各业务部门的资源使用情况。
[0010]在一种可能的实施方式中，所述任务处理数据还包括任务处理时间点和任务结束状态，所述任务结束状态包括任务处理成功和任务处理失败；在所述获取任务处理数据之后，所述方法还包括：将处理任务的时间分为若干个时长相等的时间段；基于所述任务处理时间点、所述任务结束状态和所述任务所属业务部门，确定在各所述时间段中，各业务部门的任务处理状态；所述任务处理状态包括在各所述时间段中，各业务部门的任务处理成功数和任务处理失败数；基于各所述业务部门的任务处理状态，确定各业务部门的任务执行程序的运行状态。
[0011]通过采用上述技术方案，服务器根据任务处理时间点和任务结束状态，确定各业务部门的任务执行程序的运行状态；帮助任务调度系统的管理员及时发现任务执行程序的运行错误。
[0012]在一种可能的实施方式中，所述基于各所述业务部门的任务处理状态，确定各业务部门的任务执行程序的运行状态；具体包括：基于所述任务名称，对各业务部门的任务进行分类，并确定在各所述时间段中，各类别任务的任务处理成功数和任务处理失败数；基于所述各类别任务的任务处理成功数和任务处理失败数，计算各类别任务的任务处理失败率；若第一类任务的任务处理失败率等于预设第一数值，则确定所述第一类任务的任务执行程序存在逻辑错误；所述第一类任务为各业务部门处理的任务中的任意一类任务；若所述第一类任务的任务处理失败率小于预设第一数值且大于预设第二数值，则调用所述第一类任务的任务处理进程；基于所述第一类任务的任务处理进程，确定第一类任务的任务执行程序的运行失败原因；所述预设第一数值大于所述预设第二数值。
[0013]通过采用上述技术方案，服务器根据各业务部门处理的各类任务的失败率，判断各类任务的执行程序是否存在错误；帮助任务调度系统的管理员及时发现任务执行程序的运行错误。
[0014]在一种可能的实施方式中，所述任务处理时间点包括任务提交时间点、任务开始时间点和任务结束时间点；所述方法还包括：基于所述任务处理时间点和所述任务所属业务部门，计算在各所述时间段中，各业务部门处理任务的等待时长和运行时长；基于各所述业务部门处理任务的等待时长和运行时长，确定各业务部门的任务处理特征；所述任务处理特征包括任务处理高峰期和任务处理低峰期；展示各所述业务部门的任务处理特征，以便于各业务部门确定任务提交计划。
[0015]通过采用上述技术方案，服务器通过各业务部门的任务处理时间点，确定并展示各业务部门的任务处理高峰期和任务处理低峰期，以便于各业务部门的工作人员确定任务提交计划。
[0016]在一种可能的实施方式中，在所述获取任务处理数据之前，所述方法还包括：创建任务提交规则，以使用户基于所述任务提交规则提交任务；所述任务提交规则包括预设任务提交格式。
[0017]通过采用上述技术方案，服务器创建与该请求相对应的任务提交格式，对各业务部门的工作人员提交的任务进行规范约束，以使提交到任务调度系统的任务均为规范格式，以便于服务器分析任务调度系统的任务处理数据时，对各任务进行分类。
[0018]在一种可能的实施方式中，在所述获取任务处理数据之后，所述方法还包括：获取
存储空间的剩余量；基于所述任务处理数据，计算各业务部门每天运行消耗的存储空间；在预设第二时间段内，基于各所述业务部门每天运行消耗的存储空间，得到各所述业务部门的存储空间消耗曲线；基于各所述业务部门每天运行消耗的存储空间、各所述业务部门的存储空间消耗曲线以及所述存储空间的剩余量，计算存储空间的剩余运行时间。
[0019]通过采用上述技术方案，服务器计算各业务部门每天运行所消耗的存储空间，分析各业务部门的存储空间消耗趋势；结合计算机系统存储空间的剩余量，计算存储空间能够支持的剩余运行时间，帮助任务调度系统的管理员确定对计算机系统的存储空间进行扩容的时间。
[0020]在一种可能的实施方式中，在所述在预设第一时间段内，基于所述任务处理数据的获取时间和各所述业务部门的资源使用值，得到各业务部门的资源使用曲线之后，所述方法还包括：展示各所述业务部门的资源使用值和各所述业务部门的资源使用曲线。
[0021]通过采用上述技术方案，服务器展示各业务部门的资源使用值和各业务部门的资源使用曲线，为任本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于任务调度运行的数据处理方法，其特征在于，应用于服务器中，所述方法包括：获取任务处理数据；所述任务处理数据包括任务名称、任务所属业务部门和执行任务的资源使用值，所述资源包括内存和CPU；记录任务处理数据的获取时间，并基于所述任务处理数据，计算各业务部门的资源使用值；在预设第一时间段内，基于所述任务处理数据的获取时间和各所述业务部门的资源使用值，得到各业务部门的资源使用曲线，以便于展示各所述业务部门的资源使用曲线。2.根据权利要求1所述的一种基于任务调度运行的数据处理方法，其特征在于，所述在预设第一时间段内，基于所述任务处理数据的获取时间和各所述业务部门的资源使用值，得到各业务部门的资源使用曲线，以便于展示各所述业务部门的资源使用曲线；具体包括：基于所述任务处理数据的获取时间和各所述业务部门的资源使用值，绘制各业务部门的资源使用曲线；计算各所述业务部门的资源使用曲线的斜率；基于各所述业务部门的资源使用曲线的斜率，得到各所述业务部门的资源使用情况。3.根据权利要求1所述的一种基于任务调度运行的数据处理方法，其特征在于，所述任务处理数据还包括任务处理时间点和任务结束状态，所述任务结束状态包括任务处理成功和任务处理失败；在所述获取任务处理数据之后，所述方法还包括：将处理任务的时间分为若干个时长相等的时间段；基于所述任务处理时间点、所述任务结束状态和所述任务所属业务部门，确定在各所述时间段中，各业务部门的任务处理状态；所述任务处理状态包括在各所述时间段中，各业务部门的任务处理成功数和任务处理失败数；基于各所述业务部门的任务处理状态，确定各业务部门的任务执行程序的运行状态。4.根据权利要求3所述的一种基于任务调度运行的数据处理方法，其特征在于，所述基于各所述业务部门的任务处理状态，确定各业务部门的任务执行程序的运行状态；具体包括：基于所述任务名称，对各业务部门的任务进行分类，并确定在各所述时间段中，各类别任务的任务处理成功数和任务处理失败数；基于所述各类别任务的任务处理成功数和任务处理失败数，计算各类别任务的任务处理失败率；若第一类任务的任务处理失败率等于预设第一数值，则确定所述第一类任务的任务执行程序存在逻辑错误；所述第一类任务为各业务部门处理的任务中的任意一类任务；若所述第一类任务的任务处理失败率小于预设第一数值且大于预设第二数值，则调用所述第一类任务的任务处理进程；基于所述第一类任务的任务处理进程，确定第一类任务的任务执行程序的运行失败原因；所述预设第一数值大于所述预设第二...
【专利技术属性】
技术研发人员：宁岩岩，
申请(专利权)人：企知道科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。