一种基于Hadoop平台的电力数据作业调度方法技术

本发明专利技术涉及电力数据作业调度的技术领域，更具体地，涉及一种基于Hadoop平台的电力数据作业调度方法。包括如下步骤：S1、提交任务并初始化等待队列；S2、确定当前任务，判断当前任务的类型，将当前任务分配到步骤S1中相应类型的队列中；S3、判断节点类型，并从任务队列中取出与节点相应类型的任务；S4、判断有没有慢任务，如果有慢任务就在另一个节点上备份任务并执行，如果没有慢任务就让其继续执行下去。利用剩余时间算法、资源分类策略，使得Hadoop在调度任务时，节点的平均负载得到有效降低，完成任务的平均速度提高，部分节点的负载压力得到缓解，有效的解决了节点资源负载均衡问题。

【技术实现步骤摘要】
一种基于Hadoop平台的电力数据作业调度方法
本专利技术涉及电力数据作业调度的
，更具体地，涉及一种基于Hadoop平台的电力数据作业调度方法。
技术介绍
随着数字信息化时代的迅猛发展，信息量也呈爆炸式增长。作为基础能源支撑体系，中国电力系统中的数据量也在不断的增加，中国的电力系统已经成为了世界上最大规模的关系国计民生的专业物联网。为智能电网服务的电力通信网每时每刻都在生成海量的运维数据，并且随着电力通信网的扩大将生产更多运维数据，为了有效发掘利用电力通信网中的海量运维数据，目前普通数据库技术力有未逮，需要采用新的数据处理技术如分布式云计算平台对上述数据进行有效的清洗、处理和分析。Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。Hadoop大数据计算平台能够对海量数据进行分布式的处理，利用多个节点解决单节点的数据储存、计算局限等，现在已经成为时下最流行的大数据处理平台之一。Hadoop2.0中引入了Yarn架构，它是一个通用的资源调度框架，为上层的服本文档来自技高网...

【技术保护点】
一种基于Hadoop平台的电力数据作业调度方法，其特征在于，包括如下步骤：S1、提交任务并初始化等待队列；S2、确定当前任务，判断当前任务的类型，将当前任务分配到步骤S1中相应类型的队列中；S3、判断节点类型，并从任务队列中取出与节点相应类型的任务；S4、判断有没有慢任务，如果有慢任务就在另一个节点上备份任务并执行，如果没有慢任务就让其继续执行下去。

【技术特征摘要】
1.一种基于Hadoop平台的电力数据作业调度方法，其特征在于，包括如下步骤：S1、提交任务并初始化等待队列；S2、确定当前任务，判断当前任务的类型，将当前任务分配到步骤S1中相应类型的队列中；S3、判断节点类型，并从任务队列中取出与节点相应类型的任务；S4、判断有没有慢任务，如果有慢任务就在另一个节点上备份任务并执行，如果没有慢任务就让其继续执行下去。2.根据权利要求1所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S1具体包括：S11、用户在客户端中选取要执行的作业，并将它提交到等待队列W＝{wi}中，其中wi为等待队列内元素，i＝1，2，…，N，其中，N为等待队列内元素总个数。3.根据权利要求2所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S2具体包括：S21、从W＝{wi}中取出当前任务T，计算该任务的输入数据的总量σin和任务的输出数据总量σout；计算当前任务完成时间τfinish，通过公式(σin+σout)/τfinish计算出此时任务的I/O速度；S22、若此时任务的I/O速度满足大于磁盘I/O速度，即(σin+σout)/τfinish＞vI/O时，则判断为I/O密集型的任务，加入I/O密集型队列O＝{pi}，其中，vI/O为磁盘I/O速度，O＝{pi}为I/O密集型队列,pi为I/O密集型队列内元素,i＝1，2，…，M，其中，M为I/O密集型队列内元素总个数；若此时任务的I/O速度满足小于磁盘I/O速度...

【专利技术属性】
技术研发人员：林斌，曾瑛，李星南，施展，朱文红，汪莹，
申请(专利权)人：广东电网有限责任公司电力调度控制中心，
类型：发明
国别省市：广东,44