【技术实现步骤摘要】
一种面向大数据的分布式任务调度方法及Hadoop集群
本专利技术属于大数据相关领域，涉及一种面向大数据中心异构集群的调度方法。
技术介绍
近年来，随着互联网产业的飞速发展，从电子商务领域到电子科学研究领域，都有许多应用基于高性能计算或实验设备并且正在生成大量的数据，例如：在物联网方面，传感器、人们穿戴的便携式设备与移动设备无时无刻的在产生数据，在网上购物时的浏览记录与消费习惯也会被网站后台程序所分析产生大量的用户特征信息，通讯过程中产生的大量缓存文件，这些音频、视频与文本文件也会产生大量的数据，以及社交网络中记录用户信息的日志文件，也都是以GB或TB的大小来计量数据规模的，这些各个领域所产生的大量的可用数据，就是常说的“大数据”。为了处理和分析这些数据，常见的方法就是，分布式计算框架与弹性计算资源的分配，框架本身允许处理各种数据与可执行程序，通常称之为应用程序或者作业，在过去的一段时间里，有很多类似的大数据处理框架被研发与应用到工程
，其中应用最为广泛的是Apache的开源旗舰项目Hadoop，通常在大数据中应用类似于Hadoop等生态系统处理类似规模的数据...
【技术保护点】
1.一种面向大数据的分布式任务调度方法，其特征在于，方法包括：步骤一，收集历史数据，该历史数据中包含至少一个作业和每个作业完成周期内各工作节点的实时节点属性，所述节点属性包括CPU可用资源、内存可用资源、硬盘的可用资源、节点的可用带宽资源；步骤二，针对每个作业构建资源可用矩阵和任务资源需求矩阵，并针对每个作业的资源可用矩阵和任务资源需求矩阵构建任务分配方案：对于任一作业A，执行Step1‑4：Step1，针对作业A构建资源可用矩阵和任务资源需求矩阵，所述资源可用矩阵由作业A完成周期内各工作节点的最初节点属性构成，所述任务资源需求矩阵由作业A中各任务的任务信息构成，所述任务信...
【技术特征摘要】
1.一种面向大数据的分布式任务调度方法，其特征在于，方法包括：步骤一，收集历史数据，该历史数据中包含至少一个作业和每个作业完成周期内各工作节点的实时节点属性，所述节点属性包括CPU可用资源、内存可用资源、硬盘的可用资源、节点的可用带宽资源；步骤二，针对每个作业构建资源可用矩阵和任务资源需求矩阵，并针对每个作业的资源可用矩阵和任务资源需求矩阵构建任务分配方案：对于任一作业A，执行Step1-4：Step1，针对作业A构建资源可用矩阵和任务资源需求矩阵，所述资源可用矩阵由作业A完成周期内各工作节点的最初节点属性构成，所述任务资源需求矩阵由作业A中各任务的任务信息构成，所述任务信息包括完成任务需要的CPU资源、内存资源、硬盘资源以及数据传输的带宽资源；Step2，对资源可用矩阵进行聚类，得到k个节点虚拟集群；对任务资源需求矩阵进行聚类，得到k个任务虚拟集群，k为大于等于1的自然数；Step3，建立k个节点虚拟集群与k个任务虚拟集群之间的映射关系形成映射方案，计算该映射方案下的任务完成时间；Step4，k＝k+1，重复执行步骤Step2和3，当k＝K+1时执行Step5，K为大于1的自然数；Step5，选取作业A任务完成时间最短的k值kA′，kA′对应的映射方案为任务分配方案。2.如权利要求1所述的面向大数据的分布式任务调度方法，其特征在于，所述资源可用矩阵中同一工作节点的节点属性位于同一行，并且资源可用矩阵中同一列的节点属性类别唯一，或者，所述资源可用矩阵中同一工作节点的节点属性位于同一列，并且资源可用矩阵中同一行的节点属性类别唯一；所述任务资源需求矩阵的列向量或行向量中的节点属性类别与资源可用矩阵中的列向量或行向量中的节点属性类别相同。3.如权利要求1所述的面向大数据的分布式任务调度方法，其特征在于，方法还包括：Step5，收集新作业，获取该新作业输入时的各工作节点的节点...
【专利技术属性】
技术研发人员：吴奇石，李如霞，许明睿，侯爱琴，严丽容，乔芮敏，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。