一种资源分配方法、相关设备及系统技术方案

本发明专利技术实施例公开了一种计算资源分配方法、相关设备及基于映射/归约MapReduce的分布式系统，系统包括管理节点和目标计算节点，其中：管理节点用于获取M个计算任务并根据M个计算任务的数据大小建立资源评估模型；将M个计算任务中的部分计算任务和资源评估模型的信息发送给目标计算节点；目标计算节点用于接收管理节点发送的部分计算任务和资源评估模型的信息；在执行目标任务的每个计算阶段前将计算阶段的输入数据代入到资源评估模型以计算计算阶段所需要的计算资源的资源大小；通过预设资源池中该资源大小的计算资源计算输入数据。采用本发明专利技术，能够提高计算资源的利用率。

【技术实现步骤摘要】
一种资源分配方法、相关设备及系统
本专利技术涉及计算机
，尤其涉及一种资源分配方法、相关设备及系统。
技术介绍
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，能够对大量数据进行分布式处理。其核心设计是分布式文件系统(英文：HadoopDistributedFileSystem，简称：HDFS)和映射/归约MapReduce编程模型。HDFS为海量数据提供了存储，而MapReduce为海量数据提供了计算。通常情况下，Hadoop的MapReduce处理一组输入的键值对(key/valuepairs)，经过用户指定的MapReduce函数处理后，最终输出一组键值对。MapReduce实际上定义了Map函数接口和Reduce函数接口，Map函数用于转化输入记录得到中间结果，Reduce函数用于将中间结果转化到最终结果。因此用户可以很简单的通过参数指定Map函数和Reduce函数来对数据进行计算。如图1所示，图中的映射任务(Maptask)由该Map函数实现，图中的归约任务(Reducetask)由该Reduce函数实现。DREAMS是一个扩展了另一种资源协调者(英本文档来自技高网...

【技术保护点】
一种基于映射/归约MapReduce的分布式系统，其特征在于，所述系统包括管理节点和目标计算节点，其中：所述管理节点用于获取M个计算任务并根据所述M个计算任务的数据大小建立资源评估模型；将所述M个计算任务中的部分计算任务和所述资源评估模型的信息发送给目标计算节点，所述部分计算任务中的每个计算任务需要经过P个计算阶段计算，M大于1，P大于1；所述目标计算节点用于接收所述管理节点发送的所述部分计算任务和所述资源评估模型的信息；根据所述资源评估模型的信息得到所述资源评估模型，在执行目标任务的每个计算阶段前将所述计算阶段的输入数据代入到所述资源评估模型以计算所述计算阶段所需要的计算资源的资源大小；通过...

【技术特征摘要】
1.一种基于映射/归约MapReduce的分布式系统，其特征在于，所述系统包括管理节点和目标计算节点，其中：所述管理节点用于获取M个计算任务并根据所述M个计算任务的数据大小建立资源评估模型；将所述M个计算任务中的部分计算任务和所述资源评估模型的信息发送给目标计算节点，所述部分计算任务中的每个计算任务需要经过P个计算阶段计算，M大于1，P大于1；所述目标计算节点用于接收所述管理节点发送的所述部分计算任务和所述资源评估模型的信息；根据所述资源评估模型的信息得到所述资源评估模型，在执行目标任务的每个计算阶段前将所述计算阶段的输入数据代入到所述资源评估模型以计算所述计算阶段所需要的计算资源的资源大小；通过预设资源池中所述资源大小的计算资源计算所述输入数据，所述目标任务为所述部分计算任务中的任意一个计算任务。2.根据权利要求1所述的系统，其特征在于：所述管理节点还用于向所述计算节点发送为所述部分计算任务中每个计算任务分配的初始计算资源的信息；所述目标计算节点还用于接收为所述每个计算任务分配的初始计算资源的信息，并将为所述每个计算任务分配的初始计算资源注册到所述资源池中供使用。3.根据权利要求1或2所述的系统，其特征在于，所述目标计算节点通过预设资源池中所述资源大小的计算资源计算所述输入数据，具体为：将所述资源大小代入预设优先级算法计算所述每个计算阶段的优先级并判断所述计算阶段的优先级是否高于预设优先级阈值，所述优先级用于体现所述计算阶段的重要性；或者判断所述资源大小是否不大于预设资源池中剩余的计算资源的数量；若是，则通过所述资源池中所述资源大小的计算资源计算所述输入数据。4.根据权利要求1～3任一项所述的系统，其特征在于，所述计算节点还用于在计算完所述输入数据后向所述资源池释放所述资源大小的计算资源。5.根据权利要求1～4任一项所述的系统，其特征在于，所述任务大小包括数据量大小、覆盖深度和记录数中至少一项。6.根据权利要求1～5任一项所述的系统，其特征在于，所述计算任务包括映射map任务，或者归约reduce任务。7.根据权利要求1～6任一项所述的系统，其特征在于，所述资源评估模型用于根据输入数据的大小评估出计算所述输入数据所需计算资源的资源大小，当Cmax＞Cref*R/R_ref＞Cmin时，Cnew＝[Cref*R/R_ref]；当Cref*R/R_ref≥Cmax时，Cnew＝Cmax；当Cref*R/R_ref≤Cmin时，Cnew＝Cmin；Cnew为评估出的所述计算资源的资源大小，Cmax为预先配置的所述资源大小可取的上限值，Cmin为预先配置的所述资源大小可取的下限值，Cref为预先配置的所述资源大小的平均值，Rref等于所述M个计算任务的任务大小除以M得到的任务大小平均值，R为所述输入数据的大小，[Cref*R/R_ref]表示对Cref*R/R_ref取整。8.一种管理节点，其特征在于，所述管理节点为基于映射/归约MapReduce的分布式系统中的管理节点，所述管理节点包括：获取单元，用于获取M个计算任务并根据所述M个计算任务的数据大小建立资源评估模型；发送单元，用于将所述M个计算任务中的部分计算任务和所述资源评估模型的信息发送给目标计算节点，所述部分计算任务中的每个计算任务需要经过P个计算阶段计算，M大于1，P大于1；所述目标计算节点用于根据所述资源评估模型的信息得到所述资源评估模型，并在执行目标任务的每个计算阶段前将所述计算阶段的输入数据代入到所述资源评估模型以计算所述计算阶段所需要的计算资源的资源大小；所述目标计算节点还用于通过预设资源池中所述资源大小的计算资源计算所述输入数据，所述目标任务为所述部分计算任务中的任意一个计算任务，所述目标计算节点为所述基于MapReduce的分布式系统中的计算节点。9.根据权利要求8所述的管理节点，其特征在于，所述发送单元还用于向所述计算节点发送为所述部分计算任务中每个计算任务分配的初始计算资源的信息，以使所述计算节点将为所述每个计算任务分配的初始计算资源注册到所述资源池中供使用。10.根据权利要求8或9所述的管理节点，其特征在于，所述任务大小包括数据量大小、覆盖深度和记录数中至少一项。11.根据权利要求8～10任一项所述的管理节点，其特征在于，所述计算任务包括映射map任务，或者归约reduce任务。12.根据权利要求8～11任一项所述的管理节点，其特征在于，所述资源评估模型用于根据输入数据的大小评估出计算所述输入数据所需计算资源的资源大小，当Cmax＞Cref*R/R_ref＞Cmin时，Cnew＝[Cref*R/R_ref]；当Cref*R/R_ref≥Cmax时，Cnew＝Cmax；当Cref*R/R_ref≤Cmin时，Cnew＝Cmin；Cnew为评估出的所述计算资源的资源大小，Cmax为预先配置的所述资源大小可取的上限值，Cmin为预先配置的所述资源大小可取的下限值，Cref为预先配置的所述资源大小的平均值，Rref等于所述M个计算任务的任务大小除以M得到的任务大小平均值，R为所述输入数据的大小，[Cref*R/R_ref]表示对Cref*R/R_ref取整。13.一种目标计算节点，其特征在于，所述目标计算节点为基于映射/归约MapReduce的分布式系统中的计算节点，所述目标计算节点包括：接收单元，用于接收所述管理节点发送的部分计算任务和资源评估模型的信息；所述管理节点为所述基于MapReduce的分布式系统中的管理节点，所述管理节点用于获取M个计算任务并根据所述M个计算任务的任务大小建立所述资源评估模型，所述部分计算任务为所述M个计算任务中的计算任务；所述部分计算任务中的每个计算任务需要经过P个计算阶段计算，M大于1，P大于1；计算单元，用于根据所述资源评估模型的信息得到所述资源评估模型，并在执行目标任务的每个计算阶段前将所述计算阶段的输入数据代入到所述资源评估模型，计算所述计算阶段所需要的计算资源的资源大小；处理单元，用于通过预设资源池中所述资源大小的计算资源计算所述输入数据，所述目标任务为所述部分计算任务中的任意一个计算任务。14.根据权利要求13所述的目标计算节点，其特征在于，所述接收单元还用于接收所述管理节点发送的为所述部分计算任务中每个计算任务分配的初始计算资源的信息，并将为所述每个计算任务分配的初始计算资源注册到所述资源池中供使用。15.根据权利要求13或14所述的目标计算节点，其特征在于，所述处理单元具体用于：将所述资源大小代入预设优先级算法计算所述每个计算阶段的优先级并判断所述计算阶段的优先级是否高于预设优先级阈值，所述优先级用于体...

【专利技术属性】
技术研发人员：黄国位，邓利群，魏建生，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44