本申请公开了一种多级联邦YARN集群的资源分配方法、装置、设备及介质，应用于联邦集群，包括：当接收到客户端所发送的目标资源请求时，则将联邦集群中能够满足目标资源请求且能提供最低计算资源的多级联邦集群设置为本地联邦集群；判断本地联邦集群是否能够完成目标资源请求；若是，则结束进程；若否，则确定本地联邦集群向目标资源请求实际提供计算资源与目标资源请求期望提供计算资源之间的目标差值资源，并根据目标差值资源在联邦集群中选取多级联邦集群或一级联邦集群，以完成目标资源请求。通过该方法就可以使得用户能够对大规模YARN集群中的计算资源进行灵活调度与分配，这样就可以显著提高用户在使用YARN集群时的用户体验。用户体验。用户体验。
【技术实现步骤摘要】
一种多级联邦YARN集群的资源分配方法、装置、设备
[0001]本专利技术涉及服务器
，特别涉及一种多级联邦YARN集群的资源分配方法、装置、设备及介质。
技术介绍
[0002]YARN是一种新的Hadoop资源管理器，它可以为上层应用提供统一的资源管理和调度，所以，YARN为用户的集群资源管理和数据共享等方面提供了极大的便利。在现有技术中，通常会将两个YARN集群级联为一个一级联邦集群，并为用户提供相应的调度策略来对一级联邦集群中的计算资源进行调度。但是，由于一级联邦集群能够容纳的计算节点数量有限，已经远远不能满足用户的资源调度需求，这样就会降低用户在使用YARN集群时的用户体验。目前，针对这一技术问题，还没有较为有效的解决办法。
[0003]由此可见，如何提供一种具有更大数量规模的YARN集群，并使得用户能够对大规模YANR集群中的计算资源进行灵活调度，是本领域技术人员亟待解决的技术问题。
技术实现思路
[0004]有鉴于此，本专利技术的目的在于提供一种多级联邦YARN集群的资源分配方法、装置、设备及介质，以使得用户能够对大规模YARN集群中的计算资源进行灵活调度。其具体方案如下：
[0005]一种多级联邦YARN集群的资源分配方法，应用于联邦集群，所述联邦集群包括多个相互级联的多级联邦集群，所述多级联邦集群包括多个相互级联的一级联邦集群，所述一级联邦集群由两个YARN集群级联组成；包括：
[0006]当接收到客户端所发送的目标资源请求时，则将所述联邦集群中能够满足所述目标资源请求且能提供最低计算资源的多级联邦集群设置为本地联邦集群；
[0007]判断所述本地联邦集群是否能够完成所述目标资源请求；
[0008]若是，则结束进程；
[0009]若否，则确定所述本地联邦集群向所述目标资源请求实际提供计算资源与所述目标资源请求期望提供计算资源之间的目标差值资源，并根据所述目标差值资源在所述联邦集群中选取多级联邦集群或一级联邦集群，以完成所述目标资源请求。
[0010]优选的，还包括：
[0011]利用数组[x,y,z]确定所述客户端；其中，x为目标YARN集群在所述联邦集群中的深度，所述联邦集群的深度为0，所述多级联邦集群的深度为1，所述一级联邦集群的深度为2，y为所述目标YARN集群在级联集群内的位置序号，z为所述目标YARN集群的资源分配策略，所述目标YARN集群为所述联邦集群中的任意一个YARN集群。
[0012]优选的，所述将所述联邦集群中能够满足所述目标资源请求且能提供最低计算资源的多级联邦集群设置为本地联邦集群的过程，包括：
[0013]筛选所述联邦集群中能够满足所述目标资源请求的多级联邦集群，得到多级联邦
集群集合；
[0014]基于资源计算模型确定所述多级联邦集群集合中每一个多级联邦集群能够向所述联邦集群提供的计算资源，得到目标资源集合；
[0015]筛选所述目标资源集合中的最低计算资源，得到目标计算资源；
[0016]将与所述目标计算资源相对应的多级联邦集群设置为所述本地联邦集群；
[0017]其中，所述资源计算模型的数学表达式为：
[0018]avg(R)＝P*Q；
[0019]式中，P为目标多级联邦集群向所述联邦集群承诺提供的计算资源，Q为所述目标多级联邦集群的可信度，R为所述目标多级联邦集群在当前时刻能够向所述联邦集群所能提供的计算资源，所述目标多级联邦集群为所述联邦集群中的任意一个多级联邦集群。
[0020]优选的，所述结束进程的过程之后，还包括：
[0021]按照预设规则对所述本地联邦集群的Q进行提高。
[0022]优选的，所述确定所述本地联邦集群为所述目标资源请求实际提供计算资源与期望提供计算资源之间的目标差值资源的过程之后，还包括：
[0023]按照正相关规则根据所述目标差值资源对所述本地联邦集群的Q进行降低。
[0024]优选的，所述根据所述目标差值资源在所述联邦集群中选取多级联邦集群或一级联邦集群，以完成所述目标资源请求的过程，包括：
[0025]步骤S101：根据所述目标差值资源在所述联邦集群中选取能够提供所述目标差值资源的YARN集群；若选取得到筛选一级联邦集群，则执行步骤S102；若选取得到筛选多级联邦集群，则执行步骤S103；
[0026]步骤S102：在所述筛选一级联邦集群中分配所述目标差值资源；
[0027]步骤S103：判断所述筛选多级联邦集群是否能够完成所述目标资源请求；若是，则执行步骤S104；若否，则执行步骤S105；
[0028]步骤S104：结束进程；
[0029]步骤S105：确定所述筛选多级联邦集群为所述目标资源请求实际提供计算资源与目标差值资源之间的第一差值资源，将所述目标差值资源更新为所述第一差值资源，并重新执行步骤S101，直至进程结束。
[0030]相应的，本专利技术还公开了一种多级联邦YARN集群的资源分配装置，应用于联邦集群，所述联邦集群包括多个相互级联的多级联邦集群，所述多级联邦集群包括多个相互级联的一级联邦集群，所述一级联邦集群由两个YARN集群级联组成；包括：
[0031]请求接收模块，用于当接收到客户端所发送的目标资源请求时，则将所述联邦集群中能够满足所述目标资源请求且能提供最低计算资源的多级联邦集群设置为本地联邦集群；
[0032]请求判断模块，用于判断所述本地联邦集群是否能够完成所述目标资源请求；
[0033]第一执行模块，用于当所述请求判断模块的判定结果为是时，则结束进程；
[0034]第二执行模块，用于当所述请求判断模块的判定结果为否时，则确定所述本地联邦集群向所述目标资源请求实际提供计算资源与所述目标资源请求期望提供计算资源之间的目标差值资源，并根据所述目标差值资源在所述联邦集群中选取多级联邦集群或一级联邦集群，以完成所述目标资源请求。
[0035]相应的，本专利技术还公开了一种多级联邦YARN集群的资源分配设备，包括：
[0036]存储器，用于存储计算机程序；
[0037]处理器，用于执行所述计算机程序时实现如前述所公开的一种多级联邦YARN集群的资源分配方法的步骤。
[0038]相应的，本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述所公开的一种多级联邦YARN集群的资源分配方法的步骤。
[0039]可见，在本专利技术中，是预先将两个YARN集群进行级联组成一个一级联邦集群，然后，再将多个一级联邦集群进行级联组成一个多级联邦集群，最后，再将多个多级联邦集群进行级联组成一个拥有更多计算节点的联邦集群。当联邦集群接收到客户端所发送的目标资源请求时，则将联邦集群中能够满足目标资源请求且能提供最低计算资源的多级联邦集群设置为本地联邦集群，之后，再判断本地联邦集群是否能够完成客户端所发送的目标资源请求，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多级联邦YARN集群的资源分配方法，其特征在于，应用于联邦集群，所述联邦集群包括多个相互级联的多级联邦集群，所述多级联邦集群包括多个相互级联的一级联邦集群，所述一级联邦集群由两个YARN集群级联组成；包括：当接收到客户端所发送的目标资源请求时，则将所述联邦集群中能够满足所述目标资源请求且能提供最低计算资源的多级联邦集群设置为本地联邦集群；判断所述本地联邦集群是否能够完成所述目标资源请求；若是，则结束进程；若否，则确定所述本地联邦集群向所述目标资源请求实际提供计算资源与所述目标资源请求期望提供计算资源之间的目标差值资源，并根据所述目标差值资源在所述联邦集群中选取多级联邦集群或一级联邦集群，以完成所述目标资源请求。2.根据权利要求1所述的资源分配方法，其特征在于，还包括：利用数组[x,y,z]确定所述客户端；其中，x为目标YARN集群在所述联邦集群中的深度，所述联邦集群的深度为0，所述多级联邦集群的深度为1，所述一级联邦集群的深度为2，y为所述目标YARN集群在级联集群内的位置序号，z为所述目标YARN集群的资源分配策略，所述目标YARN集群为所述联邦集群中的任意一个YARN集群。3.根据权利要求1所述的资源分配方法，其特征在于，所述将所述联邦集群中能够满足所述目标资源请求且能提供最低计算资源的多级联邦集群设置为本地联邦集群的过程，包括：筛选所述联邦集群中能够满足所述目标资源请求的多级联邦集群，得到多级联邦集群集合；基于资源计算模型确定所述多级联邦集群集合中每一个多级联邦集群能够向所述联邦集群提供的计算资源，得到目标资源集合；筛选所述目标资源集合中的最低计算资源，得到目标计算资源；将与所述目标计算资源相对应的多级联邦集群设置为所述本地联邦集群；其中，所述资源计算模型的数学表达式为：avg(R)＝P*Q；式中，P为目标多级联邦集群向所述联邦集群承诺提供的计算资源，Q为所述目标多级联邦集群的可信度，R为所述目标多级联邦集群在当前时刻能够向所述联邦集群所能提供的计算资源，所述目标多级联邦集群为所述联邦集群中的任意一个多级联邦集群。4.根据权利要求3所述的资源分配方法，其特征在于，所述结束进程的过程之后，还包括：按照预设规则对所述本地联邦集群的Q进行提高。5.根据权利要求3所述的资源分配方法，其特征在于，所述确定所述本地联邦集群为所述目标资源请求实际提供计算资源与期望提供计算资源之间的目...
【专利技术属性】
技术研发人员：秦朝阳，高艳涛，颜秉珩，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。