聚簇数据格网中的可扩展集中动态资源分配制造技术

描述了一种集中式资源分配，其中在聚簇节点之间分割数据的决定部分被集中，而实施分割的实际机构保留分布式算法。使用中央分配协调器来产生可扩展中央策略，其控制数据将如何在聚簇上被分割。根据分布式算法，实施该策略的工作由所有成员独立且非同步地执行。中央策略可传输到所有聚簇成员，每个成员能执行分割，只要涉及其本身。例如，根据分布式算法，一个节点可根据中央策略而决定它需要获得特定分割部，并且执行不要的步骤以获得该数据，而另一些节点可以非同步地执行与那些特定节点相关的其他个体分割部的转移。

【技术实现步骤摘要】
【国外来华专利技术】聚簇数据格网中的可扩展集中动态资源分配版权声明本专利文献公开的一部分包含受到版权保护的内容。版权所有者不反对任何人对本专利文献或专利公开进行传真复印，只要它出现在专商局专利文件或记录中，但是在其他情况下，保留任何所有版权。
本专利技术涉及分布式计算环境中的数据高速缓存技术，更特别地，涉及在聚簇网络的成员之间分割数据。
技术介绍
分布式计算和分布式算法已经由于增大的性能和承载能力、高可用性和失效转移（failover）、以及更快的数据访问而广泛流行于各种情境中。分布式计算一般涉及彼此通信以解决任务（诸如执行应用，解决复杂的计算问题，或者向用户提供到各种服务的接入）的多个自治计算机（也称为节点）。每个计算机节点一般包括其自身的一个或多个处理器、存储器、以及到其他节点的通信链路。计算机可以位于特定位置（例如，聚簇网络）中，或者可以通过大面积网络（LAN）诸如因特网而被连接。在很多情况中，分布式计算机使用消息来彼此通信以及协调任务处理和数据管理。数据管理是分布式计算中的重要问题。在聚簇网络的情境中，大数据集可以在聚簇的各个节点之间分割。每个节点通常储存多个这样的分割部（整个数据集的子部（subpart））并且对分割部执行事务。在许多情况下，分割部包括在成员之间分配的数据的主拷贝和备份拷贝以用于失效转移。数据以此分割方式的分配能改善易管理性、性能和信息可用性。数据在该情境下的理想分配受到许多限制和问题的影响。例如，将数据从一个服务器移动到另一服务器需要耗费时间和/或处理器能力。出于高可用性的原因，通常优选将数据的主拷贝和备份拷贝定位在物理不同的机器上。此外，出于性能、扩缩性和容量的原因，通常优选在可用的储存服务器之间在一定程度上均等地平衡数据分配，并且当从聚簇增加或去除节点时调整该分配。在一些使用情况下，可能期望进一步的应用特定的偏好。例如，指定特定数据集应位于特定服务器上在某些情况下可能是有用的。此外，可能期望指定分配应使用运行时（runtime）反馈和输入以将数据安置于节点成员中。根据上述内容，需要一种简单有效的方式来解决全部或许多数据分配问题并且在分布式聚簇成员之间优化分割部的平衡。
技术实现思路
根据本专利技术的各种实施例，在聚簇节点之间分割数据的决策部分可以被集中，而实施分割的实际机构可保留分布式算法。中央分配协调器可执行集中逻辑或算法（策略），其生成分配计划。分配计划控制跨整个聚簇将分割多少数据。根据分布式算法，实施该分配计划的工作由所有成员独立且非同步地执行。分配计划可以传输到聚簇的所有成员，然后每个成员执行仅涉及其本身的分割。例如，根据分布式算法，一个节点可根据分配计划确定它需要获得特定分割部，并且执行必要的步骤来获得该数据，而另一些节点可以非同步地执行与那些特定节点相关的其他单独分割部的传输。以此方式，可防止单个协同点导致的瓶颈，同时实现数据分配的集中管理和控制。附图说明图1是根据本专利技术各种实施例的在聚簇中实施的可扩展集中资源分配的图示。图2是根据本专利技术各种实施例的由聚簇中的节点实施的分配计划的图示。图3是根据本专利技术各种实施例的提供集中资源分配的过程的流程图。图4是根据本专利技术各种实施例的由分配协调器执行的过程的流程图。图5是根据本专利技术各种实施例的由聚簇中的节点执行的过程的流程图。具体实施方式聚簇数据格网的功能之一在于维护和实现数据储存分割部在各聚簇成员（节点）之间的分配。在此情境下，分配可视为数据的主拷贝和备份拷贝二者在提供数据储存的给定聚簇成员服务器上的安置。跨聚簇实施数据分割的一种方式是通过实施分布式算法，其中每个储存服务器独立地确定是否将其拥有的分割部移动到另一服务器或者从另一服务器获得分割部。作为示例，聚簇的数据集可最初包括256个主分割部（具有对应的256个备份分割部），其最终跨两个聚簇成员（节点）分配，每个成员储存128个主分割部和128个备份分割部。如果第三成员加入到聚簇，则成员将在彼此之间重新分配分割部，使得每个节点将储存85个分割部，节点之一储存86个。例如，新加入的成员节点能请求聚簇中的另外两个节点中的每一个传输43个分割部到新节点。替选地，另外两个节点可以确定新成员已经加入到聚簇并且独立地传输分割部到新节点。这种使用分布式算法来分派分割部的自治且分离的方案提供许多优点，包括更好的扩缩性，消除单个失效点等。然而，也变得更难以实施复杂的分配策略，因为成员节点关于分割部转移作出独立决定。例如，可能期望根据更加动态和复杂的因素来分配分割部，诸如特定分割部可能会被多频繁地访问，特定成员节点上的当前处理负载和每个节点的CPU/存储器能力。此外，可能出于高可用性和失效转移的原因而期望以更复杂和优化的方式来协调主分割部和备份分割部的布置。根据各种实施例，描述一种方案，其中各个分割部的转移被点对点地执行（作为发送节点和接收节点之间的直接但非同步通信的结果），但是允许单个协调点（分配协调器）。该单个协调点提供聚簇的全局状态，包括当前分配（数据拥有者）以及动态运行时反馈，诸如在给定时间点处聚簇中的每个节点上的处理负载。在单个点处具有系统的全局概观的能力允许比分布式算法的比较方案远更具表达性的分配逻辑。根据一实施例，聚簇中的每个服务器节点不经常地将分配状态传输到分配协调器。分配协调器收集该信息并且周期性地（或者作为成员变动的结果）调用所配置的分配策略来分析该分配。此外，可以提供到可插入逻辑（策略）的接口，其提供到当前分配状态的策略访问，且被策略用于建议分割部在可用服务器节点之间的新分配（布置）。根据一实施例，分配协调器将分配策略作出的建议收集到总分配计划或目标中。计划被传输到聚簇中的所有节点。之后，每个服务器开始各个分割部传输（数据移动）以实现新分配计划。根据各种实施例，可扩展集中分配还能形成各种附加特征的基础。例如，适应性分配允许聚簇动态适应应用负载或数据分配的波动。此外，集中分配能对于WAN安全聚簇是有用的。图1是根据本专利技术各种实施例的在聚簇中实施可扩展集中资源分配的图示。尽管该图描绘了逻辑分离的组件，但是这种绘示仅用于说明。本领域技术人员将意识到，此图中描绘的组件可以组合或划分为单独的软件、固件和/或硬件。此外，本领域技术人员将意识到，这些组件能在同一计算设备上运行或者能分布在通过一个或更多网络或其他通信手段连接的不同计算设备之间，而与这些组件如何组合或划分无关。如图所示，聚簇包括多个节点（100、101、102、103），其储存遍布其分配的数据分割部（110、111、112、113、114、115、116）。聚簇中的节点之一100被指定为中央分配协调器104。根据一实施例，分配协调器周期性地基于多个因素重新评估分割部跨聚簇的分配（布置），并且确定是否需要对其进行改变。例如，分配协调器能根据每个节点上的当前请求负载，特定分割部可能被多频繁地访问和/或节点的CPU和存储器能力来评估分割部安置。类似地，中央分配协调器104能用于执行更复杂的主分割部相对于备份分割部的分配。例如，对于特定节点上的所有主分割部，分配协调器能确保与那些主分割部相关联的备份分割部不分配在大量节点上。通常优选的是，为了失效转移，备份分割部置于和与之相关联的主分割部不同的物理节点上。然而，当主分割部被更新时，其备份分割部本文档来自技高网...

【技术保护点】
一种计算机实施的用于提供可扩展集中式动态资源分配的方法，该方法包括：储存数据集的多个分割部，所述多个分割部被分配在计算机节点的聚簇上；指定所述计算机节点中的一个节点作为中央分配协调器，该中央分配协调器收集指示所述聚簇的全局状态的信息并且提供对所述全局状态的访问；所述分配协调器周期性地分析所述聚簇的全局状态以确定是否应对所述分割部在所述计算机节点中的分配进行改变；所述分配协调器基于对所述分割部的分配的改变产生新分配计划，并且向所述计算机节点的聚簇中的所有计算机节点提供对所述分配计划的访问；以及采用分布式算法来由所述聚簇中的每个节点独立地确定如何执行与所述节点相关联的各个分割部的转移以实施所述新分配计划。

【技术特征摘要】
【国外来华专利技术】2011.05.16 US 61/486,701;2011.09.21 US 13/239,2531.一种计算机实施的用于提供可扩展集中式动态资源分配的方法，该方法包括：储存数据集的多个分割部，所述多个分割部被分配在计算机节点的聚簇上；指定所述计算机节点中的一个节点作为中央分配协调器，该中央分配协调器收集指示所述聚簇的全局状态的信息并且提供对所述全局状态的访问；通过所述分配协调器周期性地或者响应于聚簇中的成员变动分析所述聚簇的全局状态以确定是否应对所述分割部在所述计算机节点中的分配进行改变；通过所述分配协调器基于对所述分割部的分配的改变产生新分配计划，并且向所述计算机节点的聚簇中的所有计算机节点提供对所述分配计划的访问；以及通过如下方式由所述聚簇中的每个计算机节点独立地确定是否执行与所述计算机节点相关联的各个分割部的转移以实施所述新分配计划：检查所述新分配计划，并且确定所述新分配计划是否指定了与所述计算机节点相关的改变，并且如果所述新分配计划指定了与所述计算机节点相关的改变，则执行以下之一或两者：开始从其它计算机节点到所述计算机节点的分割部的转移，或者开始从所述计算机节点到其它计算机节点的分割部的转移。2.根据权利要求1的方法，其中通过所述分配协调器周期性地或者响应于聚簇中的成员变动分析所述全局状态以确定是否应对所述分割部的分配进行改变进一步包括：所述分配协调器调用可插入分配逻辑模块，其中所述可插入分配逻辑模块能在运行时被切换以调节用于在所述计算机节点的聚簇中分配所述分割部的算法。3.根据权利要求1或2的方法，其中采用分布式算法进一步包括：在所述计算机节点的聚簇中的两个计算机节点之间点对点地执行各个分割部的转移，所述转移是发送节点和接收节点之间的直接非同步通信的结果，其中所述分配协调器不参与指引所述分割部的转移。4.根据权利要求1或2的方法，其中所述聚簇的全局状态包括指示所述分割部中的哪些被分配给所述聚簇中的各个计算机节点的信息。5.根据权利要求1或2的方法，其中所述聚簇的全局状态包括指示所述聚簇中的每个计算机节点上的当前处理负载的信息，其中所述当前处理负载通过所述每个计算机节点周期性地发送运行时反馈统计数据到所述分配协调器来确定。6.根据权利要求1或2的方法，其中所述聚簇的全局状态包括指示所述聚簇中的每个计算机节点的存储器能力和处理器能力的信息。7.根据权利要求1或2的方法，其中所述多个分割部进一步包括一组主分割部和一组备份分割部，其中所述分配协调器确保每个主分割部位于与该主分割部所关联的备份分割部不同的物理节点上。8.根据权利要求7的方法，其中所述分配协调器产生的新分配计划实施下列限制：对于每个给定计算机节点，允许有限数量的计算机节点包含与位于所述给定计算机节点上的主分割部相关联的备份分割部。9.根据权利要求1或2的方法，其中所述分配协调器为所述分割部在所述聚簇的计算机节点中的分配提供单个协调点。10.根据权利要求1或2的方法，其中所述新分配计划指明特定分割部应位于所述聚簇中的指定计算机节点上。11.一种用于提供可扩展集中式动态资源分配的装置，包括一个或多个计算机，所述一个或多个计算机配置成执行权利要求1至10中的任一项的方法的所有步骤。12.一种用于提供可扩展集中式动态资源分配的系统，该系统包括：计算机节点的聚簇，储存数据集的多个分割部，所述分割部分配在所述计算机节点的聚簇上；以及选自所述计算机节点的分配协调器，所述分配协调器收集指示所述聚簇的全局状态的信息，周期性地或者响应于聚簇中的成员变动分析所述全局状态以确定是否应对所述分割部在所述计算机节点中的分配进行改变，根据所述改变产生新分配计划，以及向所述计算机节点的聚簇中的所有计算机节点提供对所述分配计划的访问；其中所述聚簇中的每个计算机节点通过如下方式独立地确定是否执行与所述计算机节点相关联的各个分割部的转移以实施由所述分配协调器产生的所述新分配计划：检查所述新分配计划，并且确定所述新分配计划是否指定了与所述计算机节点相关的改变，并且如果所述新分配计划指定了与所述计算机节点相关的改变，则执行以下之一或两者：开始从其它计算机节点到所述计算机节点的分割部的转移，或者开始从所述计算机节点到其它计算机节点的分割部的转移。13.一种用于提供可扩展集中式动态资源分配的方法，该方法包括：储存数据集的多个分割部，所述多个分割部被分配在计算机节点的聚簇上；由分配协调器周期性地或者响应于聚簇中的成员变动分析所述聚簇的全局状态以确定是否应对所述分割部在所述计算机节点中的分配进行改变，所述分配协调器是所述计算机节点...

【专利技术属性】
技术研发人员：R·H·李，G·格莱泽，M·法尔科，C·普尔蒂，
申请(专利权)人：甲骨文国际公司，
类型：
国别省市：