基于选举的节点服务器管理方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于选举的节点服务器管理方法、装置及系统，属于计算机数据处理技术领域。其中，该方法包括如下步骤：在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含节点服务器评估分值；周期性的统计所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新；根据所述节点服务器评估分值并结合选举策略，选举出管理节点服务器；所述管理节点服务器根据节点服务器评估分值并结合任务分配策略，进行任务分配。本发明专利技术公开的选举策略保证了性能最优异的节点服务器成为LEADER节点服务器，同时公开的分配策略更好地对有效节点服务器进行计算作业的分配与管理。

Election based node server management method, device and system

The invention discloses an election based node server management method, a device and a system, belonging to the technical field of computer data processing. Among them, the method comprises the following steps: registered server node information file in the memory system, the server node information file server node evaluation scores periodically; statistics the server node evaluation scores, and the scores in the evaluation of node server node server information file is updated according to the node; the server score evaluation combined with the election strategy, the election of a management server; the management node node server server according to the score evaluation combined with task allocation strategy, task allocation. The invention discloses a voting strategy to ensure that the most excellent performance server nodes become LEADER server nodes, calculate the allocation and management of operation of effective node server at the same time open distribution strategy better.

【技术实现步骤摘要】
基于选举的节点服务器管理方法、装置及系统
本专利技术涉及计算机数据处理
，尤其涉及一种基于选举的节点服务器管理方法、装置及系统。
技术介绍
随着大数据时代的来临，分布式存储系统的应用越来越广泛，随之而来的是高效利用存储数据的计算需求，同时，为了提高实时性和强可用性，需要借助专门的节点服务器来主导生成和管理计算作业，该专门的节点服务器称之为管理(LEADER)节点服务器。采用集群文件锁的方式来管理集群作业，虽然能够避免相同的计算作业被多次执行所造成的资源浪费，但是集群文件锁在使用上非常复杂并且难以管理。同时计算作业的生成需要通过LEADER节点服务器来进行管理，然而当前很多集群的LEADER节点服务器选择方法也主要以集群文件锁的方式来实现。另外，在分布式存储系统下，当前的LEADER节点服务器选择方法过于随机化，各个节点服务器的地位通常是区域平等的。但是，在各种需要LEADER节点服务器的场景下，需要更优质的节点服务器作为LEADER节点服务器，绝不是任意的节点服务器都能够作为LEADER节点服务器。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种基于选举的节点服务器管理方法、装置及系统。所述技术方案如下：一方面，提供了一种基于选举的节点服务器管理方法，包括如下步骤：在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含节点服务器评估分值；周期性的统计所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新；根据所述节点服务器评估分值并结合选举策略，选举出管理节点服务器；所述管理节点服务器根据所述节点服务器评估分值并结合任务分配策略，进行任务分配。进一步的，所述在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含节点服务器评估分值的步骤具体包括：每一个节点服务器分别在存储系统中注册各自的节点服务器信息文件，所述节点服务器信息文件包含该节点服务器的节点服务器评估分值；或者在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含所有节点服务器的节点服务器评估分值。进一步的，所述节点服务器评估分值由起始节点服务器评估分值减去损耗值得到，其中，所述起始节点服务器评估分值设置为固定值，所述损耗值根据损耗规则计算得出，所述损耗规则包括以下至少之一：当节点服务器的总CPU使用率超过预设比例时，所述总CPU使用率乘以比例系数计算得到分值并加入损耗值；当节点服务器的内存使用率超过预设比例时，所述内存使用率乘以比例系数计算得到分值并加入损耗值；节点服务器的IOWAIT值和LOAD值直接加入损耗值。进一步的，所述周期性的统计所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新的步骤具体包括：每隔固定周期同时统计所有节点服务器的所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新；或者每隔固定时间统计单个节点服务器的所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新，当对所有节点服务器的所述节点服务器评估分值统计完成后，对单个节点服务器的所述节点服务器评估分值进行下一周期的统计。进一步的，所述选举策略包括以下至少之一：最先完成信息注册的节点服务器，首先成为管理节点服务器；当旧管理节点服务器的节点服务器评估分值低于固定比例的有效节点服务器的节点服务器评估分值时，节点服务器评估分值最高的有效节点服务器当选为新管理节点服务器；当旧管理节点服务器变为无效节点服务器时，节点服务器评估分值最高的有效节点服务器当选为新管理节点服务器。进一步的，所述有效节点服务器为能够周期性更新节点服务器信息文件的节点服务器；所述无效节点服务器为不能够周期性更新节点服务器信息文件的节点服务器。进一步的，所述分配策略包括以下至少之一：所述管理节点服务器根据所述有效节点服务器的所述节点服务器评估分值与当前未完成任务数，按照所述节点服务器评估分值越高分配任务越多的原则，进行任务分配；当所述有效节点服务器变为所述无效节点服务器时，所述管理节点服务器将所述失效节点服务器承担的任务进行重新分配。另一方面，提供了一种基于选举的节点服务器管理装置，包括：注册模块，用于在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含节点服务器评估分值；统计模块，用于周期性的统计所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新；选举模块，用于根据所述节点服务器评估分值并结合选举策略，得出选举结果；任务分配模块，用于在得出所述选举结果后，根据所述节点服务器评估分值并结合任务分配策略，进行任务分配。进一步的，所述注册模块还用于：分别为每一个节点服务器在存储系统中注册各自的节点服务器信息文件，所述节点服务器信息文件包含该节点服务器的节点服务器评估分值；或者在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含所有节点服务器的节点服务器评估分值。进一步的，所述统计模块还用于计算所述节点服务器评估分值，所述统计模块将起始节点服务器评估分值减去损耗值得到所述节点服务器评估分值，其中，所述起始节点服务器评估分值设置为固定值；进一步的，所述统计模块还用于计算损耗值：当节点服务器的总CPU使用率超过预设比例时，所述统计模块将所述总CPU使用率乘以比例系数计算得到分值并加入损耗值；或者当节点服务器的内存使用率超过预设比例时，所述统计模块将所述内存使用率乘以比例系数计算得到分值并加入损耗值；或者所述统计模块将节点服务器的IOWAIT值和LOAD值直接加入损耗值。进一步的，所述统计模块还用于：每隔固定周期同时统计所有节点服务器的所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新；或者每隔固定时间统计单个节点服务器的所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新，当对所有节点服务器的所述节点服务器评估分值统计完成后，对单个节点服务器的所述节点服务器评估分值进行下一周期的统计。进一步的，所述选举模块还用于：将最先完成信息注册的节点服务器，选举为管理节点服务器；或者当旧管理节点服务器的节点服务器评估分值低于固定比例的有效节点服务器时，将节点服务器评估分值最高的有效节点服务器选举为新管理节点服务器；或者当旧管理节点服务器变为无效节点服务器时，将节点服务器评估分值最高的有效节点服务器选举为新管理节点服务器。进一步的，所述有效节点服务器为在指定时间内能够更新节点服务器信息文件的节点服务器；所述无效节点服务器为在指定时间内未能够更新节点服务器信息文件的节点服务器。进一步的，所述任务分配模块还用于：根据所述有效节点服务器的所述节点服务器评估分值与当前未完成任务数，按照所述节点服务器评估分值越高分配任务越多的原则，进行任务分配；或者当所述有效节点服务器变为所述无效节点服务器时，将所述失效节点服务器承担的任务进行重新分配。再一方面，提供了一种存储系统，包括所述的基于选举的节点服务器管理装置。本专利技术实施例提供的技术方案带来的有益效果是：1)本专利技术提供的基于节点服务器评估分值的选举策略，克服了管理节点服务器选举的随机性，保证了性能最优的节点本文档来自技高网...

【技术保护点】
一种基于选举的节点服务器管理方法，其特征在于，包括如下步骤：在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含节点服务器评估分值；周期性的统计所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新；根据所述节点服务器评估分值并结合选举策略，选举出管理节点服务器；所述管理节点服务器根据所述节点服务器评估分值并结合任务分配策略，进行任务分配。

【技术特征摘要】
1.一种基于选举的节点服务器管理方法，其特征在于，包括如下步骤：在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含节点服务器评估分值；周期性的统计所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新；根据所述节点服务器评估分值并结合选举策略，选举出管理节点服务器；所述管理节点服务器根据所述节点服务器评估分值并结合任务分配策略，进行任务分配。2.根据权利要求1所述的基于选举的节点服务器管理方法，其特征在于，所述在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含节点服务器评估分值的步骤具体包括：每一个节点服务器分别在存储系统中注册各自的节点服务器信息文件，所述节点服务器信息文件包含该节点服务器的节点服务器评估分值；或者在存储系统中注册节点服务器信息文件，所述节点服务器信息文件包含所有节点服务器的节点服务器评估分值。3.根据权利要求2所述的基于选举的节点服务器管理方法，其特征在于，所述节点服务器评估分值由起始节点服务器评估分值减去损耗值得到，其中，所述起始节点服务器评估分值设置为固定值，所述损耗值根据损耗规则计算得出，所述损耗规则包括以下至少之一：当节点服务器的总CPU使用率超过预设比例时，所述总CPU使用率乘以比例系数计算得到分值并加入损耗值；当节点服务器的内存使用率超过预设比例时，所述内存使用率乘以比例系数计算得到分值并加入损耗值；节点服务器的IOWAIT值和LOAD值直接加入损耗值。4.根据权利要求3所述的基于选举的节点服务器管理方法，其特征在于，所述周期性的统计所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新的步骤具体包括：每隔固定周期同时统计所有节点服务器的所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新；或者每隔固定时间统计单个节点服务器的所述节点服务器评估分值，并将所述节点服务器评估分值在所述节点服务器信息文件中进行更新，当对所有节点服务器的所述节点服务器评估分值统计完成后，对单个节点服务器的所述节点服务器评估分值进行下一周期的统计。5.根据权利要求4所述的基于选举的节点服务器管理方法，其特征在于，所述选举策略包括以下至少之一：最先完成信息注册的节点服务器，首先成为管理节点服务器；当旧管理节点服务器的节点服务器评估分值低于固定比例的有效节点服务器的节点服务器评估分值时，节点服务器评估分值最高的有效节点服务器当选为新管理节点服务器；当旧管理节点服务器变为无效节点服务器时，节点服务器评估分值最高的有效节点服务器当选为新管理节点服务器。6.根据权利要求5所述的基于选举的节点服务器管理方法，其特征在于：所述有效节点服务器为能够周期性更新节点服务器信息文件的节点服务器；所述无效节点服务器为不能够周期性更新节点服务器信息文件的节点服务器。7.根据权利要求6所述的基于选举的节点服务器管理方法，其特征在于，所述分配策略包括以下至少之一：所述管理节点服务器根据所述有效节点服务器的所述节点服务器评估分值与当前未完成任务数，按照所述节点服务器评估分值越高分配任务越多的原则，进行任务分配；当所述有效节点服务器变为所述无效节点服务器时，所述管理节点服务器将所述失效节点服务器承担的任务进行重新分配。8.一种基...

【专利技术属性】
技术研发人员：陈程耀，王剑雄，吴振永，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海,31