一种集群中工作节点的管理方法、系统及相关装置制造方法及图纸

本申请提供一种集群中工作节点的管理方法，包括：获取文件系统的工作节点；根据预设分组规则对所述工作节点进行分组；在每个分组内选取主工作节点，所述主工作节点用于接收分组内其余所有工作节点的心跳信息；控制所述主工作节点将心跳数据上传至管理节点，以便所述管理节点根据所述心跳数据管理所有工作节点。本申请可以降低与管理节点连接的工作节点数量，从而减少管理节点需要管控的工作节点数量，降低管理节点数据处理压力，从而提高HDFS的启动速度。本申请还提供一种集群中工作节点的管理系统、计算机可读存储介质和电子设备，具有上述有益效果。

【技术实现步骤摘要】
一种集群中工作节点的管理方法、系统及相关装置
本申请涉及文件存储领域，特别涉及一种集群中工作节点的管理方法、系统及相关装置。
技术介绍
随着业务的快速增长，集群的节点数也在增加，对单个大规模Hadoop(一种分布式系统基础架构)集群的需求也越来越强烈。单个大规模集群具有数据共享、计算资源共享、减轻运营负担和成本等三个方面的优势。但是单个大规模集群由于其规模庞大，可能包含相当于十几个集群的数据量。文件系统中工作节点的数量必然增多，这会导致管理节点压力也必然会很大，进而会导致大规模集群HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)启动会非常的缓慢，不利于HDFS的应用。
技术实现思路
本申请的目的是提供一种集群中工作节点的管理方法、管理系统、计算机可读存储介质和电子设备，能够提高HDFS的启动速度。为解决上述技术问题，本申请提供一种集群中工作节点的管理方法，具体技术方案如下：获取文件系统的工作节点；根据预设分组规则对所述工作节点进行分组；在每个分组内选取主工作节点，所述主工作节点用于接收分组内其余所有工作节点的心跳信息；控制所述主工作节点将心跳数据上传至管理节点，以便所述管理节点根据所述心跳数据管理所有工作节点；所述心跳数据包括各工作节点的心跳信息和主心跳信息，所述主心跳信息为所述主工作节点的心跳信息。可选的，根据预设分组规则对所述工作节点进行分组包括：根据所述工作节点的总量确定分组数；根据所述分组数对所述工作节点进行划分；其中，各所述分组之间所述工作节点的数量差小于等于1。可选的，根据预设分组规则对所述工作节点进行分组包括：根据所述集群的实时集群性能确定组内预算数量；根据所述组内预算数量对所述工作节点进行分组。可选的，在每个分组内选取主工作节点包括：获取分组内所有工作节点的节点IP；对所述节点IP进行波段比较，将所述节点IP最小的工作节点作为主工作节点。可选的，在每个分组内选取主工作节点包括：获取分组内所有工作节点的节点IP；将所述节点IP的哈希值最小的工作节点作为主工作节点。可选的，在每个分组内选取主工作节点之后，还包括：生成包含所有主工作节点的主节点信息列表；所述主节点信息列表用于指示所述管理节点获取各所述主工作节点的心跳数据。可选的，若所述管理节点未接收到目标主工作节点的心跳数据，还包括：向所述目标主工作节点所在目标分组中的所有工作节点发送校验请求，用于校验所述目标分组中各工作节点的在位状态。本申请还提供一种集群中工作节点的管理系统，包括：获取模块，用于获取文件系统的工作节点；分组模块，用于根据预设分组规则对所述工作节点进行分组；选取模块，用于在每个分组内选取主工作节点，所述主工作节点用于接收分组内其余所有工作节点的心跳信息；上传模块，用于控制所述主工作节点将心跳数据上传至管理节点，以便所述管理节点根据所述心跳数据管理所有工作节点；所述心跳数据包括各工作节点的心跳信息和主心跳信息，所述主心跳信息为所述主工作节点的心跳信息。本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。本申请还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。本申请提供一种集群中工作节点的管理方法，包括：获取文件系统的工作节点；根据预设分组规则对所述工作节点进行分组；在每个分组内选取主工作节点，所述主工作节点用于接收分组内其余所有工作节点的心跳信息；控制所述主工作节点将心跳数据上传至管理节点，以便所述管理节点根据所述心跳数据管理所有工作节点；所述心跳数据包括各工作节点的心跳信息和主心跳信息，所述主心跳信息为所述主工作节点的心跳信息。本申请通过对工作节点进行分组，并确定各分组内的主工作节点，利用主工作节点获取分组内其余工作节点的心跳信息，并仅建立主工作节点和管理节点的连接，即降低与管理节点连接的工作节点数量，从而减少管理节点需要管控的工作节点数量，降低管理节点数据处理压力，从而提高HDFS的启动速度。本申请还提供一种集群中工作节点的管理系统、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的集群中工作节点的管理方法流程图；图2为本申请实施例所提供的集群中工作节点的管理系统结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在文件系统中，DataNode指文件系统的工作节点，工作节点启动后向管理节点注册，通过后，周期性的向管理节点上报所有的块信息，即建立心跳连接。心跳默认是每3秒一次，心跳返回结果带有管理节点给该工作节点的命令如复制块数据到另一台机器，或删除某个数据块。如果超过一定时间例如10分钟没有收到某个工作节点的心跳，则认为该工作节点不可用。管理节点起一个统领的作用，它管理着工作节点,用户通过管理节点来实现对其他数据的访问和操作，它包含目录与数据块之间的关系，数据块和节点之间的关系等等。显然，若集群中包含的工作节点数量较多时，管理节点需要同时与多个工作节点建立心跳连接，这将大大增加管理节点的管理压力，从而使得集群的启动速度过于缓慢。为了解决上述问题，请参考图1，图1为本申请实施例所提供的集群中工作节点的管理方法流程图，该方法包括：S101：获取文件系统的工作节点；本步骤旨在获取文件系统的工作节点，在此对于工作节点的获取方式不作限定，可以直接从集群中获取所有工作节点的节点清单，以获得文件系统的所有工作节点。此外，在执行本步骤时，还可以获取文件系统的其他数据，用于辅助执行后续分组步骤，例如集群性能等。S102：根据预设分组规则对所述工作节点进行分组；本步骤旨在对工作节点进行分组，本实施例对于如何进行分组不作具体限定。无论采用何种分组方式，均可以实现本申请对应的技术效果。该预设分组规则应为在本步骤执行前已确定的分组规则，其可以将工作节点的数量、集群的性能等作为分组参考条件。本实施例在此提供两种优选的分组方式。第一种，可以先根据工作本文档来自技高网...

【技术保护点】
1.一种集群中工作节点的管理方法，其特征在于，包括：/n获取文件系统的工作节点；/n根据预设分组规则对所述工作节点进行分组；/n在每个分组内选取主工作节点，所述主工作节点用于接收分组内其余所有工作节点的心跳信息；/n控制所述主工作节点将心跳数据上传至管理节点，以便所述管理节点根据所述心跳数据管理所有工作节点；所述心跳数据包括各工作节点的心跳信息和主心跳信息，所述主心跳信息为所述主工作节点的心跳信息。/n

【技术特征摘要】
1.一种集群中工作节点的管理方法，其特征在于，包括：
获取文件系统的工作节点；
根据预设分组规则对所述工作节点进行分组；
在每个分组内选取主工作节点，所述主工作节点用于接收分组内其余所有工作节点的心跳信息；
控制所述主工作节点将心跳数据上传至管理节点，以便所述管理节点根据所述心跳数据管理所有工作节点；所述心跳数据包括各工作节点的心跳信息和主心跳信息，所述主心跳信息为所述主工作节点的心跳信息。


2.根据权利要求1所述的管理方法，其特征在于，根据预设分组规则对所述工作节点进行分组包括：
根据所述工作节点的总量确定分组数；
根据所述分组数对所述工作节点进行划分；其中，各所述分组之间所述工作节点的数量差小于等于1。


3.根据权利要求1所述的管理方法，其特征在于，根据预设分组规则对所述工作节点进行分组包括：
根据所述集群的实时集群性能确定组内预算数量；
根据所述组内预算数量对所述工作节点进行分组。


4.根据权利要求2或3所述的管理方法，其特征在于，在每个分组内选取主工作节点包括：
获取分组内所有工作节点的节点IP；
对所述节点IP进行波段比较，将所述节点IP最小的工作节点作为主工作节点。


5.根据权利要求2或3所述的管理方法，其特征在于，在每个分组内选取主工作节点包括：
获取分组内所有工作节点的节点IP；
将所述节点IP的哈希值最小的工作节点作为主工作节点。

【专利技术属性】
技术研发人员：吴振伟，常洪耀，
申请(专利权)人：北京浪潮数据技术有限公司，
类型：发明
国别省市：北京;11