一种分布式集群中数据管理的系统和方法技术方案

本发明专利技术公开了一种分布式集群中数据管理的系统，所述系统包括：主节点，用于对存储的数据进行分区，为每个数据分区选择一个从节点作为负责节点；负责节点，用于对所述负责节点负责的数据分区进行管理。本发明专利技术还公开了一种分布式集群中数据管理的方法，通过上述系统和方法，使得不同数据分区的更新分布在不同的从节点上，能够有效分担主节点的负荷。同时，根据从节点的实际情况进行负责节点的指派，能够充分发挥从节点的能力。

【技术实现步骤摘要】

本专利技术涉及计算机集群技术，特别是指。
技术介绍
计算机集群简称集群，是一种并行或分布式处理系统。所述集群通过一组松散 集成的计算机相互连接，高度紧密地协作完成所需要的计算工作。其中，单个计算机通 常被称为节点。通过集群技术可以实现内存数据库系统，其中包括主节点和多个从节 点。主节点负责向各个从节点同步数据，并对从节点进行管理。各个节点存储了相同的 数据，并且每个节点都可以完成相同的工作，由于可以多个节点并行处理，因此利用集 群技术可以提高数据的处理效率；另一方面，多个节点的数据，工作过程完全一样，因 此可以容忍部分节点出现死机等故障，进而提高集群系统的可用性和稳定性。在集群中节点进行并行处理、存储了相同的数据、进行协同工作，使得集群对 外表现为一个整体。由此可见集群内数据的一致性显得非常重要，否则不同节点将表现 出不同的行为，会影响集群进行数据处理服务。对于分布式的内存库集群，数据是其核 心，保持集群内节点数据的一致性更为重要。目前集群技术中解决数据一致性的问题，主要是利用主节点进行管理。当主节 点产生数据变化时，将变化的数据推送到集群内其他的从节点中，但这种管理方法存在 两个问题1)主节点承担了过多的负荷，不利于负荷均衡；2)其他节点被动接受，参 与度低，同时，主节点对每个节点都相同对待，不能参考从节点的实际情况，例如性 能，运行状态等，不能充分发挥从节点的能力。这些问题已经成为集群技术发展的瓶 颈。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种分布式集群中数据管理的系统和方 法，能够分担主节点的负荷，结合从节点的实际情况充分发挥其能力。为达到上述目的，本专利技术的技术方案是这样实现的本专利技术提供了一种分布式集群中数据管理的系统，所述系统包括主节点和负 责节点，其中，所述主节点，用于对存储的数据进行分区，为每个数据分区选择一个从节点作 为负责节点；所述负责节点，用于对所述负责节点负责的数据分区进行管理。其中，所述负责节点对自身负责的数据分区进行管理，包括当所述负责节点负责的数据分区的信息有变化时，由所述负责节点将变化的数 据发送给其他从节点完成写入操作；定期检查订阅队列，根据有效的订阅请求向发送订阅请求的从节点发送自身负责的数据分区内的数据。其中，所述主节点为每个数据分区选择一个从节点作为负责节点具体是根据从 节点的运行状态和从节点能力选择负责节点。其中，所述系统还包括新加入的节点，用于广播发送注册请求，接收到注册响应后，向主节点发送注 册节点信息，接收主节点同步的集群节点列表和数据分区信息；所述主节点，还用于接收注册请求后，判断所述新加入的节点是否合法，如果 合法则返回注册响应，否则返回失败响应，接收到注册节点信息后，将新加入的节点的 信息加入集群节点列表，并在集群中同步更新集群节点列表和数据分区信息。其中，所述新加入的节点或者写入操作失败的节点，还用于向主节点发送订阅 数据请求；所述主节点，还用于接收订阅数据请求，添加到订阅队列中，并在集群中同步 订阅队列。其中，所述负责节点，还用于定期检查订阅队列，判断订阅数据请求中的订阅 进度和当前数据是否一致，如果不一致则将当前数据组包构造通知消息发送到订阅的节点。本专利技术还提供了一种分布式集群中数据管理的方法，所述方法包括主节点对存储的数据进行分区，为每个数据分区选择一个从节点作为负责节点。负责节点对所述负责节点负责的数据分区进行管理。其中，所述负责节点对自身负责的数据分区进行管理，包括当所述负责节点负责的数据分区的信息有变化时，由所述负责节点将变化的数 据发送给其他从节点完成写入操作；定期检查订阅队列，根据有效的订阅请求向发送订阅请求的从节点发送自身负 责的数据分区内的数据。其中，所述主节点为每个数据分区选择一个从节点作为负责节点具体是根据从 节点的运行状态和从节点能力选择负责节点。其中，在负责节点管理的过程中，所述方法还包括新加入的节点广播发送注册请求；主节点接收注册请求后，判断所述新加入的 节点是否合法，如果合法则返回注册响应，否则返回失败响应，并结束处理流程；新加 入的节点接收到注册响应后，向主节点发送注册节点信息；主节点接收到注册节点信息 后，将新加入的节点的信息加入集群节点列表，并在集群中同步更新集群节点列表和数 据分区信息。本专利技术所提供的分布式集群中数据管理的系统和方法，主节点对存储的数据进 行分区，为每个数据分区选择一个从节点作为负责节点；负责节点对所述负责节点负责 的数据分区进行管理。使得不同数据分区的更新分布在不同的从节点上，能够有效分担 主节点的负荷。同时，根据从节点的实际情况进行负责节点的指派，能够充分发挥从节 点的能力。附图说明图1为本专利技术一种分布式集群中数据管理的系统结构示意图；图2为本专利技术一种分布式集群中数据管理的系统中节点保存的信息结构示意 图；图3为本专利技术一种分布式集群中数据管理的方法流程示意图。 具体实施例方式本专利技术的基本思想是主节点对存储的数据进行分区，为每个数据分区选择一个 从节点作为负责节点；负责节点对所述负责节点负责的数据分区进行管理。下面结合附图和具体实施例对本专利技术的技术方案进一步详细阐述。图1为本专利技术一种分布式集群中数据管理的系统结构示意图，如图1所示，所述 系统包括主节点11和负责节点12，其中，所述主节点11，用于对存储的数据进行分区，为每个数据分区选择一个从节点 作为负责节点12 ；具体的，所述主节点11对存储的数据进行分区具体是按照当前集群中运行的从 节点数量对存储的数据进行分区。由于分区后的每个数据分区都要由一个从节点来负 责，因此分区的数量应小于等于从节点的数量。所述主节点11为每个数据分区选择一个 从节点作为负责节点12具体是根据从节点的运行状态和从节点能力选择负责节点12。其 中，所述从节点的运行状态和从节点能力包括从节点接入的网络的传输速度、从节点 自身当前的运行状态，以及从节点处理数据的能力。所述主节点11获取从节点的状态和 节点能力通过集群中各节点定期的信息同步来实现。进一步的，集群运行过程中，如果 负责节点12故障，所述主节点11根据从节点的状态和节点能力重新选择一个未负责其他 数据分区的从节点，接替故障的负责节点12。如果没有可以进行负责的从节点，例如 其他从节点已经各自都有负责的数据分区、或者未负责的从节点当前的状态和节点能力 不足以成为负责节点12时，主节点11重新对存储的数据进行分区并选择负责节点12，即 调整所有的数据分区。所述负责节点12，用于对其他从节点中所述负责节点12负责的数据分区进行管理。具体的，所述负责节点12对自身负责的数据分区进行管理包括当所述负责节 点12负责的数据分区的信息有变化时，由所述负责节点12将变化的数据发送给其他从节 点完成写入操作；定期检查订阅队列，根据有效的订阅请求向发送订阅请求的从节点发 送自身负责的数据分区内的数据。进一步的在集群中，所有的节点保存了相同的信息结构，图2为本专利技术一种分 布式集群中数据管理的系统中节点保存的信息结构示意图，如图2所示，节点20中保存 了集群节点列表21、订阅队列22、数据分区信息23和集群数据库数据24，其中，所 述集群节点列表21包括集群中各节点的节点标识、节点能力和节点状态；所述订阅队 列2本文档来自技高网...

【技术保护点】
一种分布式集群中数据管理的系统，其特征在于，所述系统包括：主节点和负责节点，其中，所述主节点，用于对存储的数据进行分区，为每个数据分区选择一个从节点作为负责节点；所述负责节点，用于对所述负责节点负责的数据分区进行管理。

【技术特征摘要】
1.一种分布式集群中数据管理的系统，其特征在于，所述系统包括主节点和负责 节点，其中，所述主节点，用于对存储的数据进行分区，为每个数据分区选择一个从节点作为负 责节点；所述负责节点，用于对所述负责节点负责的数据分区进行管理。2.根据权利要求1所述的系统，其特征在于，所述负责节点对自身负责的数据分区进 行管理，包括当所述负责节点负责的数据分区的信息有变化时，由所述负责节点将变化的数据发 送给其他从节点完成写入操作；定期检查订阅队列，根据有效的订阅请求向发送订阅请求的从节点发送自身负责的 数据分区内的数据。3.根据权利要求1或2所述的系统，其特征在于，所述主节点为每个数据分区选择一 个从节点作为负责节点具体是根据从节点的运行状态和从节点能力选择负责节点。4.根据权利要求1或2所述的系统，其特征在于，所述系统还包括新加入的节点，用于广播发送注册请求，接收到注册响应后，向主节点发送注册节 点信息，接收主节点同步的集群节点列表和数据分区信息；所述主节点，还用于接收注册请求后，判断所述新加入的节点是否合法，如果合法 则返回注册响应，否则返回失败响应，接收到注册节点信息后，将新加入的节点的信息 加入集群节点列表，并在集群中同步更新集群节点列表和数据分区信息。5.根据权利要求4所述的系统，其特征在于，所述新加入的节点或者写入操作失败的 节点，还用于向主节点发送订阅数据请求；所述主节点，还用于接收订阅数据请求，添加到订阅队列中...

【专利技术属性】
技术研发人员：李浩，胡杰文，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94[中国|深圳]