数据均衡方法、装置及计算机设备制造方法及图纸

本申请实施例提供一种数据均衡方法、装置及计算机设备，所述方法包括：基于各个数据节点的存储设备利用率，确定待均衡的第一数据节点以及第二数据节点；确定所述第一数据节点以及所述第二数据节点的存储设备迁移信息；按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移。本申请实施例提供的技术方案提高数据均衡效率。

Data Balancing Method, Device and Computer Equipment

The embodiment of this application provides a data equalization method, device and computer device, which includes: determining the first data node and the second data node to be equalized based on the utilization ratio of storage devices of each data node; determining the storage device migration information of the first data node and the second data node; and updating the storage device migration information according to the storage device migration information. The first data node and the second data node respectively have corresponding data distribution information to complete the migration of storage devices between the first data node and the second data node. The technical scheme provided in the embodiment of this application improves the efficiency of data equalization.

【技术实现步骤摘要】
数据均衡方法、装置及计算机设备
本申请实施例涉及数据处理
，尤其涉及一种数据均衡方法、装置及计算机设备。
技术介绍
分布式文件系统利用多台计算机协同解决单台计算机所不能解决的计算以及存储等问题。分布式文件系统主要是用于数据存储，数据资源以文件形式存放在物理机器的存储设备上。为了方便数据存储、读取以及管理，现有的分布式系统一般由主节点以及与主节点连接的各个数据节点构成，数据节点负责存储数据，主节点负责存储各个数据节点的数据分布信息。每一个数据节点分配有储存空间，通常具有一个或多个存储设备以存储数据。分布式文件系统在使用过程中会存在存储设备利用率不均衡现象，因此需要对分布式文件系统进行数据均衡，以保证各个数据节点的存储设备利用率满足均衡要求。现有技术中，通常是根据各个数据节点的存储设备利用率，确定待均衡的任意两个数据节点，从存储设备利用率较高的数据节点中迁移数据至存储设备利用率较低的数据节点中，之后通知主节点更新两个数据节点的数据分布信息即可，这种通过数据迁移来实现数据均衡的方式，需要占用网络带宽，但是为了不影响分布式文件系统的正常运行，数据迁移只能缓慢进行，导致数据均衡需要花费很长时间，效率较低。
技术实现思路
本申请实施例提供一种数据均衡方法、装置及计算机设备，用以解决现有技术中数据均衡效率低的技术问题。第一方面，本申请实施例中提供了一种数据均衡方法，包括：基于各个数据节点的存储设备利用率，确定待均衡的第一数据节点以及第二数据节点；确定所述第一数据节点以及所述第二数据节点的存储设备迁移信息；按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移。第二方面，本申请实施例中提供了一种数据均衡装置，包括：第一节点确定模块，用于基于各个数据节点的存储设备利用率，确定待均衡的第一数据节点以及第二数据节点；迁移确定模块，用于确定所述第一数据节点以及所述第二数据节点的存储设备迁移信息；第一均衡模块，用于按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移。第三方面，本申请实施例中提供了一种计算机设备，包括一个或多个存储组件以及一个或多个处理组件；所述一个或多个存储组件存储一条或多条计算机程序指令；所述一个或多个处理组件调用并执行所述一条或多条计算机程序指令，实现如下操作：基于各个数据节点的存储设备利用率，确定待均衡的第一数据节点以及第二数据节点；确定所述第一数据节点以及所述第二数据节点的存储设备迁移信息；按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移。本申请实施例中，基于各个数据节点的存储设备利用率，首先确定出待均衡的第一数据节点以及第二数据节点，并确定所述第一数据节点以及所述第二数据节点的存储设备迁移信息；按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移。采用设备迁移的方式快速实现了分布式文件系统的数据重分布，实现数据均衡目的，提高了数据均衡效率。本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a示出了本申请提供的分布式文件系统的一种结构示意图；图1b示出了本申请提供的分布式文件系统的又一种结构示意图；图2示出了本申请提供的一种数据均衡方法一个实施例的流程图；图3示出了本申请提供的一种数据均衡方法又一个实施例的流程图；图4示出了本申请提供的一种数据均衡方法又一个实施例的流程图；图5示出了本申请提供的一种数据均衡方法又一个实施例的流程图；图6示出了本申请提供的一种数据均衡装置一个实施例的结构示意图；图7示出了本申请提供的一种数据均衡装置又一个实施例的结构示意图；图8示出了本申请提供的一种数据均衡装置又一个实施例的结构示意图；图9示出了本申请提供的一种数据均衡装置又一个实施例的结构示意图；图10示出了本申请提供的一种计算机设备一个实施例的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。本申请的技术方案主要应用于分布式文件系统中，例如HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)、NFS(NetworkFileSystem，网络文件系统)等等，本申请的技术方案可以适用于各种存储场景中，特别是云计算场景，分布式文件系统即为云计算系统中的云存储系统。在云计算机场景中，分布式文件系统中用于存储数据的存储设备位于云端，由网络提供存储空间，也被成为云盘或网盘。图1a示出了分布式文件系统一种常见的结构示意图，可知，分布式文件系统可以包括主节点10以及与主节点10连接的各个数据节点20。每一个数据节点20可以由一个或多个物理机器实现，可以独立启动一个或多个操作系统进程，并分配有储存空间，通常挂载一个或多个存储设备，用于存储数据。主节点10可以由一个或多个物理机器实现，用于存储各个数据节点的数据分布信息，也被称为“元数据”或者“目录”，以表明数据与存储地址的对应关系。一个大数据通常切分为多个文件块，以文件块的形式存储在各个数据节点中，本文中所涉及的数据，一般情况下可以理解为文件块。在云计算场景中，如图1b，示出了分布式文件系统在云计算场景中的结构示意图，分布式文件系统为云存储系统。其中，本申请实施例中，所述的存储设备，可以是指可以读写的设备，其可以是，磁存储器，快闪存储器，磁盘或光盘等，目前通常采用磁盘进行存储数据，磁盘例如可以是SSD(SolidStateDrives，固态硬盘)、HDD(Mechanicalharddisk，机械硬盘)、SHHD(SolidStateHybridDrive，混合硬盘)等。数据节点之间可以进行实际数据的交换，数据节点与主节点之间主要进行数据分布信息的更新。由于一个数据节点可以具有一个或多个存储设备，数据节点的存储设备利用率可以是指其具有的各个存储设备的利用率的平均利用率，例如某一个数据节点包括存储设备A以本文档来自技高网...

【技术保护点】
1.一种数据均衡方法，其特征在于，包括：基于各个数据节点的存储设备利用率，确定待均衡的第一数据节点以及第二数据节点；确定所述第一数据节点以及所述第二数据节点的存储设备迁移信息；按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移。

【技术特征摘要】
1.一种数据均衡方法，其特征在于，包括：基于各个数据节点的存储设备利用率，确定待均衡的第一数据节点以及第二数据节点；确定所述第一数据节点以及所述第二数据节点的存储设备迁移信息；按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移。2.根据权利要求1所述的方法，其特征在于，所述确定第一数据节点以及所述第二数据节点的存储设备迁移信息包括：确定所述第一数据节点以及所述第二数据节点各自对应的各个存储设备；基于第一数据均衡需求，重新建立所述第一数据节点以及所述第二数据节点分别与所述各个存储设备的对应关系，以获得所述存储设备迁移信息。3.根据权利要求1所述的方法，其特征在于，所述按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移之后，所述方法还包括：确定所述第一数据节点对应的各个第一存储设备以及所述第二数据节点对应的各个第二存储设备；基于所述各个第一存储设备的利用率，将所述各个第一存储设备进行数据迁移，以获得第一数据迁移信息；基于所述各个第二存储设备的利用率，将所述各个第二存储设备进行数据迁移，以获得第二数据迁移信息；按照所述第一数据迁移信息以及所述第二数据迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息。4.根据权利要求1所述的方法，其特征在于，所述基于各个数据节点的存储设备利用率，确定待均衡的第一数据节点以及第二数据节点包括：基于各个数据节点的存储设备利用率，确定满足待均衡条件的第一数据节点以及第二数据节点。5.根据权利要求4所述的方法，其特征在于，还包括：如果不存在满足待均衡条件的第一数据节点以及第二数据节点，基于各个数据节点的存储设备利用率，确定满足待迁移条件的第三数据节点以及第四数据节点；基于第二数据均衡需求，在所述第三数据节点以及所述第四数据节点之间进行数据迁移，以获得第三数据迁移信息；基于所述第三数据迁移信息，更新所述第三数据节点以及所述第四数据节点的数据分布信息。6.根据权利要求1所述的方法，其特征在于，所述按照所述存储设备迁移信息，更新所述第一数据节点以及所述第二数据节点分别对应的数据分布信息，以完成所述第一数据节点以及所述第二数据节点之间的存储设备迁移之后，所述方法还包括：判断按照所述存储设备迁移信息进行存储设备迁移之后的所述第一数据节点以及所述第二数据节点是否满足第二数据均衡需求；如果所述第一数据节点以及所述第二数据节点不满足所述第二数据均衡需求，在所述第一数据节点以及所述第二数据节点之间进行数据迁移，以获得第四数据迁移信息；基于所述第四数据迁移信息，更新所述第一数据节点以及所述第二数据节点的数据分布信息。7.根据权利要求5所述的方法，其特征在于，所述基于各个数据节点的存储设备利用率，确定满足待均衡条件的第一数据节点以及第二数据节点包括：基于各个数据节点的存储设备利用率，确定存储设备利用率差值大于第一预设值的第一数据节点以及第二数据节点。8.根据权利要求7所述的方法，其特征在于，所述如果不存在满足待均衡条件的第一数据节点以及第二数据节点，基于各个数据节点的存储设备利用率，确定满足待迁移条件的第三数据节点以及第四数据节点包括：如果不存在存储设备利用率差值大于所述第一预设值的任意两个数据节点，基于各个数据节点的存储设备利用率，确定存储设备利用率差值大于第二预设值的第三数据节点以及第四数据节点；其中所述第二预设值小于所述第一预设值。9.根据权利要求1所述的方法，其特征在于，所述存储设备迁移信息确定步骤之后，所述方法还包括：输出存储设备迁移提示信息；所述存储设备迁移提示信息用于提示用户按照所述存储设备迁移信息交换所述第一数据节点以及所述第二数据节点中的存储设备。10.一种数据均衡装置，其特征在于，包括：第一节点确定模块，用于基于各个数据节点的存储设备...

【专利技术属性】
技术研发人员：余根茂，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY