对分布式存储系统进行扩容的方法及装置制造方法及图纸

本申请公开了一种用于对分布式存储系统进行扩容的方法及装置，所述方法包括：将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至扩容增加的第二数据服务器；判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态，若是，采用分布式存储方法将业务数据写入所述第一数据服务器及第二数据服务器。本方法在扩容时写入流量分散写入到第一和第二数据服务器上，前端在写入数据时不会感到速度减慢，显著提升了服务质量。

The Method and Device of Expanding Distributed Storage System

This application discloses a method and device for expanding a distributed storage system. The method includes: writing business data to the first data server and moving part of the data of the first data server to the second data server with increased capacity; judging whether the data of the first data server and the second data server have reached the set state, if so. A distributed storage method is used to write business data to the first data server and the second data server. In this method, the write traffic is distributed to the first and second data servers while expanding capacity, and the front end will not feel the speed slowing down when writing data, which significantly improves the quality of service.

【技术实现步骤摘要】
对分布式存储系统进行扩容的方法及装置
本申请涉及分布式存储系统，具体涉及一种对分布式存储系统进行扩容的方法及装置。
技术介绍
在为云计算提供服务的分布式存储系统中，用户数据经常会不断增长，当用户数据增加到一定程度，原有集群不能满足数据增加的需求，需要进行扩容。提供云服务的商家为了控制成本，一般在高水位(数据服务器的剩余存储空间很低)的情况下才会根据业务增长情况进行少量数据服务器的扩容。现有技术下，当在集群处于高水位进行扩容时，日常的读写流量依然在对外提供服务，写入流量主要集中在少量新的数据服务器上，造成服务质量受到影响。一般主控服务器(通常指负责管理数据服务器的服务器，例如，GFS(GoogleFileSystem)中的元数据服务器Master)的副本分布策略会考虑磁盘容量，优先写入比较空的数据服务器，就会造成新的数据服务器的负载比较重。比如原有集群有1000台已有数据服务器，每台已有数据服务器服务30M写入流量(30MB/s)，在水位超过90％(剩余存储空间小于10％)的情况下，新增加100台数据服务器，大量写入流量会集中在新的数据服务器上，达到每台数据服务器150M流量，影响服务质量，对服务造成影响。由于现有技术在扩容时，写入流量主要集中在少量新的数据服务器上，使得新的数据服务器的负载比较重，因此前端在写入数据时会感到速度比较慢，导致服务质量的下降。
技术实现思路
本申请提供一种用于对分布式存储系统进行扩容的方法，以解决现有前端在写入数据时会感到速度比较慢，导致服务质量的下降的问题。本申请提供的一种用于对分布式存储系统进行扩容的方法，包括：将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至第二数据服务器；判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态，若是，采用分布式存储方法将业务数据写入所述第一数据服务器及第二数据服务器。可选的，所述将所述第一数据服务器的部分数据搬迁至第二数据服务器，包括：使用接近物理极限预设范围的网络写入速度或物理极限的网络写入速度将所述第一数据服务器的部分数据搬迁至第二数据服务器。可选的，所述判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态,具体为：判断所述第一数据服务器以及第二数据服务器数据是否达到均衡状态。可选的，所述判断所述第一数据服务器以及第二数据服务器数据是否达到均衡状态,包括：判断第一数据服务器以及第二数据服务器数据存储水位的相似度是否大于或等于相似度阈值，若是，则判断为所述第一数据服务器以及第二数据服务器数据达到均衡状态。可选的，所述将所述第一数据服务器的部分数据搬迁至第二数据服务器，包括：每台第二数据服务器对应的第一数据服务器的数量相同或数量之差在预设范围内。可选的，所述将所述第一数据服务器的部分数据搬迁至第二数据服务器，包括：对应同一第二数据服务器的所有第一数据服务器分配有的写入流量相同或流量之差在预设范围内。可选的，所述将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至第二数据服务器之前，还包括：判断集群中第一数据服务器的水位是否大于预设水位阈值，并在大于时进行扩容。可选的，包括：第二数据服务器的数量与第一数据服务器的数量之比小于或等于1/10。可选的，所述预设水位阈值范围为80％至90％。可选的，包括：在扩容增加数据服务器之前，保持所述第一数据服务器的数据均衡。可选的，所述保持所述第一数据服务器的数据平衡，包括：所述已有的数据服务器定期把磁盘空间利用信息上报给元数据服务器；所述元数据服务器根据获取的磁盘空间利用信息在使用不均匀的数据服务器间复制数据。可选的，所述将所述第一数据服务器的部分数据搬迁至第二数据服务器，包括：在将所述第一数据服务器的部分数据搬迁至第二数据服务器时，采用并行的方式进行搬迁。可选的，所述将业务数据写入所述第一数据服务器及新的数据服务器，包括：以相同的写入流量或以写入流量之差在预设范围内的写入流量将业务数据写入所述第一数据服务器以及新的数据服务器。此外，本申请还提供一种用于对分布式存储系统进行扩容的装置，包括：写入及搬迁单元，用于将业务数据写入第一数据服务器。并将所述第一数据服务器的部分数据搬迁至第二数据服务器；判断单元，用于判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态；写入单元，用于当判断单元的输出为是时，将业务数据写入所述第一数据服务器及第二数据服务器。此外，本申请还提供一种计算机可读介质，其上存储有指令，所述指令被执行以用于：将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至第二数据服务器；判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态，若是，将业务数据写入所述第一数据服务器及第二数据服务器。此外，本申请还提供一种电子设备，其包括：处理器和存储器，所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至第二数据服务器；判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态，若是，将业务数据写入所述第一数据服务器及第二数据服务器。此外，本申请还提供一种用于对分布式存储系统进行扩容的方法，其包括：将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至扩容增加的第二数据服务器；判断所述第一数据服务器和/或第二数据服务器数据是否达到设定状态，若是，采用分布式存储方法将业务数据业写入所述第一数据服务器和/或第二数据服务器。与现有技术相比，本申请具有以下优点:本申请提供一种对分布式存储系统进行扩容的方法，所述方法包括：将业务数据写入第一数据服务器并且将所述第一数据服务器的部分数据搬迁至第二数据服务器；判断所述第一数据服务器以及第二数据服务器数据是否达到均衡状态，若是，采用分布式存储方法将业务数据写入所述第一数据服务器以及第二数据服务器。本申请提供的对分布式存储系统进行扩容的方法，将业务数据仍然分散写入到第一数据服务器，并且将第一数据服务器的部分数据搬迁至第二数据服务器，第二数据服务器不再对前端提供服务，只是负责尽快将第一数据服务器的部分数据复制到第二数据服务器，在所述第一数据服务器以及第二数据服务器数据达到设定状态时，第二数据服务器再参与前端流量的写入，可见，本方案在扩容时写入流量没有集中在少量第二数据服务器上，而是分散写入到第一数据服务器上，前端在写入数据时不会感到速度减慢，显著提升了服务质量。附图说明图1是GFS的架构图。图2是本申请第一实施例提供的一种对分布式存储系统进行扩容的方法的流程图。图3是本申请第一实施例提供的将所述第一数据服务器的部分数据搬迁至第二数据服务器的示意图。图4是本申请第一实施例提供的所有数据服务器接收前端写入流量的示意图。图5是本申请第二实施例提供的一种对分布式存储系统进行扩容的装置的示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本专利技术。但是本专利技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施的限制。在本申请实施例中，提供了一种对分布式存储系统进行扩容的方法及装置。在下面的实施例中逐一本文档来自技高网...

【技术保护点】
1.一种用于对分布式存储系统进行扩容的方法，其特征在于，包括：将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至扩容增加的第二数据服务器；判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态，若是，采用分布式存储方法将业务数据写入所述第一数据服务器及第二数据服务器。

【技术特征摘要】
1.一种用于对分布式存储系统进行扩容的方法，其特征在于，包括：将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至扩容增加的第二数据服务器；判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态，若是，采用分布式存储方法将业务数据写入所述第一数据服务器及第二数据服务器。2.根据权利要求1所述的用于对分布式存储系统进行扩容的方法，其特征在于，所述将所述第一数据服务器的部分数据搬迁至第二数据服务器，包括：使用接近物理极限预设范围的网络写入速度或物理极限的网络写入速度将所述第一数据服务器的部分数据搬迁至第二数据服务器。3.根据权利要求1所述的用于对分布式存储系统进行扩容的方法，其特征在于，所述判断所述第一数据服务器以及第二数据服务器数据是否达到设定状态,具体为：判断所述第一数据服务器以及第二数据服务器数据是否达到均衡状态。4.根据权利要求3所述的用于对分布式存储系统进行扩容的方法，其特征在于，所述判断所述第一数据服务器以及第二数据服务器数据是否达到均衡状态,包括：判断第一数据服务器以及第二数据服务器数据存储水位的相似度是否大于或等于相似度阈值，若是，则判断为所述第一数据服务器以及第二数据服务器数据达到均衡状态。5.根据权利要求1至4任一所述的用于对分布式存储系统进行扩容的方法，其特征在于，所述将所述第一数据服务器的部分数据搬迁至第二数据服务器，包括：每台第二数据服务器对应的第一数据服务器的数量相同或数量之差在预设范围内。6.根据权利要求5所述的用于对分布式存储系统进行扩容的方法，其特征在于，所述将所述第一数据服务器的部分数据搬迁至第二数据服务器，包括：对应同一第二数据服务器的所有第一数据服务器分配有的写入流量相同或流量之差在预设范围内。7.根据权利要求1所述的用于对分布式存储系统进行扩容的方法，其特征在于，所述将业务数据写入第一数据服务器，并将所述第一数据服务器的部分数据搬迁至第二数据服务器之前，还包括：判断集群中第一数据服务器的水位是否大于预设水位阈值，并在大于时进行扩容。8.根据权利要求7所述的用于对分布式存储系统进行扩容的方法，其特征在于，包括：第二数据服务器的数量与第一数据服务器的数量之比小于或等于1/10。9.根据权利要求7所述的用于对分布式存储系统进行扩容的方法，其特征在于，所述预设水位阈值范围为80％至90％。10.根据权利要求1所述的用于对分布式存储系统进行扩容的方法，其特征在于，包括：在扩容增加数据服务器之前...

【专利技术属性】
技术研发人员：吴洋，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY