一种数据备份方法及装置、设备、存储介质制造方法及图纸

本申请实施例公开了一种数据备份方法，所述方法包括：在对集群扩容之前，将所述集群中至少一个第二设备的数据迁移至至少一个资源节点中；其中，所述至少一个资源节点位于待加入所述集群的至少一个第一设备上；在所述数据迁移完成的情况下，将所述至少一个第一设备加入所述集群。另外，本申请实施例还公开了一种数据备份装置、设备及存储介质。设备及存储介质。设备及存储介质。

【技术实现步骤摘要】
一种数据备份方法及装置、设备、存储介质


[0001]本申请实施例涉及云存储
，涉及但不限于一种数据备份方法及装置、设备、存储介质。

技术介绍

[0002]随着互联网行业的发展，大量的数据需要进行存储，而云存储能够通过集群应用、网格技术或分布式文件系统等功能将众多存储节点集合起来协同工作，并对外提供数据存储和业务访问。当集群中的单个存储节点的存储容量达到存储上限时，则需要对集群扩容，而单个存储节点上均衡后的存储空间在扩容后相对于扩容前降低，使得单个存储节点上部分存储时长没有达到存储期限的数据被删除，导致存储节点所存储的数据的留存期缩短。

技术实现思路

[0003]有鉴于此，本申请实施例为解决相关技术中存在的至少一个问题而提供一种数据备份方法及装置、设备、存储介质，在集群扩容过程中，避免缩短数据的留存期，且不影响数据的实时读写。
[0004]本申请实施例的技术方案是这样实现的：
[0005]第一方面，本申请实施例提供一种数据备份方法，所述方法包括：在对集群扩容之前，将所述集群中至少一个第二设备的数据迁移至至少一个资源节点中；其中，所述至少一个资源节点位于待加入所述集群的至少一个第一设备上；在所述数据迁移完成的情况下，将所述至少一个第一设备加入所述集群。
[0006]第二方面，本申请实施例提供一种数据备份装置，所述装置包括：迁移模块，用于在对集群扩容之前，将所述集群中至少一个第二设备的数据迁移至至少一个资源节点中；其中，所述至少一个资源节点位于待加入所述集群的至少一个第一设备上；添加模块，用于在所述数据迁移完成的情况下，将所述至少一个第一设备加入所述集群。
[0007]第三方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据备份方法中的步骤。
[0008]第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述数据备份方法中的步骤。
[0009]本申请实施例中，提供了一种数据备份方法，在对集群扩容之前，在对集群扩容之前，将所述集群中至少一个第二设备的数据迁移至至少一个资源节点中；其中，所述至少一个资源节点位于待加入所述集群的至少一个第一设备上，所述至少一个第一设备用于对所述集群进行扩容；在所述数据迁移完成的情况下，将所述至少一个第一设备加入所述集群，从而在集群扩容前，将集群中已有设备的数据迁移至待加入至集群的设备中，并在迁移完成后将待加入的设备加入至集群中对集群扩容，保证集群中已有设备的数据的留存期不会因为集群的扩容而缩短，也不会占用集群调度的资源，从文件系统层面进行数据的迁移，实
现集群的业务层面的不感知，不影响集群的实时业务。
附图说明
[0010]图1为本申请实施例数据存储系统的可选地架构示意图；
[0011]图2为本申请实施例数据存储系统的可选地架构示意图；
[0012]图3为本申请实施例提供的数据备份方法的可选地流程示意图；
[0013]图4为本申请实施例提供的数据备份方法的可选地流程示意图；
[0014]图5为本申请实施例提供的数据备份方法的可选地流程示意图；
[0015]图6为本申请实施例提供的数据迁移方法的可选地流程示意图；
[0016]图7为本申请实施例提供的第一设备的可选地状态示意图；
[0017]图8为本申请实施例提供的数据存储系统的可选地流程示意图；
[0018]图9为本申请实施例提供的数据存储系统的可选地流程示意图；
[0019]图10为本申请实施例提供的数据存储系统的可选地流程示意图；
[0020]图11为本申请实施例提供的数据迁移过程的队列示意图；
[0021]图12为本申请实施例提供的数据存储系统的可选地流程示意图；
[0022]图13为本申请实施例提供的存储节点在扩容前的数据存储示意图；
[0023]图14为本申请实施例提供的存储节点在扩容前的数据存储示意图；
[0024]图15为本申请实施例提供的数据备份装置的可选地结构示意图；
[0025]图16为本申请实施例提供的计算机设备的一种硬件实体示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0027]为了更好地理解本申请，对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
[0028]1)集群，由一组存储节点组成的系统，能够作为一个整体向用户提供一组网络资源。对于用户而言，不会意识到集群底层的存储节点，而是认为集群为一个系统。一个或多个集群能够构成云存储系统。
[0029]2)存储节点，即第二设备，构成集群的单个计算机，能够接受集群调度服务器的调度，处理集群所接收到的业务。本申请实施例中，当一个设备用于对集群扩容，在加入集群之前为待加入设备即第一设备，在加入集群后成为存储节点。
[0030]3)资源节点，在第一设备中建立的逻辑资源空间，一个第一设备中可建立多个资源节点，且各资源节点在逻辑上相互独立。
[0031]本申请实施例可提供为数据备份方法及装置、设备和存储介质。实际应用中，数据备份方法可由数据备份装置实现，数据备份装置中的各功能实体可以由计算机设备(如服务器或服务器集群)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
[0032]本申请实施例的数据备份方法可应用于图1所示的数据存储系统，如图1所示，该数据存储系统包括客户端10和集群20；其中，客户端10中安装有能够访问集群20的访问APP或提供访问页面的浏览器，用户可通过访问应用程序或浏览器提供的访问页面对集群20中的数据进行访问。集群20提供存储数据的资源，并向客户端提供服务。客户端10和集群20之间通过网络30进行交互。
[0033]这里，集群还可接收比如：摄像头、传感器等数据产生设备发送的业务并存储所接收的业务的数据。
[0034]集群20由多个第二设备201和调度服务器202构成，在一示例中，调度服务器202可实施为实现数据备份方法的数据备份装置。
[0035]基于图1所示的数据存储系统，在图2中，第一设备40为待加入集群20的设备，以对集群20进行扩容。在一示例中，第一设备40可实施为实现数据备份方法的数据备份装置。第一设备40中可创建能够写入数据的资源节点。
[0036]需要说明的是，本申请实施例中，对数据存储系统中第二设备201的数量和第一设备40的数量不进行任何的限定。
[0037]本申请实施例中，由调度设备将第二设备的数据迁移至待加入集群的第一设备的资源节点中。在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据备份方法，其特征在于，所述方法包括：在对集群扩容之前，将所述集群中至少一个第二设备的数据迁移至至少一个资源节点中；其中，所述至少一个资源节点位于待加入所述集群的至少一个第一设备上；在所述数据迁移完成的情况下，将所述至少一个第一设备加入所述集群。2.根据权利要求1所述的方法，其特征在于，在将所述集群中至少一个第二设备的数据迁移至至少一个资源节点中之前，所述方法还包括：根据所述第一设备的数量和所述第二设备的数量，确定待创建的资源节点的总数量；根据所述待创建的资源节点的总数量和所述第一设备的数量，确定在每一所述第一设备中创建资源节点的数量。3.根据权利要求1所述的方法，其特征在于，在将所述集群中至少一个第二设备的数据迁移至至少一个资源节点中之前，所述方法还包括：建立每一所述第二设备和每一所述资源节点的对应关系；根据所述对应关系，将所述至少一个资源节点划分为资源节点组，其中，一个资源节点组中的资源节点对应同一第二设备；将所述资源节点组中的资源节点，挂载至对应的第二设备上。4.根据权利要求1所述的方法，其特征在于，所述将所述集群中至少一个第二设备的数据迁移至至少一个资源节点中，包括：根据所述第一设备的数量和所述第二设备的数量，确定从所述至少一个第二设备上待迁出数据对应的迁出比例；根据所述迁出比例，从所述至少一个第二设备上迁出数据至所述至少一个资源节点中。5.根据权利要求4所述的方法，其特征在于，所述根据所述迁出比例，从所述至少一个第二设备上迁出数据至所述至少一个资源节点中，包括：分别对每一所述第二设备执行以下处理：获取从所述第二设备迁出的数据容量，以及当前从所述第二设备迁出的数据容量的第一比例，直至所述第一比例达到所述迁出比例；则，停止从所述第二设备迁出数据。6.根据权利要求5所述的方法，其特征在于，所述获取从所述第二设备迁出的数据容量，以及当前从所述第二设备迁出的数据容量的第一比例，直至所述第一比例达到所述迁出比例，包括：对所述第二设备中的文件进行排序，并根据所述排序结果从所述第二设备中的文件中选取目标文件；获取从所述目标文件迁出的数据容量，以及当前从所述目标文件迁出的数据容量的第二比例；若所述第...

【专利技术属性】
技术研发人员：张鹏国，李愿波，丁强，朱世峰，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：