数据转储方法以及装置制造方法及图纸

本说明书实施例提供数据转储方法以及装置，其中所述数据转储方法包括：确定访问设备关联的待转储空间，所述待转储空间中包含至少两个文件系统对应的数据；通过计算所述待转储空间中每个文件系统对应的全局数据量，确定每个文件系统对应的转储优先级和数据写入顺序；根据所述转储优先级和所述数据写入顺序创建每个文件系统对应的数据转储任务；依次执行每个文件系统对应的数据转储任务，以将所述待转储空间中的数据写入目标存储空间。储空间中的数据写入目标存储空间。储空间中的数据写入目标存储空间。

【技术实现步骤摘要】
数据转储方法以及装置


[0001]本说明书实施例涉及数据处理
，特别涉及数据转储方法以及装置。

技术介绍

[0002]随着互联网技术的发展，云存储服务在越来越多的业务场景中得以应用；而伴随着使用方的需求，云存储服务也在不断的改进，以在存储和服务提供上都可以满足用户需求，同时能够降低存储资源的消耗。现有技术中，在存储服务场景下，大多数采用前端机将数据直接写入数据文件，以及将数据的索引提交到元数据服务器的方式处理用户的数据写入。而在此过程中，为了保证对数据文件的友好，前端机直写时会将多个文件系统的数据聚合后再写入数据文件，之后再将数据文件中的数据按照文件系统粒度搬迁到独立的存储位置。但是该转储过程需要使用额外的存储空间，同时会放大网络流量，因此亟需一种有效的方案以解决上述问题。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了一种数据转储方法。本说明书一个或者多个实施例同时涉及一种数据转储装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种数据转储方法，包括：确定访问设备关联的待转储空间，所述待转储空间中包含至少两个文件系统对应的数据；通过计算所述待转储空间中每个文件系统对应的全局数据量，确定每个文件系统对应的转储优先级和数据写入顺序；根据所述转储优先级和所述数据写入顺序创建每个文件系统对应的数据转储任务；依次执行每个文件系统对应的数据转储任务，以将所述待转储空间中的数据写入目标存储空间。
[0005]根据本说明书实施例的第二方面，提供了一种数据转储装置，包括：确定空间模块，被配置为确定访问设备关联的待转储空间，所述待转储空间中包含至少两个文件系统对应的数据；确定顺序模块，被配置为通过计算所述待转储空间中每个文件系统对应的全局数据量，确定每个文件系统对应的转储优先级和数据写入顺序；创建任务模块，被配置为根据所述转储优先级和所述数据写入顺序创建每个文件系统对应的数据转储任务；转储处理模块，被配置为依次执行每个文件系统对应的数据转储任务，以将所述待转储空间中的数据写入目标存储空间。
[0006]根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令时实现任上述数据转储方法的步骤。
[0007]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据转储方法的步骤。
[0008]根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据转储方法的步骤。
[0009]本说明书提供的数据转储方法，为了能够降低转储时资源的消耗，将先确定访问设备关联的待转储空间，且该待转储空间中包含至少两个文件系统对应的数据；其次通过计算待转储空间中每个文件系统的全局数据量，确定每个文件系统对应的转储优先级和数据写入顺序；再次根据转储优先级和数据写入顺序针对每个文件系统创建数据转储任务，同时由于每个文件系统对应的数据在待转储空间中存储，因此最后可以通过依次执行每个文件系统对应的数据转储任务，实现将待转储空间中的数据写入目标存储空间。实现在转储阶段，可以不消耗额外的存储空间资源，同时利用具有优先级限定的转储任务完成数据搬迁，可以避免网络资源爆炸性增长，从而实现合理利用有限的网络资源和存储资源完成数据转储，以使得存储服务运行更加稳定。
附图说明
[0010]图1是本说明书一个实施例提供的一种数据转储方法的流程图；图2是本说明书一个实施例提供的一种数据转储方法的示意图；图3是本说明书一个实施例提供的一种数据转储方法的处理过程流程图；图4是本说明书一个实施例提供的一种数据转储装置的结构示意图；图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0011]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0012]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0013]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0014]在本说明书中，提供了一种数据转储方法，本说明书同时涉及一种数据转储装置，
一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
[0015]实际应用中，为了能够使云存储服务具备scale
‑
out能力，大多数会采用前端机（Nas Server）将数据直接写入数据文件，且将数据索引提交到元数据服务器（Meta Server）的方式处理用户的数据写入。在此过程中，为了保障对数据文件的友好，前端机直写数据文件时会将多个文件系统（volume）的数据聚合后再写入数据文件。为了控制可用性的爆炸半径和降低存储成本，需要后台地将数据文件中的数据按照volume粒度搬迁到独立的数据文件中，转储的过程会引起额外的存储空间和网络流量放大，因此亟需一种有效的方案以解决上述问题。
[0016]本说明书提供的数据转储方法，为了能够降低转储时资源的消耗，将先确定访问设备关联的待转储空间，且该待转储空间中包含至少两个文件系统对应的数据；其次通过计算待转储空间中每个文件系统的全局数据量，确定每个文件系统对应的转储优先级和数据写入顺序；再次根据转储优先级和数据写入顺序针对每个文件系统创建数据转储任务，同时由于每个文件系统对应的数据在待转储空间中存储，因此最后可以通过依次执行每个文件系统对应的数据转储任务，实现将待转储空间中的数据写入目标存储空间。实现在转储阶段，可以不消耗额外的存储空间资源，同时利用具有优先级限定的转储任务完成数据搬迁，可以避免网络资源爆炸性增长，从而实现合理利用有限的网络资源和存储资源完成数据转储，以使得存储服务运行更加稳定。
[0017]图1示出了根据本说明书一个实施例提供的一种数据转储方法的流程图，具体包括以下步骤。...

【技术保护点】

【技术特征摘要】
1.一种数据转储方法，包括：确定访问设备关联的待转储空间，所述待转储空间中包含至少两个文件系统对应的数据；通过计算所述待转储空间中每个文件系统对应的全局数据量，确定每个文件系统对应的转储优先级和数据写入顺序；根据所述转储优先级和所述数据写入顺序创建每个文件系统对应的数据转储任务；依次执行每个文件系统对应的数据转储任务，以将所述待转储空间中的数据写入目标存储空间。2.根据权利要求1所述的方法，所述确定访问设备关联的待转储空间步骤执行之前，还包括：所述访问设备将每个文件系统对应的数据进行聚合处理，根据聚合处理结果将每个文件系统对应的数据写入所述待转储空间；在所述待转储空间的数据量大于预设数据量阈值的情况下，将所述待转储空间的存储状态切换为转储状态；在检测到转储状态的所述待转储空间的情况下，执行所述确定访问设备关联的待转储空间步骤。3.根据权利要求1所述的方法，任意一个文件系统对应的全局数据量的确定，包括：确定所述文件系统对应的系统标识；根据所述系统标识遍历所述待转储空间中包含的数据，根据遍历结果确定关联所述系统标识的数据；通过对关联所述系统标识的数据进行统计，确定所述待转储空间中所述文件系统对应的全局数据量。4.根据权利要求1所述的方法，所述通过计算所述待转储空间中每个文件系统对应的全局数据量，确定每个文件系统对应的转储优先级，包括：计算所述待转储空间中每个文件系统对应的全局数据量；将每个文件系统对应的全局数据量按照预设顺序进行排序，获得全局数据量序列；根据所述全局数据量序列确定每个文件系统对应的转储优先级。5.根据权利要求1或4所述的方法，所述数据写入顺序的确定，包括：通过遍历所述待转储空间中包含的数据，确定每条数据对应的写入时间；将所属同一文件系统的数据按照所述写入时间进行排序，根据排序结果确定每个文件系统对应的数据的数据写入顺序。6.根据权利要求1所述的方法，所述依次执行每个文件系统对应的数据转储任务，以将所述待转储空间中的数据写入目标存储空间，包括：在所述目标存储空间中确定每个文件系统对应的子目标存储空间；按照所述转储优先级依次执行每个文件系统对应...

【专利技术属性】
技术研发人员：裴晓辉，王志强，谢东凯，彭梦烨，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：