数据留存管理方法、装置、存储介质及设备制造方法及图纸

本申请提供的数据留存管理方法、装置、存储介质及设备，应用于存储领域。其中，存储管理设备获取目标存储路径在当前写入周期之前的数据波动范围，并计算适应波动范围所需预留存储空间的容量阈值；然后，获取目标存储路径当前剩余存储空间的剩余容量；若剩余容量小于容量阈值，则从目标存储路径中确定出待覆盖的历史数据。如此，通过自适应数据写入量的动态变化，能够快速响应业务量的变化，从而减少出现因业务量骤增导致满覆盖删除文件不及时而阻塞后续大文件的创建，同时在业务回落后降低满覆盖删除的数据量。覆盖删除的数据量。覆盖删除的数据量。

【技术实现步骤摘要】
数据留存管理方法、装置、存储介质及设备


[0001]本申请涉及存储领域，具体而言，涉及一种数据留存管理方法、装置、存储介质及设备。

技术介绍

[0002]在一些存储场景下，会涉及海量小文件存储。例如，在安防领域的图片数据。为了解决小文件存储空间浪费、读写效率等问题，业界通常采用将多个小文件聚合成大文件方式存储，并记录小文件在大文件的偏移位置和写入长度。
[0003]存储系统在对海量小文件的留存期进行管理时，如果直接删除小文件会造成文件产生大量碎片，影响系统性能，因此通常是采用对超过留存期的大文件进行满覆盖。然而，现有的满覆盖方法并不能很好的适应业务动态变化的场景。

技术实现思路

[0004]为了克服现有技术中的至少一个不足，本申请提供一种数据留存管理方法、装置、存储介质及设备，用于动态回收管理已存储的数据。具体包括：
[0005]第一方面，本申请提供一种数据留存管理方法，应用于存储管理设备，所述方法包括：
[0006]获取目标存储路径在当前写入周期之前的数据波动范围，其中，所述数据波动范围表示所述目标存储路径中数据写入量的变化信息；
[0007]若所述数据波动范围大于波动阈值，则计算能够适应所述波动范围的新的覆盖阈值；
[0008]获取所述目标存储路径当前剩余的存储空间；
[0009]若所述剩余的存储空间小于所述新的覆盖阈值，则从所述目标存储路径中确定出待覆盖的历史数据。
[0010]第二方面，本申请提供一种数据留存管理装置，应用于存储管理设备，所述装置包括：
[0011]波动监测模块，用于获取目标存储路径在当前写入周期之前的数据波动范围，其中，所述数据波动范围表示所述目标存储路径中数据写入量的变化信息；
[0012]阈值更新模块，用于若所述数据波动范围大于波动阈值，则计算能够适应所述波动范围的新的覆盖阈值；
[0013]空间回收模块，用于获取所述目标存储路径当前剩余的存储空间；
[0014]所述空间回收模块，还用于若所述剩余的存储空间小于所述新的覆盖阈值，则从所述目标存储路径中确定出待覆盖的历史数据。
[0015]第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的数据留存管理方法。
[0016]第四方面，本申请提供一种存储管理设备，所述存储管理设备包括处理器以及存
储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的数据留存管理方法。
[0017]相对于现有技术而言，本申请具有以下有益效果：
[0018]本申请提供的数据留存管理方法、装置、存储介质及设备中，存储管理设备获取目标存储路径在当前写入周期之前的数据波动范围，并计算适应波动范围所需预留存储空间的容量阈值；然后，获取目标存储路径当前剩余存储空间的剩余容量；若剩余容量小于容量阈值，则从目标存储路径中确定出待覆盖的历史数据。如此，通过自适应数据写入量的动态变化，能够快速响应业务量的变化，从而减少出现业务量骤增导致满覆盖删除文件不及时而阻塞后续大文件的创建，同时在业务回落后，能够降低满覆盖删除的数据量。
附图说明
[0019]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0020]图1为本申请实施例提供的方法流程示意图；
[0021]图2为本申请实施例提供的存储系统结构示意图；
[0022]图3为本申请实施例提供的存储目录信息；
[0023]图4为本申请实施例提供的目录树树形结构信息；
[0024]图5为本申请实施例提供的存储目录中的数据在存储节点中的组织架构；
[0025]图6为本申请实施例提供的装置结构示意图；
[0026]图7为本申请实施例提供的管理设备的结构示意图。
[0027]图标：101
‑
波动监测模块；102
‑
阈值计算模块；103
‑
空间回收模块；220
‑
存储器；230
‑
处理器；240
‑
通信单元。
具体实施方式
[0028]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0029]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0031]在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括
那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0032]基于以上相关声明，研究发现，对于海量小文件，为了解决小文件存储空间浪费、读写效率等问题，业界通常采用将多个小文件聚合成大文件方式存储。然而，由于存储空间资源有限，因此，为存储的数据配置有留存期，以便在到了数据留存期限之后，对存储空间进行回收再利用。
[0033]示例性的，继续以安防领域为例，安防领域小文件的特点主要有：一是数据量大，元数据多，数据量能达到亿级甚至更高；二是数据粒度很小，通常大多几十KB到几百KB不等；除此之外，安防领域的大多数据还具有时效性的。例如，安防数据会按重要程度配置不同的留存期存，包括30天、90天、180天等，并且，不同留存期的小文件聚合写入不同的目标存储路径下的大文件中。当数据存储的时间超出留存期之后会被新数据覆盖，简称满覆盖。
[0034]然而，目前在进行满覆盖操作时，通常设置固定大小的覆盖参数。例如，每当剩余的存储空间不足时，则确定出固定大小的预留存储空间用于进行满覆盖。对于该方式，研究发现对于数据增长量比较固定的场景，往往能取得比较好的满覆盖效果，然而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据留存管理方法，其特征在于，应用于存储管理设备，所述方法包括：获取目标存储路径在当前写入周期之前的数据波动范围，其中，所述数据波动范围表示所述目标存储路径中数据写入量的变化信息；计算适应所述波动范围所需预留存储空间的容量阈值；获取所述目标存储路径当前剩余存储空间的剩余容量；若所述剩余容量小于所述容量阈值，则从所述目标存储路径中确定出待覆盖的历史数据。2.根据权利要求1所述的数据留存管理方法，其特征在于，所述获取目标存储路径在当前写入周期之前的数据波动范围，包括：获取前n个写入周期的第一数据写入量以及前m个写入周期的第二数据写入量，其中，1≤n＜m,m≥2且均为正整数；根据所述第一数据写入量以及所述第二数据写入量，确定目标存储路径在当前写入周期之前的数据波动范围。3.根据权利要求2所述的数据留存管理方法，其特征在于，所述根据所述第一数据写入量以及所述第二数据写入量，确定目标存储路径在当前写入周期之前的数据波动范围，包括：根据所述第一数据写入量，获得所述前n个写入周期的平均写入量；根据所述第二数据写入量，获得所述前m个写入周期的平均写入量；根据所述前n个写入周期的平均写入量、所述前m个写入周期的平均写入量，通过以下表达式确定所述数据波动范围：式中，R表示所述数据波动范围，A1表示所述前n个写入周期的平均写入量，A2表示所述前m个写入周期的平均写入量。4.根据权利要求2所述的数据留存管理方法，其特征在于，所述计算适应所述波动范围所需预留存储空间的容量阈值，包括：若所述数据波动范围大于波动阈值，则获取前q个入周期中的平均写入量，其中，1≤q＜m且为正整数；将所述前q个写入周中的平均写入量，作为所述预留存储空间的容量阈值。5.根据权利要求4所述的数据留存管理方法，其特征在于，所述计算适应所述波动范围所需预留存储空间的容量阈值，还包括：若所述数据波动范围小于或者等于所述波动...

【专利技术属性】
技术研发人员：邓玉玲，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：