存储管理方法、设备和计算机程序产品技术

本公开的实施例提供了存储管理方法、设备和计算机程序产品。该方法包括确定文件系统的物理存储空间的空闲程度和文件系统的访问特性；利用供应操作分类模型，基于空闲程度和访问特性，从多个存储供应操作中确定要针对文件系统执行的目标存储供应操作，多个存储供应操作至少包括存储空间扩展操作和存储空间回收操作，供应操作分类模型表征文件系统的不同空闲程度和不同访问特性与多个存储供应操作之间的关联关系；以及针对文件系统执行所确定的目标存储供应操作。以此方式，实现在存储效率和I/O性能之间实现更好的平衡。和I/O性能之间实现更好的平衡。和I/O性能之间实现更好的平衡。

Storage management methods, devices, and computer program products

【技术实现步骤摘要】
存储管理方法、设备和计算机程序产品


[0001]本公开的实施例一般地涉及存储系统，并且更特别地，涉及一种存储管理方法、电子设备和计算机程序产品。

技术介绍

[0002]瘦供应(thin provision)存储配置因为能够有效地使用存储空间而被广泛使用。在采用瘦供应存储配置的存储系统中，基于具有一定存储容量的物理存储设备来创建一个或多个文件系统，其中为创建的文件系统配置的虚拟存储空间的大小总和可以大于物理存储设备的存储容量。
[0003]瘦供应存储配置有利于根据文件系统的用户对存储容量的需求来扩展物理存储空间而无需再修改文件系统的设置。具体地，在创建文件系统时，可能向文件系统分配较小的物理存储空间，其小于所配置的存储空间。随着新数据被存入文件系统中，为文件系统扩展更多存储空间。同时，随着数据从文件系统中删除，所分配的存储空间被释放，并且还可以将文件系统的空闲存储空间回收到存储池。
[0004]在管理文件系统时，对文件系统的存储空间的扩展还是回收的决策会影响到存储池的空间使用效率以及文件系统的访问性能。期望应用更好的方案来确定针对文件系统的存储空间扩展或回收。

技术实现思路

[0005]本公开的实施例涉及一种存储管理方案。
[0006]在本公开的第一方面，提供了一种存储管理方法。该方法包括：确定文件系统的物理存储空间的空闲程度和文件系统的访问特性；利用供应操作分类模型，基于空闲程度和访问特性，从多个存储供应操作中确定要针对文件系统执行的目标存储供应操作，多个存储供应操作至少包括存储空间扩展操作和存储空间回收操作，供应操作分类模型表征文件系统的不同空闲程度和不同访问特性与多个存储供应操作之间的关联关系；以及针对文件系统执行所确定的目标存储供应操作。
[0007]在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理器以及存储有计算机程序指令的至少一个存储器。至少一个存储器和计算机程序指令被配置为，与至少一个处理器一起，使得电子设备执行动作。动作包括确定文件系统的物理存储空间的空闲程度和文件系统的访问特性；利用供应操作分类模型，基于空闲程度和访问特性，从多个存储供应操作中确定要针对文件系统执行的目标存储供应操作，多个存储供应操作至少包括存储空间扩展操作和存储空间回收操作，供应操作分类模型表征文件系统的不同空闲程度和不同访问特性与多个存储供应操作之间的关联关系；以及针对文件系统执行所确定的目标存储供应操作。
[0008]在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在计算机可读存储介质上并且包括计算机可执行指令，计算机可执行指令在由设备的
处理器执行时使设备执行第一方面的方法。
[0009]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其他特征通过以下的描述将变得容易理解。
附图说明
[0010]通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得容易理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例，其中：
[0011]图1示出了本公开的实施例可以在其中被实现的示例存储系统的框图；
[0012]图2示出了根据本公开的一些实施例的存储管理方法的流程图；
[0013]图3示出了根据本公开的一些实施例的文件系统中用于顺序写的存储单元的示例；
[0014]图4示出了根据本公开的一些实施例的具有累计分布特性的函数的示例曲线；
[0015]图5示出了根据本公开的一些实施例的分类标签到供应操作分类模型的得分范围的示例映射；
[0016]图6示出了根据本公开的一些实施例的用于训练供应操作分类模型的方法的流程图；
[0017]图7示出了根据本公开的一些实施例的训练空闲程度、训练访问特性和分类标签的采集的示例；
[0018]图8示出了根据本公开的一些实施例的存储供应与基于常规方案的存储供应的性能比较；
[0019]图9示出了根据本公开的一些实施例的针对文件系统的存储供应的示例流程图；以及
[0020]图10示出了可以被用来实施本公开的实施例的设备的示意性框图。
[0021]贯穿所有附图，相同或者相似的参考标号被用来表示相同或者相似的组件。
具体实施方式
[0022]下面将参考附图中所示出的若干示例性实施例来描述本公开的原理和精神。应当理解，描述这些具体的实施例仅是为了使本领域的技术人员能够更好地理解并实现本公开，而并非以任何方式限制本公开的范围。
[0023]如本文中所使用的，术语“机器学习”指的是涉及高性能计算、机器学习和人工智能算法的处理。在本文中，术语“机器学习模型”也可以称为“学习模型”、“学习网络”、“网络模型”、或“模型”。“神经网络”或“神经网络模型”是一种深度学习模型。概括来说，机器学习模型能够接收输入数据并且基于输入数据执行预测和输出预测结果。
[0024]机器学习模型可以包括多个处理层，每个处理层具有多个处理单元。处理单元有时也称为卷积核。在卷积神经网络(CNN)的卷积层中，处理单元称为卷积核或卷积滤波器。每个处理层中的处理单元基于对应的参数对该处理层的输入执行相应变化。处理层的输出被提供作为下一处理层的输入。机器学习模型的第一个处理层的输入是机器学习模型的模
型输入，最后一个处理层的输出是机器学习模型的模型输出。中间处理层的输入有时也称为机器学习模型提取的特征。机器学习模型的处理单元的全部参数的值形成机器学习模型的参数值集合。
[0025]机器学习主要可以划分为三个阶段，即训练阶段、测试阶段和应用阶段(也称为推理阶段)。在训练阶段，给定的机器学习模型可以使用大量的训练样本进行训练，不断迭代，直到机器学习模型能够从训练样本学习到预期目标。机器学习模型通过训练，可以被认为能够从训练数据中学习从输入到输出之间的映射或关联关系。经过训练后，机器学习模型的参数值集合被确定。在测试阶段，可以利用测试样本对已训练的机器学习模型进行测试，以确定机器学习模型的性能。在应用阶段，机器学习模型可以被用于基于训练得到的参数值集合，对实际的输入数据进行处理，以给出对应的输出。
[0026]图1示出了本公开的实施例可以在其中被实现的示例性存储系统100的示意图。如图1所示，存储系统100包括存储池130，基于存储池130创建的一个或多个文件系统120
‑
1、120
‑
2、
……
120
‑
N(N是大于等于1的整数)，以及存储管理系统110。为便于讨论，文件系统120
‑
1、120
‑
2、
……
120
‑
N有时被统称为或分别称为文件系统120。
[0027]文件系统120可以被暴露给用户，以用于数据访问(例如，输入输出I/O访问)。存储池130包括一个或多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储管理方法，包括：确定文件系统的物理存储空间的空闲程度和所述文件系统的访问特性；利用供应操作分类模型，基于所述空闲程度和所述访问特性，从多个存储供应操作中确定要针对所述文件系统执行的目标存储供应操作，所述多个存储供应操作至少包括存储空间扩展操作和存储空间回收操作，所述供应操作分类模型表征文件系统的不同空闲程度和不同访问特性与所述多个存储供应操作之间的关联关系；以及针对所述文件系统执行所确定的目标存储供应操作。2.根据权利要求1所述的方法，其中确定所述访问特性包括确定以下至少一项：所述文件系统的顺序写能力；针对所述文件系统的待执行访问操作中对空闲存储空间的预计消耗程度。3.根据权利要求2所述的方法，其中确定所述顺序写能力包括：确定所述文件系统的所述物理存储空间中用于顺序写的存储单元的第一数目；确定所述文件系统的用于顺序写的所述存储单元中被部分写入数据的存储单元的第二数目；以及基于所述第二数目与所述第一数目的比率来确定所述顺序写能力。4.根据权利要求2所述的方法，其中确定对空闲存储空间的预计消耗程度包括：确定待执行访问操作的第三数目；确定要分配空闲存储空间用于写数据的待访问操作的第四数目；以及基于所述第四数目与所述第三数目的比率来确定对空闲存储空间的所述预计消耗程度。5.根据权利要求1所述的方法，其中确定要执行的目标存储供应操作包括：利用所述供应操作分类模型，将所述空闲程度和所述访问特性映射到一个得分范围内的目标得分；如果所述目标得分落入所述得分范围中与所述存储空间扩展操作相关联的第一得分区间，确定要针对所述文件系统执行所述存储空间扩展操作；以及如果所述目标得分落入所述得分范围中与所述存储空间回收操作相关联的第二得分区间，确定要针对所述文件系统执行所述存储空间回收操作。6.根据权利要求5所述的方法，其中所述得分范围还包括不在所述第一得分区间和所述第二得分区间内的间隔区间，并且所述多个存储供应操作还包括供应维持操作，其中确定要执行的目标存储供应操作还包括：如果确定所述目标得分处于所述间隔区间，确定要针对所述文件系统执行所述供应维持操作，以维持所述文件系统的所述物理存储空间的供应。7.根据权利要求5所述的方法，其中所述供应操作分类模型基于具有累计分布特性的函数。8.根据权利要求1所述的方法，还包括：获取所述文件系统在特定时间点处的训练空闲程度和训练访问特性；确定与所述训练空闲程度和所述训练访问特性对应的分类标签，所述分类标签指示要对所述文件系统执行所述多个存储供应操作中的一个存储供应操作；以及基于所述训练空闲程度、所述训练访问特性和所述分类标签来训练所述供应操作分类
模型。9.根据权利要求8所述的方法，其中确定所述分类标签包括：在所述特定时间点之后的一个时间段内，确定所述文件系统的所述存储空间中被分配用于存储数据的第一存储空间大小和被释放的第二存储空间大小；以及基于所述第一存储空间大小与所述第二存储空间大小来确定所述分类标签。10.根据权利要求9所述的方法，其中所述供应操作分类模型将所述空闲程度和所述访问特性映射到一个得分范围内的目标得分，所述得分范围包括与所述存储空间扩展操作相关联的第一得分区间和与所述存储空间回收操作相关联的第二得分区间，并且确定所述分类标签包括：如果所述第一存储空间大小与所述第二存储空间大小的比率大于与所述存储空间扩展操作相关联的第一阈值，将所述分类标签确定为所述第一得分区间内的第一得分；以及如果所述第一存储空间大小与所述第二存储空间大小的比率小于与所述存储空间回收操作相关联的第二阈值，将所述分类标签确定为所述第二得分区间内的第二得分。11.根据权利要求10所述的方法，其中所述得分范围还包括不属于所述第一得分区间和所述第二得分区间的间隔区间，并且确定所述分类标签还包括：如果所述第一存储空间大小和所述第二存储空间大小均为零，将所述分类标签确定为所述间隔区间内的第三得分；如果所述第一存储空间大小为零，将所述分类标签确定为所述第二得分区间内的第四得分；以及如果所述第二存储空间大小为零，将所述分类标签确定为所述第一得分区间内的第五得分。12.根据权利要求10所述的方法，其中在所述时间段内所述文件系统的所述物理存储空间未被扩展或回收。13.根据权利要求1所述的方法，还包括：确定所述供应操作分类模型的误差率和在执行所述目标存储供应操作后所述文件系统的单位空闲存储空间的利用率中的至少一项；以及基于所述误差率和所述单位空闲存储空间的利用率中的所确定的所述至少一项，来确定对所述供应操作分类模型的重新训练。14.根据权利要求13所述的方法，其中确定所述单位空闲存储空间的利用率包括：确定在一个时间段内所述文件系统中空闲存储空间的增加量；确定在所述时间段内所述文件系统的访问容量；以及基于所述访问量与所述增加量的比率来确定所述单位空闲存储空间的利用率。15.根据权利要求13所述的方法，其中确定对所述供应操作分类模型的重新训练包括：如果确定以下至少一项，则确定要对所述供应操作分类模型执行重新训练：所述误差率超过阈值误差率，或所述单位空闲存储空间的利用率相对于所述文件系统的单位空闲存储空间的先前利用率具有下降趋势。16.一种电子设备，包括：至少一个处理器；以及
存储有计算机程序指令的至少一个存储器，所述至少一个存储器和所述计算机程序指令被配置为，与所述至少一个处理器一起，使得所述电子设备执行动作，所述动作包括：确定文件系统的...

【专利技术属性】
技术研发人员：姚思聪，黄亮，杨瑞鹏，邵建华，刘先龙，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：