存储系统及存储集群的配置方法技术方案

本申请涉及一种存储系统及存储集群的配置方法，存储系统包括：多个存储集群，其中，不同存储集群用于存储不同类型的集群数据；述存储集群包括配额管理模块和自动治理模块；配额管理模块，用于对存储集群的存储空间进行配额管理；自动治理模块，用于按照预设的数据治理策略，对存储集群中的数据进行自动治理。如此，利用不同存储集群分类存储不同类型的集群数据，可以实现对集群数据的分类存储，能够有效防止数据混乱，利于提升数据读写效率，另外，通过配额管理可以为用户提供适宜的存储空间，节省存储成本，通过对数据进行自动治理，可以在一定程度上释放存储空间，提高对存储集群的利用率，进而提升存储集群的数据存储、读写和访问的性能。问的性能。问的性能。

【技术实现步骤摘要】
存储系统及存储集群的配置方法


[0001]本申请涉及存储管理
，具体涉及一种存储系统及存储集群的配置方法。

技术介绍

[0002]随着深度学习技术应用越来越广泛，深度学习应用积累的数据量也越来越多，集群数据的存储也愈发受到人们的关注。
[0003]现有的存储集群中的集群数据大多由用户自行管理，受用户管理水平的影响，自行管理的存储集群难免会出现数据错乱、丢失、抢占存储资源等情况，造成存储空间的浪费和不合理使用。因此，如何提高对存储集群的利用率，降低存储成本，是亟待解决的重要问题。

技术实现思路

[0004]有鉴于此，本申请提供了一种存储系统及存储集群的配置方法，能够提高对存储集群的利用率，降低存储成本。
[0005]为实现以上目的，本申请采用如下技术方案：
[0006]本申请的第一方面提供一种存储系统，包括：多个存储集群，其中，不同存储集群用于存储不同类型的集群数据；
[0007]所述存储集群包括配额管理模块和自动治理模块；
[0008]所述配额管理模块，用于对所述存储集群的存储空间进行配额管理；
[0009]所述自动治理模块，用于按照预设的数据治理策略，对所述存储集群中的数据进行自动治理。
[0010]可选的，所述多个存储集群，包括对象存储集群、文件存储集群和块存储集群。
[0011]可选的，所述配额管理模块包括存储空间配额单元，用于限制用户从所述存储集群所申请的存储空间的大小。
[0012]可选的，所述配额管理模块包括文件数量配额单元，用于限制用户从所述存储集群所申请的存储文件的数量。
[0013]可选的，所述配额管理模块包括告警单元；
[0014]所述告警单元，用于在所述存储集群满足预设条件时，发出告警提示；所述预设条件包括：所述存储集群的实际存储容量达到预设存储容量。
[0015]可选的，所述自动治理模块包括转存和恢复单元，用于对所述存储集群中满足预设转存条件的集群数据进行转存；所述预设转存条件包括：当前存储路径为第一存储路径，且未访问时长达到第一预设时长；
[0016]所述转存和恢复单元，还用于在检测到已转存的数据被访问时，将所述已转存的数据转存至所述第一存储路径。
[0017]可选的，所述自动治理模块包括清理单元；
[0018]所述清理单元，用于对所述存储集群中满足清理条件的集群数据进行清理；所述
清理条件包括：当前存储路径为第二存储路径，且未使用时长达到第二预设时长。
[0019]可选的，所述自动治理模块包括打包单元；
[0020]所述打包单元，用于对所述存储集群中满足打包条件的集群文件进行打包处理；所述打包条件包括：当前存储路径为第三存储路径、文件大小小于预设大小且小于预设大小的文件数量达到预设数量；
[0021]所述打包单元，还用于在检测到被访问的数据为已打包的文件时，确定对应的打包文件并进行解包恢复。
[0022]可选的，所述存储集群还包括容灾备份模块；
[0023]所述容灾备份模块，用于对所述存储集群中的特定集群数据进行备份存储，所述特定集群数据包括重要程度高于设定重要程度的集群数据。
[0024]本申请的第二方面提供一种存储集群的配置方法，包括：
[0025]获取用户信息；所述用户信息包括用户标识信息和用户数据存储需求信息，所述用户存储需求信息包括用户欲存储的数据的数据类型；
[0026]确定本申请的第一方面所述的存储系统中是否存在为所述用户信息对应的用户所配置的可用的目标存储空间，所述目标存储空间为用于存储所述数据类型的数据的存储集群空间；
[0027]若存在为所述用户信息对应的用户所配置的可用的目标存储空间，则从所述存储系统中确定与所述用户数据存储需求信息对应的存储集群空间，并将与所述用户数据存储需求信息对应的存储集群空间与所述用户标识信息进行关联。
[0028]本申请提供的技术方案可以包括以下有益效果：
[0029]本申请的方案中，存储系统包括多个存储集群，不同存储集群用于存储不同类型的集群数据；其中，存储集群包括配额管理模块和自动治理模块；配额管理模块用于对存储集群的存储空间进行配额管理；自动治理模块用于按照预设的数据治理策略，对存储集群中的数据进行自动治理。上述的存储系统能够通过不同存储集群分类存储不同类型的集群数据，从而实现对集群数据的分类存储，能够有效防止数据混乱，利于提升数据读写效率，另外，上述的存储系统通过配额管理可以为用户提供适宜的存储空间，节省存储成本，通过对数据进行自动治理，可以在一定程度上释放存储空间，提高对存储集群的利用率，进而提升存储集群的数据存储、读写和访问的性能。
附图说明
[0030]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本申请一个实施例提供的一种存储系统的结构示意图。
[0032]图2为本申请一个实施例提供的一种存储集群的结构示意图。
[0033]图3是本申请一个实施例提供的一种存储集群的配置方法的流程图。
具体实施方式
[0034]为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
[0035]随着深度学习技术应用越来越广泛，深度学习应用积累的数据量也越来越多，这就直接导致深度学习集群的数据存储和管理复杂度急剧提升，特别是在计算机视觉领域，KB级别的图片文件会进一步造成集群中存储元数据索引的压力，加大深度学习集群数据管理的难度。深度学习集群的数据量往往达到了PB级别，如果这些海量数据管理不当，就会直接影响深度学习训练集群的文件读写性能，进而造成模型训练性能下降。因此，集群数据的存储管理备受人们的关注。
[0036]现有的深度学习集群中集群数据的存储通常是由用户自行管理，例如，存储系统允许用户申请两类存储空间资源，一类是低性能的存储，一类是高性能的存储。用户在得到存储空间后，既需要自行对得到的存储空间进行数据管理，又需要按照申请的存储空间的大小和时长进行付费，并不会因存储性能的高低而有所不同。以超级计算机集群为例，其使用的大多是高性能的分布式存储，然而这种高性能的分布式存储也仅是为用户提供一定的存储空间，并按照分配的空间的大小和时长进行收费，该存储空间内数据管理仍然需要用户自己完成，并不会在集群层面为用户提供数据管理的功能。也因此，受用户管理水平的影响，自行管理可能会导致数据冗余、错乱、丢失以及抢占存储资源等情况，造成存储空间的浪费和不合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储系统，其特征在于，包括：多个存储集群，其中，不同存储集群用于存储不同类型的集群数据；所述存储集群包括配额管理模块和自动治理模块；所述配额管理模块，用于对所述存储集群的存储空间进行配额管理；所述自动治理模块，用于按照预设的数据治理策略，对所述存储集群中的数据进行自动治理。2.根据权利要求1所述的存储系统，其特征在于，所述多个存储集群，包括对象存储集群、文件存储集群和块存储集群。3.根据权利要求1所述的存储系统，其特征在于，所述配额管理模块包括存储空间配额单元，用于限制用户从所述存储集群所申请的存储空间的大小。4.根据权利要求1所述的存储系统，其特征在于，所述配额管理模块包括文件数量配额单元，用于限制用户从所述存储集群所申请的存储文件的数量。5.根据权利要求1所述的存储系统，其特征在于，所述配额管理模块包括告警单元；所述告警单元，用于在所述存储集群满足预设条件时，发出告警提示；所述预设条件包括：所述存储集群的实际存储容量达到预设存储容量。6.根据权利要求1所述的存储系统，其特征在于，所述自动治理模块包括转存和恢复单元，用于对所述存储集群中满足预设转存条件的集群数据进行转存；所述预设转存条件包括：当前存储路径为第一存储路径，且未访问时长达到第一预设时长；所述转存和恢复单元，还用于在检测到已转存的数据被访问时，将所述已转存的数据转存至所述第一存储路径。7.根据权利要求1所述的存储系统，其特征在于，所述自动治理模块包括清理单元；所述清理...

【专利技术属性】
技术研发人员：吴婷，王金钖，张俊，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：