一种基于大数据存储制造技术

本发明专利技术提供了一种基于大数据存储

【技术实现步骤摘要】
一种基于大数据存储RBF纳管配额集中管控方法及装置


[0001]本专利技术涉及计算机
，具体涉及一种基于大数据存储
RBF(Router
‑
Based Federation)
纳管配额集中管控方法及装置
。

技术介绍

[0002]在当今信息时代，数据的不断增长和云计算技术的迅速发展导致了大规模数据存储需求的爆发式增加
。
云存储系统作为一种高效的数据存储和管理解决方案，广泛应用于各个领域
。
然而，随着数据规模的不断扩大，单个存储系统的处理能力已无法满足海量数据的快速出入库要求，这就引发了数据分流和存储负载均衡的问题
。
[0003]为了解决这一问题，基于
Router
的存储分流方案日益成熟
。Router
作为一个关键的组件，具备存储负载均衡策略，能够根据请求路径将数据分发到一个或多个存储系统，从而整合多套存储资源，大幅提高存储能力
。
然而，在多存储系统的环境中，如何有效地进行资源配额管理成为了一个迫切需要解决的问题
。
[0004]在现有的存储系统中，对于资源使用数量和占用空间容量的限制，通常通过配额控制来实现
。
然而，由于存在多个存储系统，各自设置配额，并且无法按照资源路径实现统一的配额管控，导致了管理复杂性和不足的问题
。
同时，存储资源的分布性和动态变化也增加了配额管理的挑战
。

技术实现思路
r/>[0005]为了克服上述问题，本专利技术提出了一种基于大数据存储
RBF
纳管配额集中管控的方法，通过
Router
作为中心，实现了多存储系统下的统一
、
精准的资源配额管理
。
该方法充分利用了
Router
的分发能力，结合数据同步和配额矫正机制，实现了对资源使用数量和占用空间容量的有效管控
。
通过集中式的配额设置和矫正，以及实时的配额限制，本专利技术为多存储系统下的配额管理问题提供了一种创新的解决方案
。
[0006]基于上述目的，第一方面，本专利技术提供了一种基于大数据存储
RBF
纳管配额集中管控方法，适用于云存储系统，该方法通过
Router
作为中心，实现对多存储系统的资源配额限制，该方法包括以下步骤：
[0007]配额设置：管理员通过命令行方式向
Router
发送配额设置请求，对资源目录的文件个数和存储空间大小进行限制
。Router
根据请求信息确定涉及的存储系统，并对各存储系统进行配额设置
。
设置的配额值持久化至
Zookeeper
，以便重新启动时加载，并由其他
Router
节点定期同步
。
[0008]数据同步与配额矫正：每个
Router
周期性地进行配额信息同步和配额矫正
。
从各存储系统获取最新的已使用资源量，并写入
Zookeeper
以供查询
。
在配额矫正阶段，获取分布式锁，保证同一时间只有一个
Router
可以设置存储系统配额
。
从
Zookeeper
中读取配额设置值与存储系统实际设置值进行对比，若不一致则对存储系统进行配额重置
。
[0009]配额限制：用户在客户端向
Router
发送请求进行操作，判断操作目录是否设置了
配额限制
。
获取涉及存储系统的已使用资源量，比较新增资源量和已使用资源量，判断是否超出了设置的配额限制
。
对超出配额限制的操作返回配额超限的提示响应，对未超出配额的操作进行正常的数据写入
。
[0010]作为本专利技术的进一步方案，所述的
Router
根据请求信息识别涉及的存储系统，并向各存储系统发送配额设置请求，限制文件个数和存储空间大小
。
[0011]作为本专利技术的进一步方案，所述的将设置的配额值持久化至
Zookeeper
，以确保重新启动时加载，并由其他
Router
节点定期同步使用
。
[0012]作为本专利技术的进一步方案，所述的数据同步与配额矫正步骤还包括：获取分布式锁，保证同一时间只有一个
Router
在设置存储系统配额；从
Zookeeper
中读取配额设置值与存储系统实际设置值进行对比，不一致时对存储系统进行配额重置
。
[0013]作为本专利技术的进一步方案，所述的数据同步与配额矫正步骤还包括：每个
Router
周期性地将从各存储系统获取的最新已使用资源量写入
Zookeeper
，供查询使用
。
[0014]作为本专利技术的进一步方案，所述的配额限制步骤还包括：判断操作目录是否设置了配额限制，获取涉及的各存储系统已使用资源量，根据新增资源量和已使用资源量进行判断是否超出了设置的配额限制
。
[0015]作为本专利技术的进一步方案，所述的
Router
根据请求信息确定涉及的存储系统，获取分布式锁，保证同一时间只有一个
Router
在设置存储系统配额，然后从
Zookeeper
中读取配额设置值与存储系统实际设置值进行对比，不一致时对存储系统进行配额重置
。
[0016]作为本专利技术的进一步方案，所述的数据同步与配额矫正步骤还包括：每个
Router
周期性地进行配额信息同步和配额矫正，从各存储系统获取最新的已使用资源量并写入
Zookeeper
以供查询，以及获取分布式锁并从
Zookeeper
中读取配额设置值与存储系统实际设置值进行对比，不一致时对存储系统进行配额重置
。
[0017]作为本专利技术的进一步方案，所述的配额设置步骤还包括：管理员向
Router
发起配额设置请求，请求内容包括具体目录与配额限制信息
。
[0018]作为本专利技术的进一步方案，所述的配额限制步骤还包括：用户在进行新建
、
写入
、
追加等会增加使用资源量的操作时，首先判断操作目录是否需设置了配额限制，进一步获取涉及到的各存储系统已使用资源量，进一步根据新增资源量和已使用资源量进行判断是否超出了设置的配额限制，进一步对超出配额限制的请求返回配额超限的提示响应，对未超出配额的请求进行正常的数据写入
。
[0019]第二方面，本专利技术提供了一种基于大数据存储
RBF
纳管配额集中管控装置，适用于云存储系统，用于实现多存储系统的资源配额限制，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于大数据存储
RBF
纳管配额集中管控方法，其特征在于，适用于云存储系统，该方法包括以下步骤：配额设置：通过命令行方式向
Router
发送配额设置请求，对资源目录的文件个数和存储空间大小进行限制；数据同步与配额矫正：每个
Router
周期性地进行配额信息同步和配额矫正，从各存储系统获取最新的已使用资源量，并写入
Zookeeper
以供查询；配额限制：用户在客户端向
Router
发送请求进行操作，判断操作目录是否设置了配额限制
。2.
根据权利要求1所述的基于大数据存储
RBF
纳管配额集中管控方法，其特征在于，所述
Router
根据请求信息识别涉及的存储系统，并向各存储系统发送配额限制请求，限制文件个数和存储空间大小
。3.
根据权利要求2所述的基于大数据存储
RBF
纳管配额集中管控方法，其特征在于，将设置的配额值持久化至
Zookeeper
，用以重新启动时加载，由其他
Router
节点定期同步使用
。4.
根据权利要求3所述的基于大数据存储
RBF
纳管配额集中管控方法，其特征在于，所述的数据同步与配额矫正步骤还包括：获取分布式锁，保证同一时间只有一个
Router
在设置存储系统配额；从
Zookeeper
中读取配额设置值与存储系统实际设置值进行对比，不一致时对存储系统进行配额重置
。5.
根据权利要求4所述的基于大数据存储
RBF
纳管配额集中管控方法，其特征在于，所述的数据同步与配额矫正步骤还包括：每个
Router
周期性地将从各存储系统获取的最新已使用资源量写入
Zookeeper
，供查询使用
。6.
根据权利要求5所述的基于大数据存储
RBF
纳管配额集中管控方法，其特征在于，所述的配额限制步骤还包括：判断操作目录是否设置了配额限制，获取涉及的各存储系统已使用资源量，根...

【专利技术属性】
技术研发人员：马上坤，王帅阳，李航，黄召军，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：