一种基于CEPH对象存储的配额方法及系统技术方案

本发明专利技术提供本申请提出了一种基于CEPH对象存储的配额方法及系统，方法包括以下步骤：客户发起上传对象请求到对象存储网关；对象存储网关从REDIS读取用量统计缓存；对象存储网关将用量与配额进行比较，判断是否允许上传。本发明专利技术以桶+存储类型、用户+存储类型作为配额管理粒度，精细化区分不同存储类型的用量，同时可以提高缓存命中率；保证了用量数据的一致性，同时避免了频繁从硬盘读写用量信息，提升了存储性能。同时可以给对象存储网关的元数据操作带来显著的效率提升，保证了在缓存服务故障情况下配额管理业务的连续性和准确性。障情况下配额管理业务的连续性和准确性。障情况下配额管理业务的连续性和准确性。

【技术实现步骤摘要】
一种基于CEPH对象存储的配额方法及系统


[0001]本申请涉及新型信息领域，具体涉及一种基于CEPH对象存储的配额方法及系统。

技术介绍

[0002]随着社会的发展和科技的进步，图片、视频等多媒体数据成为了生产和生活中最为常见的信息载体。为了保存海量的多媒体数据，云存储服务逐渐得到了广泛的研究和使用。
[0003]CEPH是一个可扩展和高可用的分布式存储系统，其通过统一的存储底座来提供具有对象、块和文件接口的服务。其中，对象存储服务以一种扁平结构，将上传的文件以对象的形式存储，具有丰富的功能特性和灵活的数据存取方式。
[0004]对象存储系统提供产品化服务时，客户可以选择开通存储容量包进行使用，在这种情况下，对象存储系统需要根据客户的存储容量包进行相应的配额管理，避免用户的用量超出配额。在CEPH中，由于不同节点的对象存储网关内存中的用量信息不共享，因此需要进行用量信息的同步，但同步频率过快会影响对象存储服务性能，而同步频率过慢会导致用量不准确的问题。此外，CEPH对象存储系统缺乏针对不同存储类型的配额管理，无法满足基于存储类型开展多样化和精细化业务的需求。

技术实现思路

[0005]本申请实施方式提出了一种基于CEPH对象存储的配额方法及系统，以改善上述技术问题。
[0006]一方面，本申请提出了一种基于CEPH对象存储的配额方法，包括以下步骤：客户发起上传对象请求到对象存储网关；对象存储网关从REDIS读取用量统计缓存；对象存储网关将用量与配额进行比较，判断是否允许上传。
[0007]在一些实施方式中，包括：客户发起上传或删除对象请求到对象存储网关；对象存储网关成功上传或删除对象；对象存储网关对REDIS更新用量统计数据，插入用量有变化的条目；然后基于REDIS的数据来更新本地缓存的用量统计数据。
[0008]在一些实施方式中，还包括：用量统计持久化服务定时从REDIS获取用量有变化的条目，并从REDIS读取用量有变化的条目的用量统计数据更新到本地缓存；将上述用量统计数据更新到元数据库。
[0009]在一些实施方式中，还包括：对象存储网关告知用量统计持久化服务停止定期持久化任务，并向其发送自身缓存的用量数据。
[0010]在一些实施方式中，还包括：在REDIS故障的情况下，对象存储网关告知用量统计持久化服务停止定期持久化任务，并向其发送自身缓存的用量数据。
[0011]在一些实施方式中，还包括：用量统计持久化服务收到用量数据b1后，将更新时间大于上次持久化时间的最新用量数据b1与b2比较得出增量，将用量的增量值更新到元数据库，之后不再参与系统工作；b2为用量统计持久化服务本地缓存的用量数据。
[0012]另一方面，本专利技术提供一种基于CEPH对象存储的配额系统，包括：对象存储网关，用于在上传对象时检查用量是否超过配额；在上传和删除对象成功后更新用量统计数据，同时插入相应的条目表示其用量有变化。
[0013]在一些实施方式中，还包括：REDIS服务模块，用量统计数据的统一缓存层，同时保存用量有变化的条目。
[0014]在一些实施方式中，还包括：TIDB元数据库，保存对象存储所有的元数据，包括桶和用户用量统计；
[0015]在一些实施方式中，还包括：用量统计持久化服务模块，定期持久化REDIS缓存中的用量统计数据到元数据库。
[0016]本申请实施方式提供的出一种面向多存储类型的CEPH对象存储配额管理方法及系统，既能使不同节点的对象存储网关的用量信息保持一致性，又能提高对象存储服务的性能，并且可以实现区分不同存储类型的精细化配额管理。本专利技术以桶+存储类型、用户+存储类型作为配额管理粒度，精细化区分不同存储类型的用量，同时可以提高缓存命中率。引入REDIS作为用量统计数据的缓存层，正常情况下，对象存储网关的配额管理模块统一在REDIS进行用量数据的读写，从而保证了用量数据的一致性，同时避免了频繁从硬盘读写用量信息，提升了存储性能。引入TIDB保存所有的元数据，不仅可以持久化用量统计数据，同时可以给对象存储网关的元数据操作带来显著的效率提升。引入独立的用量统计持久化服务，负责定期持久化REDIS缓存中的用量统计数据到元数据库，使得这些与数据库交互的操作不会影响用户业务的主I/O路径，从而提升存储性能。在REDIS故障的情况下，对象存储网关的配额管理模块从元数据库读写用量数据，并用于更新本地的用量缓存数据，从而保证性能和缓存更新；同时告知用量统计持久化服务停止定期持久化任务，并向其发送自身缓存的用量数据，用量统计持久化服务会计算出缺失的用量增量值并将其更新到元数据库。待REDIS恢复后将元数据库的用量统计刷新到REDIS中即可回归到正常流程，从而保证了在缓存服务故障情况下配额管理业务的连续性和准确性。
附图说明
[0017]为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本申请实施例提供的系统架构图；
[0019]图2为本申请实施例提供的用量统计缓存项；
[0020]图3为本申请实施例提供的用量有变化的条目；
[0021]图4为本申请实施例提供的常规情况下的系统处理流程图；
[0022]图5为本申请实施例提供的REDIS故障时的系统处理流程图。
具体实施方式
[0023]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式
仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
[0024]在本申请中，除非另有明确的规定或限定，术语“安装”、“连接”、“固定”等术语应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通，也可以是仅为表面接触，或者通过中间媒介的表面接触连接。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
[0025]此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为特指或特殊结构。术语“一些实施方式”、“其他实施方式”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本申请中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本申请中描述的不同实施方式或示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CEPH对象存储的配额方法，其特征在于，包括以下步骤：客户发起上传对象请求到对象存储网关；对象存储网关从REDIS读取用量统计缓存；对象存储网关将用量与配额进行比较，判断是否允许上传。2.根据权利要求1所述的方法，其特征在于，包括：客户发起上传或删除对象请求到对象存储网关；对象存储网关成功上传或删除对象；对象存储网关对REDIS更新用量统计数据，插入用量有变化的条目；然后基于REDIS的数据来更新本地缓存的用量统计数据。3.根据权利要求2所述的方法，其特征在于，还包括：用量统计持久化服务定时从REDIS获取用量有变化的条目，并从REDIS读取用量有变化的条目的用量统计数据更新到本地缓存；将上述用量统计数据更新到元数据库。4.根据权利要求3所述的方法，其特征在于，还包括：在REDIS故障的情况下，对象存储网关告知用量统计持久化服务停止定期持久化任务，并向其发送自身缓存的用量数据。5.根据权利要求4所述的方法，其特征在于，还包括：...

【专利技术属性】
技术研发人员：徐宇章，黄润怀，林洁琬，黄鹄，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：