一种基于多层对象存储网关的对象管理方法技术

技术编号:40949163 阅读:19 留言:0更新日期:2024-04-18 20:23
本发明专利技术公开了一种基于多层对象存储网关的对象管理方法,接入对象存储网关响应用户请求并将数据按需转发至流转对象存储网关处理。流转对象存储网关可以处理数据,将数据写入bucket、把数据转发给下一个流转对象存储网关处理或者丢弃数据。通过将数据处理的过程分布到各个节点同时结合数据流转处理技术,可以调整系统实现负载均衡。当系统处于满载状态时通过丢弃数据可以有效保护系统不会奔溃。通过添加新ceph集群的对象流转网关可以实现在线扩容,而且不会扩大原有ceph集群的规模和引起数据在OSD之间的迁移,从而不影响线上业务的稳定运行。

【技术实现步骤摘要】

本专利技术涉及分布式存储的,尤其涉及一种基于多层对象存储网关的对象管理方法


技术介绍

1、ceph作为一种常见的分布式存储系统可以结合对象存储网关(rgw)提供对象存储功能,对象存储网关提供对象的检索和访问服务,同时也承担诸如加密、压缩、垃圾回收和生命周期管理等功能,需要消耗大量的计算资源,为了应对大量的业务请求,ceph集群通常启用多个对象存储网关来分担压力,当某个对象存储网关出现故障时会急剧加大其他对象存储网关的访问压力,从而引发连锁故障导致整个对象存储服务不可用。此外,一个对象存储网关只能访问一个ceph集群的存储资源,当ceph集群的满载后如何平滑地扩容而不影响对象存储服务也是一个亟待解决的问题。

2、为了解决单个对象存储网关故障会造成类似雪崩一样的连锁反应,通常需要设计一套复杂的负载均衡系统,通过扩容和调度等手段满足用户的访问需求,由此会对企业的运维水平提出了更高的要求,以及会增加运营成本。ceph集群虽然可以通过增加osd的形式进行扩容,但是集群添加osd后数据会重新调整数据的分布,调整的过程会严重影响对象存储的服务质量。ceph本文档来自技高网...

【技术保护点】

1.一种基于多层对象存储网关的对象管理方法,其特征在于:管理方法如下:

2.根据权利要求1所述的一种基于多层对象存储网关的对象管理方法,其特征在于:所述流转对象存储网关最大的区别在于可以将数据转发给其他流转对象存储网关处理,例如当流转对象存储网关1的计算资源不足以对数据完成加密和压缩操作时,可以把数据流转至网关2进行处理,每个流转对象存储网关可以选择是否对数据进行处理,数据的流向可以是流转给下一个网关、写入bucket或者丢弃,如果将数据写入bucket,则本次请求的处理将完成,如果将数据丢弃,则本次请求将不再消耗计算资源。

3.根据权利要求2所述的一种基于多层对...

【技术特征摘要】

1.一种基于多层对象存储网关的对象管理方法,其特征在于:管理方法如下:

2.根据权利要求1所述的一种基于多层对象存储网关的对象管理方法,其特征在于:所述流转对象存储网关最大的区别在于可以将数据转发给其他流转对象存储网关处理,例如当流转对象存储网关1的计算资源不足以对数据完成加密和压缩操作时,可以把数据流转至网关2进行处理,每个流转对象存储网关可以选择是否对数据进行处理,数据的流向可以是流转给下一个网关、写入bucket或者丢弃,如果将数据写入bucket,则本次请求的处理将完成,如果将数据丢弃,则本次请求将不再消耗计算资源。

3.根据权利要求2所述的一种基于多层对象存储网关的对象管理方法,其特征在于:多个所述流转对象存储网关组合在一起,形成一个多层对象存储网关,多层对象存储网关包含一个接入对象存储网关和多个流转对象存储网关。

4.根据权利要求3所述的一种基于多层对象存储网关的对象管理方法,其特征在于:所述对象存储网关接入后,根据请求所需的功能将数据流转至支持该功能的对象存储网关,流转对象存储网关可以完成对数据进行加密、压缩、写入bucket、转发给下一个网关和丢弃等操作。

5.根据权利要求4所述的一种基于多层对象存储网关的对象管理方法,其特征在于:所述多层对象存储网关调整各个网关开启的功能,将消耗计算资源的操作分布到各个网关中完成,可以调整每个节点的负载情况,避免某个节点出现过载的情况,当某个节点出现负载过高的情况时,其可以将数据流转给其它节点处理,从...

【专利技术属性】
技术研发人员:刘百川
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1