System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于缓冲的异步转存CEPH集群的方法及电子设备技术_技高网

基于缓冲的异步转存CEPH集群的方法及电子设备技术

技术编号:40753167 阅读:3 留言:0更新日期:2024-03-25 20:08
本公开公开了基于缓冲的异步转存CEPH集群的方法及电子设备,该方法包括:文件接口接收写入文件,判断写入文件的大小,如果大于设定阈值,则将所述写入文件拆分成固定大小的文件切片并存储文件切片,且所述文件切片不大于所述设定阈值,如果小于或者等于所述设定阈值,则格式化写入文件并存储;接收文件读取请求,对CEPH集群进行监控,当CEPH集群处于异常状态时,将文件读取请求发送至缓冲服务上;当CEPH集群处于正常状态时,将文件读取请求发送至CEPH集群上,并缓冲服务启动异步写入线程,读取相关文件并生成完整文件,将完整文件写入所述CEPH集群。本公开能够防止整个CEPH集群异常而导致的业务中断,实现对业务影响无感知,且保障数据存储一致性。

【技术实现步骤摘要】

本公开属于数据存取,特别涉及一种基于缓冲的异步转存ceph集群的方法及电子设备。


技术介绍

1、ceph集群是一种分布式存储系统,可以将多台服务器组成一个大的集群,在对硬件磁盘设备进行维护过程中,涉及到扩容增加容量和缩容(磁盘损坏或者其他情况)剔除服务节点,当新的主机或磁盘加入或者移出集群时,会有新的osd加入集群或者移除osd,就会把状态上报给monitor,monitor知道osd的map发生了变化就会触发数据均衡(rebalancing),确保pg能够平滑的移动到各个osd上(如图1所示)。

2、目前以pg为整体进行数据重新自平衡,在自平衡的过程中,osd上线(up)后会发现,自己承载的pg有数据落后,需要进入数据恢复模式(recovery),从其它osd上获取新的数据达到同步,ceph存储系统在自平衡过程中,写入速率降低,内存等负载大幅提升,读写性能会受到影响,业务也可能因此受到影响。

3、针对上述问题,提出本公开的一种基于缓冲的异步转存ceph集群的方法及电子设备。


技术实现思路

1、为了解决所述现有技术的不足,本公开提供了一种基于缓冲的异步转存ceph集群的方法及电子设备,以解决现有技术的ceph存储系统在自平衡过程中,写入速率降低,读写性能受到影响,业务也因此受到影响的技术问题。

2、本公开所要达到的技术效果通过以下方案实现:

3、第一方面,本公开实施例提供一种基于缓冲的异步转存ceph集群的方法,所述方法包括:

4、文件接口接收写入文件,对所述ceph集群进行监控,当所述ceph集群处于正常状态时,将所述写入文件存入所述ceph集群中,当所述ceph集群处于异常状态时,将所述写入文件存入缓冲服务上,并判断所述写入文件的大小,如果所述写入文件大于设定阈值,则将所述写入文件拆分成固定大小的文件切片并存储所述文件切片,且所述文件切片不大于所述设定阈值,如果所述写入文件小于或者等于所述设定阈值,则格式化所述写入文件并存储;其中所述设定阈值为4m;

5、所述文件接口接收文件读取请求,对所述ceph集群进行监控,当所述ceph集群处于异常状态时,将所述文件读取请求发送至缓冲服务上;当所述ceph集群处于正常状态时,将所述文件读取请求发送至所述ceph集群上,同时所述缓冲服务启动异步写入线程,读取相关文件并生成完整文件,将所述完整文件写入所述ceph集群。

6、在一些实施例中,所述存储所述文件切片,包括:

7、每个所述文件切片对应一个文件页链表,将每个所述文件切片的文件名称,文件大小,创建修改时间,目录结构以及所述文件页链表存入元数据引擎redis中,将所述文件切片格式化以后存入minio中。

8、在一些实施例中,所述异常状态包括所述ceph集群正在进行均衡操作,出现网络异常或所述ceph集群处于异常状态。

9、在一些实施例中,所述文件页链表包括以下参数:偏移量参数,文件块大小参数,是否已加载参数;所述偏移量参数,所述文件块大小参数以及所述是否已加载参数用于执行多线程分段同写入。

10、在一些实施例中,所述格式化所述写入文件并存储,包括:

11、每个所述写入文件对应一个文件页链表,将每个所述写入文件的文件名称,文件大小,创建修改时间,目录结构以及所述文件页链表存入元数据引擎redis中,将所述写入文件格式化以后存入minio中。

12、在一些实施例中,在将所述文件读取请求发送至缓冲服务上之后,所述缓冲服务根据所述元数据引擎redis中的文件页链表的规则,依次读取并返回相关文件,或者直接读取并返回相关文件。

13、在一些实施例中,针对每个所述写入文件,在redis中的生成一个唯一的全局文件id,对所述全局文件id指定有效期,结合lru算法,对过期的所述全局文件id进行监听,并触发删除minio中对应的数据块,实现对象存储的生命周期管理;其中,minio中对应的数据块指的是与该全局文件id对应的相关的文件切片和/或格式化后存的相关的写入文件。

14、在一些实施例中,所述文件切片的大小为4m。

15、第二方面,本公开实施例提供一种电子设备,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现前述任意一项所述的基于缓冲的异步转存ceph集群的方法。

16、第三方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述任一项所述的基于缓冲的异步转存ceph集群的方法。

17、通过本公开实施例提供的基于缓冲的异步转存ceph集群的方法,通过对ceph集群进行实时监控,根据其不同的状态来处理文件读取请求,且设置缓冲服务完成对象存储链路的备份,能够防止整个ceph集群异常而导致的业务中断,实现对业务影响无感知,且保障数据存储一致性的技术效果。

本文档来自技高网
...

【技术保护点】

1.一种基于缓冲的异步转存CEPH集群的方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于缓冲的异步转存CEPH集群的方法,其特征在于,所述存储所述文件切片,包括:

3.如权利要求1或2所述的基于缓冲的异步转存CEPH集群的方法,其特征在于,所述异常状态包括所述CEPH集群正在进行均衡操作,出现网络异常或所述CEPH集群处于异常状态。

4.如权利要求2所述的基于缓冲的异步转存CEPH集群的方法,其特征在于,所述文件页链表包括以下参数:偏移量参数,文件块大小参数,是否已加载参数;所述偏移量参数,所述文件块大小参数以及所述是否已加载参数用于执行多线程分段同写入。

5.如权利要求2所述的基于缓冲的异步转存CEPH集群的方法,其特征在于,所述格式化所述写入文件并存储,包括:

6.如权利要求5所述的基于缓冲的异步转存CEPH集群的方法,其特征在于,在将所述文件读取请求发送至缓冲服务上之后,所述缓冲服务根据所述元数据引擎Redis中的文件页链表的规则,依次读取并返回相关文件,或者直接读取并返回相关文件。

7.如权利要求6所述的基于缓冲的异步转存CEPH集群的方法,其特征在于,针对每个所述写入文件,在Redis中的生成一个唯一的全局文件ID,对所述全局文件ID指定有效期,结合LRU算法,对过期的所述全局文件ID进行监听,并触发删除Minio中对应的数据块,实现对象存储的生命周期管理。

8.如权利要求1所述的基于缓冲的异步转存CEPH集群的方法,其特征在于,所述文件切片的大小为4M。

9.一种电子设备,其特征在于,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的基于缓冲的异步转存CEPH集群的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1至8任意一项所述的基于缓冲的异步转存CEPH集群的方法。

...

【技术特征摘要】

1.一种基于缓冲的异步转存ceph集群的方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于缓冲的异步转存ceph集群的方法,其特征在于,所述存储所述文件切片,包括:

3.如权利要求1或2所述的基于缓冲的异步转存ceph集群的方法,其特征在于,所述异常状态包括所述ceph集群正在进行均衡操作,出现网络异常或所述ceph集群处于异常状态。

4.如权利要求2所述的基于缓冲的异步转存ceph集群的方法,其特征在于,所述文件页链表包括以下参数:偏移量参数,文件块大小参数,是否已加载参数;所述偏移量参数,所述文件块大小参数以及所述是否已加载参数用于执行多线程分段同写入。

5.如权利要求2所述的基于缓冲的异步转存ceph集群的方法,其特征在于,所述格式化所述写入文件并存储,包括:

6.如权利要求5所述的基于缓冲的异步转存ceph集群的方法,其特征在于,在将所述文件读取请求发送至缓冲服务上之后,所述缓冲服务根据所述元数据引擎redis中的文件页链表的规则,依次读...

【专利技术属性】
技术研发人员:常顺民闫振利汪秀兵
申请(专利权)人:联通在线信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1