一种分布式存储中基于纠删码的容错优化方法及系统技术方案

技术编号:46627122 阅读:3 留言:0更新日期:2025-10-14 21:24
本发明专利技术公开了一种分布式存储中基于纠删码的容错优化方法及系统包括,在写入数据时,采用双层纠删码编码,生成跨集群分布的局部校验块和全局校验块;当需要恢复数据时,通过云网融合控制器实时感知并量化评估成员集群间的网络链路效用,基于该效用评估结果,为恢复任务动态选择最优的临时计算集群和数据传输路径;本发明专利技术通过网络健康度预测机制,能够在链路质量恶化前进行数据迁移,提前规避故障,显著提升了跨集群容错恢复的效率和稳定性,进一步增强了整个联邦分布式存储系统的服务韧性。

【技术实现步骤摘要】

本专利技术涉及分布式存储,尤其涉及一种分布式存储中基于纠删码的容错优化方法及系统


技术介绍

1、随着数字化转型浪潮席卷全球,数据已成为驱动社会经济发展的核心生产要素。云计算、大数据、人工智能以及工业互联网等前沿应用的蓬勃发展,催生了海量非结构化数据的爆炸式增长,对底层数据存储系统的可靠性、可用性与成本效益提出了前所未有的严苛挑战。在这一宏观背景下,分布式存储系统凭借其卓越的可扩展性、高并发处理能力与成本优势,已成为承载海量数据的基石。为保障数据的持久性,分布式存储系统普遍采用数据冗余策略来抵御硬件故障、软件错误乃至数据中心级别的灾难。纠删码(erasure code,ec),作为一种相较于传统多副本复制技术更为高效的冗余策略,因其能够在提供同等级别容错能力的同时,显著降低存储空间开销,已被广泛应用于hadoop、hdfs、ceph等开源存储系统以及各大公有云的对象存储服务中。近年来,随着业务全球化部署成为常态,单一数据中心已无法满足业务连续性的要求,因此,如何构建能够抵御区域性灾难的跨地域、跨数据中心的容错架构成为业界研究与实践的焦点。在此类地理分布式架本文档来自技高网...

【技术保护点】

1.一种分布式存储中基于纠删码的容错优化方法,其特征在于,包括:

2.如权利要求1所述的分布式存储中基于纠删码的容错优化方法,其特征在于,所述网络链路效用是通过对成员集群间的可用带宽、网络延迟、延迟抖动、单位流量成本以及丢包率中的至少两项进行加权线性组合计算得到的。

3.如权利要求1或2所述的分布式存储中基于纠删码的容错优化方法,其特征在于,为所述全局校验块计算并选择最优的目标成员集群,包括:

4.如权利要求1所述的分布式存储中基于纠删码的容错优化方法,其特征在于,所述重构丢失的局部校验块的过程在一个临时计算集群上执行,所述临时计算集群是基于该临时计算...

【技术特征摘要】

1.一种分布式存储中基于纠删码的容错优化方法,其特征在于,包括:

2.如权利要求1所述的分布式存储中基于纠删码的容错优化方法,其特征在于,所述网络链路效用是通过对成员集群间的可用带宽、网络延迟、延迟抖动、单位流量成本以及丢包率中的至少两项进行加权线性组合计算得到的。

3.如权利要求1或2所述的分布式存储中基于纠删码的容错优化方法,其特征在于,为所述全局校验块计算并选择最优的目标成员集群,包括:

4.如权利要求1所述的分布式存储中基于纠删码的容错优化方法,其特征在于,所述重构丢失的局部校验块的过程在一个临时计算集群上执行,所述临时计算集群是基于该临时计算集群与存放所述全局校验块及其他用于第二层解码的局部校验块的各成员集群之间的网络链路效用最优而选择的。

5....

【专利技术属性】
技术研发人员:谢泳生吴俊洁
申请(专利权)人:广州市英球通信设备有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1