一种纠删码数据一致性保障方法及系统技术方案

本发明专利技术涉及计算机存储技术领域，具体涉及一种纠删码数据一致性保障方法及系统，本发明专利技术在leader节点内存中保存seq值，并将物理节点上的磁盘划分为log区域和data区域；进入写数据时，由leader上获取最新的seq，若存在记录，则向上加1；若不存在记录，则进行数据恢复；写入完成后，向每个物理节点发起提交，将log中的数据写入到永久数据区，提交完成后更新已提交的seq，写入完成；读取数据时，若有小于校验码节点数离线，则读出有效节点数据并进行解码；若节点都在线，则直接读取数据返回。本发明专利技术能够根据写入的数据选择进行redo或者undo，从而保证数据的一致性，避免读取到错误的数据。避免读取到错误的数据。避免读取到错误的数据。

【技术实现步骤摘要】
一种纠删码数据一致性保障方法及系统


[0001]本专利技术涉及计算机存储
，具体涉及一种纠删码数据一致性保障方法及系统。

技术介绍

[0002]在存储系统中，硬盘在实际使用过程中年故障率一般在2％上下，这意味着100块硬盘中，平均每年会故障2块，硬盘故障率是非常高的，为了不因硬盘损坏而丢失，存储系统就需要使用数据冗余保护策略来保护数据的安全。多副本和纠删码是目前分布式存储系统中常用的两种数据冗余保护策略。
[0003]多副本就是把数据复制成多份并分别存储到不同地方以实现冗余备份，冗余度很高，但是带来了巨大的额外存储空间消耗，无形中提高了存储的成本，
[0004]纠删码(ErasureCoding,EC)是目前在存储系统中另一种广泛使用的数据保护机制。纠删码首先针对原始数据进行分片，然后基于分片编码生成备份数据，最后将原始数据和备份数据分别写入不同的存储介质。
[0005]纠删码技术主要是通过纠删码算法将原始的数据进行编码得到冗余，并将数据和冗余一并存储起来，以达到容错的目的。其基本思想是将n块原始的数据元素通过一定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种纠删码数据一致性保障方法，其特征在于，所述方法包括以下步骤：S1系统初始化完成，在leader节点内存中保存seq值，并将物理节点上的磁盘划分为log区域和data区域；S2进入写数据，由leader上获取最新的seq，若存在记录，则向上加1；若不存在记录，则进行数据恢复；S3将需要写入的数据进行拆分及编码，并将数据和元数据及当前写入数据的seq写入到每个物理节点log；S4写入完成，向每个物理节点发起提交，将log中的数据写入到永久数据区，提交完成后更新已提交的seq，写入完成；S5读取数据时，若有小于校验码节点数离线，则读出有效节点数据并进行解码；若节点都在线，则直接读取数据返回。2.根据权利要求1所述的一种纠删码数据一致性保障方法，其特征在于，所述方法中，在leader节点内存中保存一个纠删码条带整体的seq值，并在每个物理节点内存中保存一个已提交的seq值，将物理节点上的磁盘划分为log区域和data区域。3.根据权利要求2所述的一种纠删码数据一致性保障方法，其特征在于，所述方法中，log区域用来记录当前写入的数据日志，data区域为永久性数据。4.根据权利要求1所述的一种纠删码数据一致性保障方法，其特征在于，所述方法中，进行数据恢复时，如果所有节点都重启或者系统刚开始运行时leader上没有记录seq时，在每个节点上log中查找到最大相...

【专利技术属性】
技术研发人员：刘爱贵，李纲彬，阮薛平，
申请(专利权)人：北京大道云行科技有限公司，
类型：发明
国别省市：