【技术实现步骤摘要】
一种纠删码更新方法及装置,电子设备
本申请涉及计算机
,特别是涉及一种纠删码更新方法及装置,电子设备。
技术介绍
纠删码(EC,ErasureCoding)是一种用于数据修复的编码技术。原始数据通常被切分为L字节大小的数据块,L为固定值;并使用m个原始数据块通过编码计算得到k个L字节大小校验数据块,一并存储,称为一个EC组。若m+k个数据块当中有任意k个数据块损坏或丢失,系统都可以通过解码计算恢复全部原始数据。校验数据块是通过编码系数矩阵对原始数据块进行编码得到的原始数据中某一块的一个字节的数据发生变化,关联的k个校验数据块中的相应数据也将发生变化。现有技术中,当原始数据中某一字节的数据发生变化后,对存储的EC组中的数据的更新过程是:待更新的原始数据块所在服务器从本地磁盘读取更新前的原始数据,并根据待写入的原始数据计算出该原始数据块相关的所有k个校验数据块需要的增量更新校验数据块;然后,所述服务器将所述待写入的原始数据写入本地磁盘,再将k个增量更新校验数据块通过网络并行发送至k个存储校验数据的服务器上;每个存储校验数据的服务器从本地磁盘读取原始的校验数据,并 ...
【技术保护点】
一种纠删码更新方法,其特征在于,包括:根据更新纠删码中原始数据的请求,更新原始数据变化日志;更新所述原始数据;当满足预设条件时,根据更新后的所述原始数据变化日志,更新所述纠删码中的校验数据;其中,所述原始数据的变化日志包括:与待更新的校验数据对应的原始数据,最近更新的原始数据。
【技术特征摘要】
1.一种纠删码更新方法,其特征在于,包括:根据更新纠删码中原始数据的请求,更新原始数据变化日志;更新所述原始数据;当满足预设条件时,根据更新后的所述原始数据变化日志,更新所述纠删码中的校验数据;其中,所述原始数据的变化日志包括:与待更新的校验数据对应的原始数据,最近更新的原始数据。2.根据权利要求1所述的更新方法,其特征在于,所述更新纠删码中原始数据的请求包括更新的子数据块的标识,所述根据更新纠删码中原始数据的请求,更新原始数据变化日志的步骤,包括:如果预设的原始数据变化日志中存在所述请求指定的子数据块的写入记录,则在所述原始数据变化日志末尾追加所述子数据块的第一种写入记录,其中,所述第一种写入记录至少包含用于更新的原始数据;如果预设的原始数据变化日志中不存在所述请求指定的子数据块的写入记录,则在所述原始数据变化日志末尾追加所述子数据块的第二种写入记录,其中,所述第二种写入记录至少包含与待更新的校验数据对应的所述子数据块的原始数据和用于更新的原始数据。3.根据权利要求1所述的更新方法,其特征在于,还包括:如果根据更新纠删码中原始数据的请求确定需要对所述纠删码中全部原始数据进行更新,则更新所述纠删码中全部原始数据和全部校验数据;清空原始数据变化日志。4.根据权利要求2或3所述的更新方法,其特征在于,所述根据更新后的所述原始数据变化日志,更新所述纠删码中的校验数据的步骤,包括:获取更新后所述原始数据变化日志中与待更新的校验数据对应的原始数据和最近更新的原始数据,以及待更新的所述纠删码中的校验数据;根据预设第一编码公式计算待写入校验数据;以所述待写入校验数据更新所述待更新的所述纠删码中的校验数据;其中,所述预设第一编码公式基于预设编码系数矩阵、所述原始数据块最近更新的原始数据和与待更新的校验数据对应的原始数据生成。5.根据权利要求2或3所述的更新方法,其特征在于,所述根据更新后的所述原始数据变化日志,更新所述纠删码中的校验数据的步骤,包括:遍历所述原始数据变化日志,确定每个原始数据块中存在有效写入记录的子数据块;分别根据更新后的所述原始数据变化日志对所述子数据块的校验数据进行更新,所述子数据块为存储在一个最小写入单元内的原始数据;其中,所述根据更新后的所述原始数据变化日志对所述子数据块的校验数据进行更新包括:获取所述原始数据变化日志中所述子数据块与待更新的校验数据对应的原始数据,以及,所述子数据块最近更新的原始数据;以根据第二预设编码公式计算得到的所述子数据块中最近更新的原始数据的校验数据,更新所述子数据块的待更新的校验数据;其中,所述第二预设编码公式基于预设编码系数矩阵、所述原始数据变化日志中所述子数据块与待更新的校验数据对应的原始数据和所述子数据块最近更新的原始数据生成。6.根据权利要求1至3任意一项权利要求所述的更新方法,其特征在于,所述预设条件至少包括以下任意一项:所述原始数据的变化日志达到预设长度、达到预设更新时间、出现原始数据错误。7.一种纠删码更新装置,其特征在于,包括:日志更新模块,用于根据更新纠删码中原始数据的请求,更新原始数据变化日志;原始数据更新模块,用于更新所述原始数据;校验数据更新模块,用于当满足预设条件时,根据所述日志更新模块更新后的所述原始数...
【专利技术属性】
技术研发人员:李慧霸,张志明,
申请(专利权)人:北京三快在线科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。