一种采用擦除码处理数据的方法、系统及装置制造方法及图纸

技术编号:14336586 阅读:77 留言:0更新日期:2017-01-04 10:04
本发明专利技术公开了一种采用擦除码处理数据的方法、系统及装置,将数据进行擦除码处理的过程拆分为两个部分,其中的擦除码乘法运算部分由分布式存储系统中所设置的编码节点完成,而擦除码加法运算部分则由分布式存储系统所设置的存储节点完成,从而减轻了计算节点的擦除码处理的计算量,将部分擦除码处理的计算量在编码节点中完成,从而实现在分布式存储系统中的分布式擦除码的数据处理,提高分布式存储系统中数据进行擦除码编解码的效率。

【技术实现步骤摘要】

本专利技术涉及计算机网络技术,特别涉及一种采用擦除码处理数据的方法、系统及装置
技术介绍
随着计算机技术的发展,需要保证计算机的数据不丢失。为了保证计算机的数据不丢失,采用擦除码处理数据。采用擦除码处理数据的具体过程为:使用擦除码方式处理原始信息,得到原始信息对应的编码信息。擦除码实际上是建立一个数学方程来描述一组数据,以保证可以检测该组数据的准确性且在该组数据丢失时可以恢复。具体地说,擦除码是一种前向纠错编码,它将一个由K个符号组成的原始信息编码成由(K+M)个符号组成的编码信息,这里K>0,M>0,当编码信息丢失的符号数不超过M时,可以由剩下编码信息中的任何K个符号,通过解码得到原始信息。在分布式存储系统中,采用擦除码处理数据时,主要用于处理不被经常访问的数据的冗余备份。无论是采用擦除码对数据进行编码还是解码,都是在分布式存储系统中选择一个特定的节点作为编解码的计算节点,该计算节点从系统中的其他节点将要处理的数据读取到自身后,采用擦除码进行编解码运算,然后再将编解码后的数据再分发到对应的其他节点上存储,如图1所示,图1为现有技术提供的采用擦除码处理数据的网络架构一本文档来自技高网...
一种采用擦除码处理数据的方法、系统及装置

【技术保护点】
一种采用擦除码处理数据的方法,其特征在于,该方法应用在分布式存储系统中,包括:分布式存储系统中的各个节点设置擦除码处理数据的矩阵;在对数据进行擦除码处理时,设置的编码节点采用擦除码处理数据的矩阵与数据进行乘法运算后,将乘法运算结果发送给所设置的存储节点;所述存储节点汇总接收到的数据的乘法运算结果,进行加法运算,得到数据的擦除码处理结果。

【技术特征摘要】
1.一种采用擦除码处理数据的方法,其特征在于,该方法应用在分布式存储系统中,包括:分布式存储系统中的各个节点设置擦除码处理数据的矩阵;在对数据进行擦除码处理时,设置的编码节点采用擦除码处理数据的矩阵与数据进行乘法运算后,将乘法运算结果发送给所设置的存储节点;所述存储节点汇总接收到的数据的乘法运算结果,进行加法运算,得到数据的擦除码处理结果。2.如权利要求1所述的方法,其特征在于,该方法还包括:所述存储节点将得到数据的擦除码处理结果进行存储。3.如权利要求1所述的方法,其特征在于,所述擦除码为系统性擦除码或非系统性擦除码。4.如权利要求1所述的方法,其特征在于,所述对数据进行擦除码处理为对数据进行擦除码的编码或进行擦除码的解码,其中,当进行擦除码的编码时,所述由编码节点采用擦除码处理数据的矩阵与数据进行乘法运算为直接计算;当进行擦除码的解码时,所述由编码节点采用擦除码处理数据的矩阵与数据进行乘法运算为:采用擦除码处理数据的矩阵的逆与数据进行乘法运算。5.一种采用擦除码处理数据的系统,其特征在于,包括:编码节点及存储节点,其中,编码节点,用于设置擦除码处理数据的矩阵,采用擦除码处理数据的矩阵与数据进行乘法运算后,将乘法运算结果发送给存储节点;存储节点,用于汇总接收到的数据的乘法运算结果,进行加法运算,得到...

【专利技术属性】
技术研发人员:邓长春
申请(专利权)人:杭州海康威视系统技术有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1