可降低修复带宽和磁盘读取开销的编码方法及其修复方法技术

本发明专利技术涉及一种可降低修复带宽和磁盘读取开销的编码方法及其修复方法，该编码方法包括以下步骤：步骤S1、将大小为M＝kf的源文件平均分为f个子文件,同时对这些子文件分别采用(n；k)RS码进行编码，每个子文件得到n个编码数据；步骤S2、将具有相同下标的编码数据分为一组，再将每组的编码数据分为p段，其中p≥2；步骤S3、分别对每段的编码数据进行异或操作生成校验数据。本发明专利技术的编码构造使用了(n；k)RS码作为外部编码生成编码数据，将其分段分别对每段的编码数据通过异或操作生成校验数据，形式简单，益于在软硬件上实现。

Coding method and repair method that can reduce repair bandwidth and disk read cost

【技术实现步骤摘要】
可降低修复带宽和磁盘读取开销的编码方法及其修复方法
本专利技术涉及分布式存储系统领域，具体涉及一种可降低修复带宽和磁盘读取开销的编码方法及其修复方法。
技术介绍
现今世界已进入信息化的时代，信息以各种各样的形式产生、处理、传输以及存储：文本格式、音频、视频、图片、多媒体等等。对存储系统来说，这些信息都是以数据的形式存在。面对信息的日益增长，对海量数据的存储成为了当下迫切需要解决的问题。在网络技术和分布式应用的不断发展下，分布式存储系统因具有较好的高可用性和可扩展性等优点而得到了广泛的关注和应用。然而，当系统遭到破坏时，为了对抗数据失效，需要同时保存相当数量的冗余数据，对于数据的冗余策略需要确定两点：一是当数据失效时，可以利用剩余节点的数据来重构原始数据，二是如何创建冗余数据，使得失效节点得以修复，这个过程我们称其为节点的修复。在修复过程中，所下载数据的量被称为修复带宽。常见的冗余机制包括复制、纠删码。复制是将原始信息的多个副本分别存放在多个存储节点上，通过连接其它有效的节点获取数据，以应对节点数据的失效，文献"TheGoogleFile本文档来自技高网...

【技术保护点】
1.可降低修复带宽和磁盘读取开销的编码方法，其特征在于，包括以下步骤：/n步骤S1、将大小为M＝kf的源文件平均分为f个子文件,分别为：M

【技术特征摘要】
1.可降低修复带宽和磁盘读取开销的编码方法，其特征在于，包括以下步骤：
步骤S1、将大小为M＝kf的源文件平均分为f个子文件,分别为：M1，M2，…，Mf，同时对这f个子文件分别采用(n；k)RS(Reed-Solomon)码进行编码，每个子文件得到n个编码数据，共得到f*n个编码数据，分别为：
步骤S2、将具有相同下标的编码数据分为一组，得到n组编码数据，再将每组的编码数据分为p段，其中p≥2；
步骤S3、分别对每段的编码数据分别进行异或运算，得到p*n个校验数据：
步骤S4、按照简单再生码的储存方式将每段的编码数据和校验数据依次存储于节点i中，i＝1,2…n，每个节点中均存储p个校验数据和f个编码数据。


2.根据权利要求1所述的可降低修复带宽和磁盘读取开销的编码方法，其特征在于，所述步骤S2中，设f＝t(modp)，则第1～t段中每段含有个编码数据，即第t+1～p段中每段含有个编码数据，即


3.根据权利要求1所述的可降低修复带宽和磁盘读取开销的编码方法，其特征在于，所述步骤S3的校验数据为：其中第1～t段：第t+1～p段：


4.可降低修复带宽和磁盘读取开销的编码修复方法，其特征在于，...

【专利技术属性】
技术研发人员：王丽莎，李念，李杰，吴亚男，
申请(专利权)人：湖北大学，
类型：发明
国别省市：湖北;42