一种网络编码集群存储系统中基于锁机制的数据重建策略技术方案
A data reconstruction strategy based on lock mechanism in a network coded cluster storage system
【技术实现步骤摘要】
一种网络编码集群存储系统中基于锁机制的数据重建策略
本专利技术涉及存储系统
，具体涉及一种网络编码集群存储系统中基于锁机制的数据重建策略。
技术介绍
在数据规模与日俱增的背景下，为了减少数据储存的成本，网络编码成为了替代传统三副本的数据冗余机制。网络编码通过计算原始数据块的校验块来减少存储成本，然而当发生节点失效系统进行数据重建时，网络编码的文件系统需要牺牲数倍于副本机制的网络带宽。这既大大增加了数据重建时间，又增加了节点失效时的系统响应时间。缩小重建窗口对于保障系统数据可靠性和可用性很有必要。基于热区的分布式文件系统重建策略根据用户I/O负载优先重建热数据，一定程度地使数据重建性能和系统响应性能得到了优化。在热区重建策略中，替换磁盘同时服务于重建数据流和用户访问数据流，因此写和读操作在替换磁盘中交替进行。由于分布式存储系统中的I/O性能跟本地文件系统的I/O性能存在差异，如本专利技术实施阶段采用了ATAOverEthernet(AOE)这种相对于iSCSI协议更加轻量、更加安全且性能更优越的网络通信协议来连接分布式的物理磁盘，在AOE中系统的写性能比读性能...
【技术保护点】
一种网络编码集群存储系统中基于锁机制的数据重建策略，其特征在于，所述的数据重建策略包括以下步骤：S1、初始化网络编码集群存储系统参数，所述的系统参数包括节点数目、节点大小、所应用的网络编码类型、默认数据块大小；S2、初始化数据重建进程，包括指定失效节点数目和替换设备名称，初始化后的数据重建进程等待跟踪进程发送当前访问最热区域；S3、启动跟踪进程跟踪用户访问特征情况，对不同访问区域的访问次数进行统计；S4、启动用户访问进程对网络编码集群存储系统发起访问，用户访问进程根据齐夫定律生成对网络编码集群存储系统的访问，若访问到存活节点的数据则直接访问，若访问的数据为失效节点数据则查看...
【技术特征摘要】
1.一种网络编码集群存储系统中基于锁机制的数据重建策略，其特征在于，所述的数据重建策略包括以下步骤：S1、初始化网络编码集群存储系统参数，所述的系统参数包括节点数目、节点大小、所应用的网络编码类型、默认数据块大小；S2、初始化数据重建进程，包括指定失效节点数目和替换设备名称，初始化后的数据重建进程等待跟踪进程发送当前访问最热区域；S3、启动跟踪进程跟踪用户访问特征情况，对不同访问区域的访问次数进行统计；S4、启动用户访问进程对网络编码集群存储系统发起访问，用户访问进程根据齐夫定律生成对网络编码集群存储系统的访问，若访问到存活节点的数据则直接访问，若访问的数据为失效节点数据则查看其所处区域是否已完成重建，若已完成重建则尝试获取替换设备的读锁，否则一律采取解码操作；S5、数据重建进程接收跟踪进程发送来的当前最热访问区域，并对该区域内常数个数据块进行解码操作，之后优先获取替换设备写锁，对替换设备进行写操作。2.根据权利要求1所述的一种网络编码集群存储系统中基于锁机制的数据重建策略，其特征在于，所述的步骤S4中的用户访问进程所发起的访问的实现步骤如下：S401、随机生成本次访问的请求磁盘号，根据齐夫定律生成N个热区中要访问的热区号i，再随机生成热区i内的访问偏移地址并将其映射到请求磁盘的逻辑地址中；S402、判断用户此次访问的磁盘是否已经失效；S403、若用户此次访问磁盘未失效，则直接访问存活磁盘中指定数据块，之后跳转到步骤S401进行下一次访问；S404、若用户此次访问磁盘已失效，则判断替换磁盘中请求访问的区域是否已经修复；S405、请求访问区域已经重建完成，则判断获取替换磁盘的读锁是否成功；S406、请求访问区域未重建完成，则执行解码操作，之后跳转到步骤S401进行下一次访问；S407、获取替换磁盘读锁成功，则直接在替换磁盘中访问数据块，访问结束后释放对替换磁盘的读锁，之后跳转到步骤S401进行下一次访问；S408、获取替换磁盘读锁失败，则跳转到步骤S406执行解码操作。3.根据权利要求2所述的一种网络编码集群存储系统中基于锁机制的数据重建策略，其特征在于，所述的步骤S401中用户访问进程根据齐夫定律生成对网络编码集群存储系统的访问，使用户I/O符合80/20规则。4.根据权利要求3所述的一种网络编码集群存储系统中基于锁机制的数据重建策略，其特征在于，所述的步骤S401中将磁盘划分为不同热区并进行访问的处理具体如下：将所有磁盘横向均分为N个热区，根据齐夫定律选择每次需要访问...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。