一种基于数据缓存的纠删码集群存储扩容方法技术

本发明专利技术公开了一种基于数据缓存的纠删码集群存储扩容方法，包括响应用户读请求、迁移缓存数据分块和更新校验分块的步骤；迁移旧节点缓存中的数据分块，同时利用新节点生成新条带中的校验分块，实现扩容后存储集群中各个节点的负载均衡；每个计算校验分块的节点本地磁盘保存一个校验分块，其他的校验分块发送给旧节点替换掉条带中的数据分块，条带中其余数据分块在旧节点的位置保持不变，当一个新条带分块均匀分布在集群各节点后，热数据分块从旧节点迁移到新增节点，由此最小化条带分块重新分布带来的网络传输流量开销；缓存数据分块迁移支持热点数据在所有节点上的均匀分布，有效提高集群节点的并行访问效率；新增节点利用接收的缓存数据分块生成校验分块，分散计算操作的同时可减少新校验分块的网络传输量；充分利用缓存数据来减少存储扩容时的旧数据分块读取，可及时响应客户端请求，且能提高扩容效率。

【技术实现步骤摘要】

本专利技术属于计算机存储领域，更具体地，涉及一种基于数据缓存的纠删码集群存储扩容方法。
技术介绍
纠删码广泛应用于分布式存储，纠删码存储集群将数据按纠删编码方式存放到多个存储节点上，借助纠删码自有冗余特性，使得存储集群具备了一定的容错能力。目前应用于存储系统的纠删编码主要包括阵列编码(RAID码)、最小密度校验码(LDPC码)和里德-所罗门编码(RS码)。在相同容量条件下，RS编码具有比阵列编码更高的容错能力；LDPC码具有译码不确定性，其无法保证译码肯定成功，当数目很小的信息块丢失时，可能导致无法完全恢复出完整信息，因此LDPC码并不完全适合于对需要100％数据恢复的存储系统。本专利技术针对的是基于RS码的存储集群。随着存储集群的运行和使用，集群中存储容量将逐渐减少，需要通过增加存储节点的方式来增加系统中存储容量，称之为‘存储集群扩容’。现有的磁盘阵列扩展方案主要针对RAID-0、RAID-4、RAID-5和RAID-6，RAID-0扩容方案只处理数据的迁移，未考虑校验数据的更新；RAID-4要求在所有数据磁盘上有均匀的数据分布，使得RAID-4扩容方案会导致大量的数据迁移；RAID-5采用基于轮询的数据分布，如果将RAID-5扩容方案应用于RS码存储集群，集群将面临大量数据移动和校验更新的高I/O开销问题。RAID-6扩容方案专门为特定RAID-6编码和RAID-6布局而设计，并不适用于纠删码存储集群；因此现有的磁盘阵列扩展方案均不适于集群存储扩容。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于数据缓存的RS纠删码集群存储扩容方法，将用户访问时缓存在内存中的数据直接用于编码计算，在降低磁盘读取的同时，可以将热点访问均匀地分散到多个节点上，达到读写访问平衡。为了实现上述专利技术目的，本专利技术提供了一种基于数据缓存的RS纠删码集群存储扩容方法，包括响应客户端读数据请求的步骤和集群存储扩容的步骤，具体如下：(1)响应客户端读数据请求：根据客户端读数据请求，在元数据服务器上定位目标数据分块所在的节点；并判断该目标数据分块是否命中该节点的缓存；将命中缓存的数据分块直接返回给客户端；对于未命中缓存的数据分块，则将其从磁盘读取到缓存；若从磁盘读取的数据分块处于新条带，则将其从缓存发送到客户端，若从磁盘读取的数据分块处于旧条带，则在将其发送到客户端，并发送到新增节点；本步骤中，目标数据分块发送到客户端与该数据分块发送到新增节点的动作同步进行，起到提高扩容效率的作用；(2)集群存储扩容：新增节点根据接收到的旧数据分块，采用RS纠删编码计算得到新校验分块；由该旧数据分块和新校验分块构成新条带；将新条带上的分块(包括数据分块和校验分块)均匀分布到存储集群的各节点；其中，旧数据分块指的是新增节点接收的处于旧条带的数据分块；上述方法中，直接读取客户端访问时缓存的数据分块，即位于旧条带上的旧数据分块，将其直接用于RS纠删编码计算，以获取新条带的新校验分块，减少了由“读取旧数据分块”所带来的磁盘读写开销；将新条带上的分块重新分布，可以将热点访问均匀地分散到集群中多个节点上，达到存储集群读写访问平衡。优选地，上述基于数据缓存的RS纠删码集群存储扩容方法，在步骤(1)之前，还包括初始化步骤：在该步骤中，每个集群节点预先分配缓存，在集群中指定一个节点作为元数据服务器用来管理集群中的节点(包括扩容前的节点和扩容后的新增节点)，并维护一个全局数据分配表；其中，全局数据分配表用于管理存储集群中所有分块的放置位置，以及各分块所属的条带。优选地，上述步骤(1)具体包括如下子步骤：(1.1)元数据服务器根据接收到的读数据请求，判断存储集群中是否存在请求所包含的目标数据分块；若是，则进入步骤(1.2)；若否，则接收下一条客户端读数据请求；(1.2)查找目标数据分块在集群节点所处的位置以及目标数据分块所在的条带；(1.3)判断在该集群节点的缓存中是否命中目标数据分块，若是，将缓存中的目标数据分块发送给客户端；若否，则进入步骤(1.4)；(1.4)从磁盘中读取目标数据分块发送到缓存，并判断目标数据分块是否位于旧条带，若是，则将目标数据分块发送到新增节点的缓存，同时将目标数据分块发送到客户端；若否，则直接将目标数据分块发送到客户端。优选地，步骤(2)具体包括如下子步骤：(2.1)往存储集群中添加新节点，以在物理上增加存储集群的容量；(2.2)新增节点接收并缓存旧数据分块；(2.3)判断新增节点缓存中接收到的数据分块数目是否达到阈值；若是，则采用RS纠删编码方法生成新校验分块；若否，则进入步骤(2.2)；其中，阈值是指一个完整新条带中的数据分块数目；(2.4)将新条带上的分块均匀分布到存储集群的各个节点，使得分块在存储集群各节点间传输所产生的网络开销最小。优选地，上述步骤(2.4)具体包括如下子步骤：(2.4.1)新增节点将缓存中的一个校验分块写入磁盘,将(Δk+Δr-1)个数据分块发送到其他新增节点；将(r'-1)个校验分块写回旧条带所在节点的磁盘，并替换所在节点上的旧数据分块；其中，Δk是新条带相比旧条带增加的数据分块数，Δr是新条带相比旧条带增加的校验分块数，r'是新条带中新校验分块数；(2.4.2)当新条带中全部的数据分块和校验分块写入存储集群节点的磁盘时，更新元数据服务器中的全局数据分配表；在上述步骤(2.4.1)中，通过在集群节点间重新分布新条带中部分的数据分块和全部的校验分块，实现新条带分块(包括数据分块和校验分块)在存储集群节点中均匀分布的同时，减少网络传输开销。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术提供的这种基于缓存的RS纠删码存储集群扩容方法，通过迁移响应客户端请求时缓存中的数据分块，节省扩容时从磁盘读取数据分块的开销，同时实现热点数据在存储集群中所有节点上的均匀分布，有效提高集群节点的并行访问效率；(2)本专利技术提供的这种基于缓存的RS纠删码存储集群扩容方法，通过新增节点对接收到的旧数据分块直接进行RS纠删编码生成新条带中的新校验分块，提高了RS纠删编码集群存储扩容效率；(3)本专利技术提供的这种基于缓存的RS纠删码存储集群扩容方法，在新条带分块重新分布过程中，每个计算新条带上的校验分块的节点本本文档来自技高网...

【技术保护点】
一种基于数据缓存的纠删码集群存储扩容方法，其特征在于，具体包括如下步骤：(1)根据客户端读数据请求，在元数据服务器上定位目标数据分块所在的节点；并判断该目标数据分块是否命中该节点的缓存；将命中缓存的数据分块直接返回给客户端；对于未命中缓存的数据分块，则将其从磁盘读取到缓存；若从磁盘读取的数据分块处于新条带，则将其从缓存发送到客户端，若从磁盘读取的数据分块处于旧条带，则在将其发送到客户端，并发送到新增节点；(2)新增节点根据接收到的旧数据分块，采用RS纠删编码计算得到新校验分块；由所述旧数据分块和新校验分块构成新条带；将新条带上的分块均匀分布到存储集群的各节点；所述旧数据分块指的是新增节点接收的处于旧条带的数据分块。

【技术特征摘要】
1.一种基于数据缓存的纠删码集群存储扩容方法，其特征在于，具体
包括如下步骤：
(1)根据客户端读数据请求，在元数据服务器上定位目标数据分块所
在的节点；并判断该目标数据分块是否命中该节点的缓存；
将命中缓存的数据分块直接返回给客户端；对于未命中缓存的数据分
块，则将其从磁盘读取到缓存；若从磁盘读取的数据分块处于新条带，则
将其从缓存发送到客户端，若从磁盘读取的数据分块处于旧条带，则在将
其发送到客户端，并发送到新增节点；
(2)新增节点根据接收到的旧数据分块，采用RS纠删编码计算得到
新校验分块；由所述旧数据分块和新校验分块构成新条带；将新条带上的
分块均匀分布到存储集群的各节点；所述旧数据分块指的是新增节点接收
的处于旧条带的数据分块。
2.如权利要求1所述的纠删码集群存储扩容方法，其特征在于，在所
述步骤(1)之前，还包括初始化步骤：为每个集群节点分配缓存，在集群
中指定一个节点作为元数据服务器用来管理集群中的节点，并维护一个全
局数据分配表；所述全局数据分配表用于管理存储集群中所有分块的放置
位置，以及各分块所属的条带。
3.如权利要求1所述的纠删码集群存储扩容方法，其特征在于，所述
步骤(1)具体包括如下子步骤：
(1.1)元数据服务器根据接收到的读数据请求，判断存储集群中是否
存在请求所包含的目标数据分块；若是，则进入步骤(1.2)；若否，则接
收下一条客户端读数据请求；
(1.2)查找目标数据分块在集群节点所处的位置以及目标数据分块所
在的条带；
(1.3)判断在该集群节点的缓存中是...

【专利技术属性】
技术研发人员：黄建忠，曹强，谢长生，黄文胜，王爽，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42