一种纠删码存储下多条带合并的宽条带生成方法及系统技术方案

本发明专利技术涉及纠删码存储技术领域，具体公开了一种纠删码存储下多条带合并的宽条带生成方法及系统，该方法将宽条带生成问题建模为组合优化问题，以寻找具有最小宽条带生成带宽的条带组合方案为优化目标，确定组合优化问题的目标函数，采用预设的启发式算法求解目标函数，以求解组合优化问题；根据求解结果执行纠删码存储步骤，与目前已有的宽条带生成方法相比，可以减少额外存储，降低宽条带生成带宽

【技术实现步骤摘要】
一种纠删码存储下多条带合并的宽条带生成方法及系统


[0001]本专利技术涉及纠删码存储
，尤其涉及一种纠删码存储下多条带合并的宽条带生成方法及系统
。

技术介绍

[0002]目前，即使采取了大量的避错
、
除错和差错预测等可靠性措施，分布式存储系统仍然会出现不可预期的故障，因此容错机制成为存储系统在出现故障后避免立刻失效，并能加速恢复正常工作状态的必要手段
。
纠删码技术和副本机制是存储系统用来提供数据容错的常用方法
。
纠删码技术通过编码计算需要更少的额外存储开销且提供与副本机制等同的容错性能，而采用纠删码存储可以将额外存储开销减少到
33
％，并实现更高的可用性
。
在众多的纠删码编码中，
RS(Reed Solomon)
码是目前使用最为广泛的纠删码
。RS
码的存储冗余度
n/k(n
＝
k+m)
取决于其配置参数条带中数据块数量
k
和奇偶块数量
m。
[0003]近年来，一些研究工作探索了宽条带即具有较多数据块和较少奇偶块的条带以追求进一步减少存储冗余
(
即
n/k
接近
1)。
对于
RS
码存储系统，其恢复成本会随着条带中数据块数量增加而增加，因此，重建宽条带中丢失的数据块将引发大量的数据传输
。
近期一些工作探索了纠删码编码的参数更新以实现存储系统的高访问性能和高存储空间利用率
。
例如，一些学者提出实际存储系统应该根据数据热度采用不同参数设置的纠删码存储数据
。
该方法建议将新写入的数据块编码为小
k
值的窄条带，以获得高数据恢复性能
。
随着数据的老化和访问频率的降低，以窄条带存储的冷数据应当转换为大
k
值的宽条带存储以提高存储效率
。
为此，如何高效地生成宽条带成为了纠删码领域的关键问题
。
近年来已有关于如何从窄条带过渡为宽条带的相关研究
。
其中存储扩展方案可将窄条带重新编码为多种形式的宽条带，但是该方法会产生大量的宽条带生成带宽
。
条带合并方法
StripeMerge
能够以较低的宽条带生成带宽将
RS(k,m)
窄条带合并成
RS(2k,m)
宽条带，而这种方法所减少的额外冗余存储是有限的
。
[0004]因此，亟需一种可以减少额外存储并降低宽条带生成带宽的宽条带生成方法
。

技术实现思路

[0005]本专利技术提供了一种纠删码存储下多条带合并的宽条带生成方法及系统，以解决现有技术中存在的问题
。
[0006]为了实现上述目的，本专利技术通过如下的技术方案来实现：
[0007]第一方面，本专利技术提供一种纠删码存储下多条带合并的宽条带生成方法，包括：
[0008]S1
：计算多个窄条带组合的宽条带生成带宽，并将该生成问题建模为组合优化问题；
[0009]S2
：以寻找具有最小宽条带生成带宽的条带组合方案为优化目标，确定所述组合优化问题的目标函数；
[0010]S3
：采用预设的启发式算法求解所述目标函数，以求解所述组合优化问题；
[0011]S4
：根据求解结果执行纠删码存储步骤
。
[0012]可选地，所述
S1
包括：
[0013]S11
：定义数据块迁移操作为将
x
个
RS(k,m)
条带合并成单个
RS(xk,m)
条带，条带的数据块数量从
k
增加到
xk
；并定义奇偶块传输操作为将来自不同节点的奇偶校验块传输到同一节点；
[0014]S12
：将
l
个窄条带
S
＝
{s1,s2,
……
,s
l
}
划分为
λ
个窄条带组合
S
’
＝
{s
’1,s
’2,
……
,s
’
λ
}
，
λ
＝
l/x
，其中每个组合
s
’
i
包含有
x
个
(x≥3)
窄条带且可以合并为一个宽条带；
[0015]S13
：计算
s
’
i
生成宽条带所需的数据块迁移成本以及奇偶校验块传输成本；
[0016]S14
：根据所述数据块迁移成本以及奇偶校验块传输成本得到组合生成宽条带的总数据传输带宽，并将多条带合并的宽条带生成问题建模为组合优化问题
。
[0017]可选地，所述组合
s
’
i
生成宽条带所需的数据块迁移成本
C
data
(s
’
i
)
满足如下关系式：
[0018][0019]其中，
k
为窄条带中数据块的数量，
w
data
(N
j
)
为一个布尔值，表示组合
S
i
'
中窄条带的数据块是否存储于节点
j
，
n
表示存储系统中存储节点的数量；
[0020]组合
s
’
i
生成宽条带所需的奇偶校验块传输成本
C
parity
(s
’
i
)
满足如下关系式：
[0021][0022]其中，
w
parity_p
(N
j
)
为一个布尔值，表示
S
’
i
中窄条带的第
p
组奇偶块是否存储于节点
j
，
m
表示窄条带中的奇偶块数量
。
[0023]可选地，所述目标函数满足如下关系式：
[0024][0025]其中，
O
为全部窄条带的所有不同组合方案
。
[0026]可选地，所述预设的启发式算法包括第一启发式算法；
[0027]所述采用预设的启发式算法求解所述目标函数，包括：
[0028]获取个窄条带组合的合并成本；
[0029]构建以窄条带组合和相应的合并成本为元素的集合；
[0030]对集合内的个窄条带组合的合并成本进行升序排序，并确定该启发式算法的总时间复杂度满足如下关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种纠删码存储下多条带合并的宽条带生成方法，其特征在于，包括：
S1
：计算多个窄条带组合的宽条带生成带宽，并将该生成问题建模为组合优化问题；
S2
：以寻找具有最小宽条带生成带宽的条带组合方案为优化目标，确定所述组合优化问题的目标函数；
S3
：采用预设的启发式算法求解所述目标函数，以求解所述组合优化问题；
S4
：根据求解结果执行纠删码存储步骤
。2.
根据权利要求1所述的纠删码存储下多条带合并的宽条带生成方法，其特征在于，所述
S1
包括：
S11
：定义数据块迁移操作为将
x
个
RS(k,m)
条带合并成单个
RS(xk,m)
条带，条带的数据块数量从
k
增加到
xk
；并定义奇偶块传输操作为将来自不同节点的奇偶校验块传输到同一节点；
S12
：将
l
个窄条带
S
＝
{s1,s2,
……
,s
l
}
划分为
λ
个窄条带组合
S'
＝
{s
′1,s'2,
……
,s'
λ
}
，
λ
＝
l/x
，其中每个组合
s
′
i
包含有
x
个
(x≥3)
窄条带且可以合并为一个宽条带；
S13
：计算
s
′
i
生成宽条带所需的数据块迁移成本以及奇偶校验块传输成本；
S14
：根据所述数据块迁移成本以及奇偶校验块传输成本得到组合生成宽条带的总数据传输带宽，并将多条带合并的宽条带生成问题建模为组合优化问题
。3.
根据权利要求2所述的纠删码存储下多条带合并的宽条带生成方法，其特征在于，所述组合
s
′
i
生成宽条带所需的数据块迁移成本
C
data
(s
′
i
)
满足如下关系式：其中，
k
为窄条带中数据块的数量，
w
data
(N
j
)
为一个布尔值，表示组合
S
i
'
中窄条带的数据块是...

【专利技术属性】
技术研发人员：郑美光，化韬斐，齐博，张艺镪，
申请(专利权)人：中南大学，
类型：发明
国别省市：