本发明专利技术提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，方法包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明专利技术通过使用MSR和RS的双层编码，并进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。延时高的问题。延时高的问题。
【技术实现步骤摘要】
针对跨域数据中心的纠删码方法、系统及可读存储介质
[0001]本专利技术涉及数据存储
，尤其涉及一种针对跨域数据中心的纠删码方法、系统及可读存储介质。
技术介绍
[0002]近年来，为了进一步增大存储容量、降低存储成本、提供数据中心级的高容错能力，跨数据中心的纠删码存储系统逐渐得到关注。现有的跨数据中心纠删码技术包括XORBAS、MXOR、AZCode等。
[0003]XORBAS：它将数据块等分为若干个局部校验组，每个校验组使用异或编码生成一个局部校验块，使用生成局部校验块的方式对RS码进行扩展，同时进行高效恢复。
[0004]MXOR：它将十个数据块重新分布成两行，每行五个，然后计算得到五个垂直异或校验块和两个水平异或校验块，共计七个校验块。在处理单节点错误时，MXOR下载垂直校验上的两个存活节点的数据完成恢复任务。多节点错误发生时，需要同时使用水平异或校验和垂直异或校验来恢复数据。
[0005]AZCode：它使用双层编码，第一层使用MSR编码作为局部校验，第二层使用RS编码作为全局校验，通过可用区内的局部校验降低跨可用区的传输开销。
[0006]在跨数据中心的云存储环境下，数据恢复过程中会产生大量的跨数据中心传输流量，不同数据中心之间的网络延时远高于数据中心内的网络延时，带宽小于数据中心内的带宽，因此故障恢复恢复性能和用户访问性能都较差，从而影响系统的整体性能和可靠性。
技术实现思路
[0007]本专利技术的目的在于提供一种针对跨域数据中心的纠删码方法、系统及可读存储介质，解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
[0008]为达到上述目的，本专利技术提供一种针对跨域数据中心的纠删码方法，包括以下步骤：
[0009]S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；
[0010]S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；
[0011]S3、根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。
[0012]可选的，所述S2具体包括：
[0013]S21、建立优化访问延时的目标函数和约束条件：
[0014][0015]s.t.S
i
,
j
X
i,k
X
j,k
＝01≤i≠j≤n,1≤k≤N
[0016][0017][0018]Xi,
k
∈{0,1}1≤i≤n,1≤k≤N
[0019]n＝p+1
[0020]式中：i，j分别为p+1个分组中的第i个块分组和第j个块分组，k为数据中心的数量，X
i,k
，X
j,k
分别为块分组i和块分组j是否位于数据中心k的指示变量，h
i
为块分组i的热度，C
k
为用户访问数据中心k的某一块分组的延时，S
i,j
为块分组i和块分组j是否属于同一条带的指示变量，γ为最大存储系数；
[0021]S22、确定优化恢复传输延时的目标函数和约束条件：
[0022][0023]s.t.S
i,j
X
i,k
X
j,k
＝01≤i≠j≤n,1≤k≤N
[0024][0025][0026]Xi
,k
∈{0,1}1≤i≤n,1≤k≤N
[0027]式中：C
k,l
为数据中心k的某一块分组数据传输到数据中心l的延时，X
j,l
为块分组j是否位于数据中心l的指示变量；
[0028]S23、将优化访问延时和优化恢复传输延时的目标函数和约束条件合并为一个优化问题：
[0029][0030]s.t.S
i,j
X
i,k
X
j,k
＝01≤i≠j≤n,1≤k≤N
[0031][0032][0033]X
i,k
∈{0,1}1≤i≤n,1≤k≤N
[0034]式中，η为权重系数；
[0035]S24、将上述优化问题转化为近似的几何规划问题并求解：
[0036][0037][0038][0039]p
i,k
≤1
[0040][0041]式中，p
,k
和pj
,l
分别为块分组i和块分组j是否位于数据中心k和数据中心l的概率。
[0042]可选的，所述S3具体包括：
[0043]S31、初始化i＝1；
[0044]S32、取出块分组放置概率矩阵P中第i个条带对应的子矩阵；
[0045]S33、找到子矩阵中最大的元素，所述子矩阵的行索引对应块分组索引，所述子矩阵的列索引对应数据中心索引，将所述块分组放置在对应的所述数据中心内，并将该最大的元素所在的行和列都置为0；
[0046]S34、检查子矩阵是否全零，如果否，回到S3。
[0047]可选的，所述S3还包括：
[0048]S35、若所述子矩阵全零，检查所有条带是否放置完，如果否，递增i，回到S32，如果是，说明所有块分组放置完毕。
[0049]基于同一专利技术构思，本申请还提出一种针对跨域数据中心的纠删码系统，包括：
[0050]编码模块，其被配置为使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；
[0051]优化模块，其被配置为对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；
[0052]放置模块，其被配置为根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。
[0053]基于同一专利技术构思，本申请还提出一种可读存储介质，其上存储有计算机程序，所述计算机程序被一处理器执行时能实现如上所述的针对跨域数据中心的纠删码方法。
[0054]在本专利技术提供的一种针对跨域数据中心的纠删码方法、系统及可读存储介质中，通过使用MSR和RS的双层编码，并对优化访问延时和恢复性能进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题，使得系统的恢复性能和访问性能提升。
附图说明
[0055]本领域的普通技术人员将会理解，提供的附图用于更好地理解本专利技术，而不对本
专利技术的范围构成任何限定。其中：
[0056]图1为本专利技术本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种针对跨域数据中心的纠删码方法，其特征在于，包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和所述局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据所述分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。2.根据权利要求1所述的针对跨域数据中心的纠删码方法，其特征在于，所述S2具体包括：S21、建立优化访问延时的目标函数和约束条件：s.t.S
i,j
X
i,k
X
j,k
＝0 1≤i≠j≤n,1≤k≤N1≤i≠j≤n,1≤k≤NX
i,k
∈{0,1} 1≤i≤n,1≤k≤Nn＝p+1式中：i，j分别为p+1个分组中的第i个块分组和第j个块分组，k为数据中心的数量，X
i,k
，X
j,k
分别为块分组i和块分组j是否位于数据中心k的指示变量，h
i
为块分组i的热度，C
k
为用户访问数据中心k的某一块分组的延时，S
i,j
为块分组i和块分组j是否属于同一条带的指示变量，γ为最大存储系数；S22、确定优化恢复传输延时的目标函数和约束条件：s.t.S
i,j
X
i,k
X
j,k
＝0 1≤i≠j≤n,1≤k≤N1≤i≠j≤n,1≤k≤NX
i,k
∈{0,1} 1≤i≤n,1≤k≤N式中：C
k,l
为数据中心k的某一块分组数据传输到数据中心l的延时，X
j,l
为块分组j是否位于数据中心l的指示变量；S23、将优化访问延时和优化恢复传输延时的目标函数和约束条件合并为一个优化问题：
s.t.S
i...
【专利技术属性】
技术研发人员：吴晨涛，李颉，过敏意，薛黄真，胡飘，杨国峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。