一种异构分布式存储的容量和带宽折中方法及系统技术方案

本发明专利技术提供了一种异构分布式存储的容量和带宽折中方法及系统，包括:客户端模块，修复序列生成模块和折中曲线绘制模块；通过客户端模块输入模块输入存储系统的参数信息；将存储系统的参数信息输入到修复序列生成模块，得到修复序列；将修复序列输出至折中曲线绘制模块，得到折中曲线，输出至客户端模块的输出模块；所述修复序列生成模块：对于任意带宽和容量，分析修复序列对最小割的影响，生成信息流图最小割最小的修复序列；所述折中曲线绘制模块：绘制存储系统的存储容量和修复带宽的折中曲线。本发明专利技术针对异构分布式存储系统，分析不同的修复方案所能达到的文件存储大小的上界，提出了存储容量和修复带宽折中曲线绘制方法。

A compromise method and system of capacity and bandwidth for heterogeneous distributed storage

【技术实现步骤摘要】
一种异构分布式存储的容量和带宽折中方法及系统
本专利技术涉及数据存储领域，具体地，涉及一种异构分布式存储容量和带宽折中方法及系统，更为具体地，涉及用于异构分布式存储系统的容量的计算和存储容量和修复带宽的折中曲线的绘制。
技术介绍
近年来，随着互联网技术的高速发展，以及整个信息行业的发展，信息被海量产生、传输、处理和存储，并成指数级增长趋势。为了满足海量数据的存储需求，分布式存储系统由于其成本低、扩展性强、访问速度快、可靠性高、支持更高的并发访问量等特点得到了广泛的应用。纠删码能够在保证较高数据可靠性的情况下大大减少数据冗余，因此在分布式存储系统中得到广泛的应用。纠删码的工作原理如下：一个纠删码通常是使利用线性码的编码技术对文件进行编码，大小为的原始数据被划分和编码成份大小的数据并存储在个节点上。如果一个纠删码满足性质：任意份数据都可以恢复出原始数据，那么我们就称这个纠删码满足MDS(MaximumDistanceSeparate)性质。满足MDS性质的线性码被称为MDS码。MDS码是一类存储效率非常高的编码方案。虽然MDS码在冗余和可靠性权衡方面是最优的，但是修复一个节点时，也需要访问其它个完好的节点。如果我们对其中一些信息位(小于个)再添加额外的校验信息，那么在这些节点损坏时，就可以只访问这些有校验关系的节点，而不需要访问个节点。这样添加额外的校验位，虽然在一定程度上降低了存储效率，但是可以大量节省修复带宽。如上所述，传统纠删码在修复损坏节点时需要使用大量的网络带宽，而添加额外的校验位则降低了存储效率。为了平衡存储容量和修复带宽的关系，信息流图被引入用以对分布式存储系统建模，利用网络编码的方法定义系统容量，并据此刻画出节点的存储容量和节点的修复带宽之间的折中关系。再生码的构造主要基于最优折中关系曲线上的最小存储点和最小带宽点，分别对应于最小存储再生(MinimumStorageRegenerating，MSR)码和最小带宽再生(MinimumBandwidthRegenerating，MBR)码。以上的纠删码数据修复的研究都基于这样一个假定:分布式存储系统中各个节点是无差别的。在实际的分布式系统中，系统往往是异构的，即每个节点存储数据量和从帮助节点下载的数据量是不同的。在这种情况下，异构分布式存储系统的容量和修复带宽折中界推算是非常重要的，因为再生码的构造需要依据存储容量和修复带宽的折中关系曲线。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种异构分布式存储的容量和带宽折中方法及系统。根据本专利技术提供的一种异构分布式存储的容量和带宽折中系统，包括:模块M1：通过客户端模块输入存储系统的参数信息；模块M2：将存储系统的参数信息输入到修复序列生成模块，得到修复序列；模块M3：通过修复序列计算存储系统能正确存储的文件的大小系统的存储容量、带宽之间的关系；利用存储容量、带宽之间的关系，通过折中曲线绘制步骤来绘制曲线；所述客户端模块，作为用户接口；所述修复序列生成模块：对于任意带宽和容量，分析修复序列对最小割的影响，生成信息流图最小割最小的修复序列；所述折中曲线绘制模块：绘制存储系统的存储容量和修复带宽的折中曲线。优选地，所述模块M1包括：通过搭建的异构分布式存储系统，获取异构分布式存储系统的参数信息；所述参数信息包括：异构分布式存储系统的集群数L、每个集群的存储节点个数R、散点存储点的个数E和/或总的存储点的个数n；其中n＝LR+E；用户所采用的纠删码参数(n,k)，集群内节点传输带宽βI，跨集群传输带宽βC。优选地，所述模块M2包括：模块M2.1：节点集群来源序列生成模块，输入异构分布式存储系统的参数信息作为节点集群来源序列生成模块的输入，生成节点集群来源序列，生成的节点集群来源序列是所有集群来源序列中信息流图最小割最小的；模块M2.2：集群位置序列生成模块，节点集群来源序列生成模块生成的信息流图最小割的最小节点集群来源序列作为集群位置序列生成模块输入，生成集群位置序列，生成的集群位置序列是当前集群来源序列的所有集群位置中信息流图最小割最小的；所述信息流图最小割最小的值为所能存储文件的最大值，即存储文件大小和容量以及带宽之间的关系。优选地，所述模块M2.1包括：节点集群来源p＝(p0,p1,...pi...pL)；节点集群来源表示每个集群中帮助节点的个数，即第i个集群用来作为帮助节点的个数为pi个；p0表示作为帮助节点的散点的个数；模块M2.1.1：确定散点作为帮助节点的数量，选择散点作为帮助节点；模块M2.1.2：对于剩余的帮助节点的选择，从节点集群来源中集群编号由小到大依次选择；重复模块M2.1.1至模块M2.1.2，直至取完所有被选节点；所述模块M2.2包括：节点位置顺序q＝(q1,q2...qi...qk)，节点位置顺序用来描述一个修复序列中各个节点所属集群的编号，即第i个修复节点来自第qi个集群；模块M2.2.1：从集群1开始，优先按照集群编号从低到高选择节点；模块M2.2.2：当取到编号最大的集群时，或者当前集群已没有节点选择时，再重新从集群1开始取；重复模块M2.2.1至模块M2.2.2，直至取完所有被选节点；模块M2.2.3：选取所有的散点作为帮助节点。优选地，所述模块M3包括：模块M3.1：依次计算信息流图中k个被选节点的入边权重系数ai和bi；模块M3.2：结合入边权重系数ai和bi以及集群内节点传输带宽βI和跨集群传输带宽βC相互关系，计算入边权重wi；模块M3.3：分别计算入边权重wi与βC的折中关系，综合k个被选节点，通过迭代法绘制折中曲线。本专利技术提供的一种异构分布式存储的容量和带宽折中方法，包括:步骤M1：通过客户端模块输入存储系统的参数信息；步骤M2：将存储系统的参数信息输入到修复序列生成模块，得到修复序列；步骤M3：通过修复序列计算存储系统能正确存储的文件的大小系统的存储容量、带宽之间的关系；利用存储容量、带宽之间的关系，通过折中曲线绘制步骤来绘制曲线；所述客户端模块，作为用户接口；所述修复序列生成模块：对于任意带宽和容量，分析修复序列对最小割的影响，生成信息流图最小割最小的修复序列；所述折中曲线绘制模块：绘制存储系统的存储容量和修复带宽的折中曲线。优选地，所述步骤M1包括：通过搭建的异构分布式存储系统，获取异构分布式存储系统的参数信息；所述参数信息包括：异构分布式存储系统的集群数L、每个集群的存储节点个数R、散点存储点的个数E和/或总的存储点的个数n；其中n＝LR+E；用户所采用的纠删码参数(n,k)，集群内节点传输带宽βI，跨集群传输带宽βC。优选地，所述步骤M2包括：步骤M2.1：节点集群来源序列生成模块，输入异构分布式存储系统的参数信息作为节点集群来源序列生成模块的输入，生成节点集群来源序本文档来自技高网...

【技术保护点】
1.一种异构分布式存储的容量和带宽折中系统，其特征在于，包括:/n模块M1：通过客户端模块输入存储系统的参数信息；/n模块M2：将存储系统的参数信息输入到修复序列生成模块，得到修复序列；/n模块M3：通过修复序列计算存储系统能正确存储的文件的大小系统的存储容量、带宽之间的关系；利用存储容量、带宽之间的关系，通过折中曲线绘制步骤来绘制曲线；/n所述客户端模块，作为用户接口；/n所述修复序列生成模块：对于任意带宽和容量，分析修复序列对最小割的影响，生成信息流图最小割最小的修复序列；/n所述折中曲线绘制模块：绘制存储系统的存储容量和修复带宽的折中曲线。/n

【技术特征摘要】
1.一种异构分布式存储的容量和带宽折中系统，其特征在于，包括:
模块M1：通过客户端模块输入存储系统的参数信息；
模块M2：将存储系统的参数信息输入到修复序列生成模块，得到修复序列；
模块M3：通过修复序列计算存储系统能正确存储的文件的大小系统的存储容量、带宽之间的关系；利用存储容量、带宽之间的关系，通过折中曲线绘制步骤来绘制曲线；
所述客户端模块，作为用户接口；
所述修复序列生成模块：对于任意带宽和容量，分析修复序列对最小割的影响，生成信息流图最小割最小的修复序列；
所述折中曲线绘制模块：绘制存储系统的存储容量和修复带宽的折中曲线。


2.根据权利要求1所述的一种异构分布式存储的容量和带宽折中系统，其特征在于，所述模块M1包括：通过搭建的异构分布式存储系统，获取异构分布式存储系统的参数信息；
所述参数信息包括：异构分布式存储系统的集群数L、每个集群的存储节点个数R、散点存储点的个数E和/或总的存储点的个数n；其中n＝LR+E；用户所采用的纠删码参数(n,k)，集群内节点传输带宽βI，跨集群传输带宽βC。


3.根据权利要求1所述的一种异构分布式存储的容量和带宽折中系统，其特征在于，所述模块M2包括：
模块M2.1：节点集群来源序列生成模块，输入存储系统的参数信息作为节点集群来源序列生成模块的输入，生成节点集群来源序列，生成的节点集群来源序列是所有集群来源序列中信息流图最小割最小的；
模块M2.2：集群位置序列生成模块，节点集群来源序列生成模块生成的信息流图最小割的最小节点集群来源序列作为集群位置序列生成模块输入，生成集群位置序列，生成的集群位置序列是当前集群来源序列的所有集群位置中信息流图最小割最小的；
所述信息流图最小割最小的值为所能存储文件的最大值，即存储文件大小和容量以及带宽之间的关系。


4.根据权利要求3所述的一种异构分布式存储的容量和带宽折中系统，其特征在于，所述模块M2.1包括：节点集群来源p＝(p0,p1,...pi...pL)；节点集群来源表示每个集群中帮助节点的个数，即第i个集群用来作为帮助节点的个数为pi个；p0表示作为帮助节点的散点的个数；
模块M2.1.1：确定散点作为帮助节点的数量，选择散点作为帮助节点；
模块M2.1.2：对于剩余的帮助节点的选择，从节点集群来源中集群编号由小到大依次选择；重复模块M2.1.1至模块M2.1.2，直至取完所有被选节点；
所述模块M2.2包括：节点位置顺序q＝(q1,q2...qi...qk)，节点位置顺序用来描述一个修复序列中各个节点所属集群的编号，即第i个修复节点来自第qi个集群；
模块M2.2.1：从集群1开始，优先按照集群编号从低到高选择节点；
模块M2.2.2：当取到编号最大的集群时，或者当前集群已没有节点选择时，再重新从集群1开始取；重复模块M2.2.1至模块M2.2.2，直至取完所有被选节点；
模块M2.2.3：选取所有的散点作为帮助节点。


5.根据权利要求1所述的一种异构分布式存储的容量和带宽折中系统，其特征在于，所述模块M3包括：
模块M3.1：依次计算信息流图中k个被选节点的入边权重系数ai和bi；
模块M3.2：结合入边权重系数ai和bi以及集群内节点传输带宽βI和跨集群传输带宽βC相互关系，计算入边权重wi；
模块M3.3：分别计算入边权重wi与βC的折中关系，综合k个被选节点，通过迭代法绘制折中曲线。

【专利技术属性】
技术研发人员：骆源，王旌兆，顾振兴，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31