一种基于通信可靠性的分布式存储方法技术

本发明专利技术涉及一种基于通信可靠性的分布式存储方法，该发明专利技术由网络结构分析模块、通信及流量风险分离分析模块、数据分布式存储风险分离分析模块组成，提出了备份存储路径概念，备份存储路径风险分离方法，数据服务器风险分离方法，可减少备份之间的存取风险。该发明专利技术可应用于分布式存储系统的文件备份存储、文件容灾、文件存储风险分离。

【技术实现步骤摘要】

本专利技术涉及，通过使用分布式存储系统的网络结构的分析、通信及流量风险分离策略、数据分布式存储风险分离策略三部分，以减少分布式存储系统的文件备份之间的存取风险，属于信息

技术介绍
互联网、互联网企业等产生了海量的数据，这些海量数据的存储需要超级的数据中心，数据中心采用集群的方式进行分布式存储这些海量数据。目前分布式存储系统有HDFS(Hadoop Distributed File System) > MogileFS(Mogile File System) > NAS(NetworkAttached Storage) > NFS (Network File System)等。通过对上述分布式存储系统的分析发现，为了提高分布式存储系统的可靠性，这些系统在功能上一般支持文件的双备份和多备份。当文件的其中一个备份出现故障，另外一个文件备份就会被激活并提供服务，以替换出现故障的那个文件备份。多个文件备份能提高系统的可靠性，但如果多个备份存在同一个服务器上，服务器故障对分布式存储系统的可靠性是致命的，这样的存储策略可能使多个备份同时故障。在另一方面，即使多个备份在不同的服务器上，但如果这些服务器连接到同一个网络节点上，那么该网络节点的故障对于在线服务的分布式存储系统也是致命的。为了从高层次上提高分布式存储系统的可靠性，尤其是在线服务的分布式存储系统，研究人员必须考虑分布式存储系统的网络结构风险、通信流量风险和存储风险。 在分布式存储系统中，网络结构与服务性能、可靠性、流量风险都是直接相关的。从网络通信风险的角度看，星型结构的网络风险最大，中心交换机的故障直接导致分布式存储系统的瘫痪。对于网状结构网络、冗余备份网络，如果存储、通信不当也会存在同样的问题。为此，针对网状结构网络、冗余备份网络，本专利建议。专利“”通过使用分布式存储系统的网络结构分析策略、通信及流量风险分离策略、数据分布式存储风险分离策略三部分，以提高分布式存储系统的可靠性和容错能力。
技术实现思路
本专利技术“”由三部分组成，它们是网络结构分析模块、通信及流量风险分离分析模块、数据分布式存储风险分离分析模块。下面详细介绍“”的结构、各个组成部分和执行流程。(I)本专利技术形成的分布式存储系统结构及应用环境为了实现本专利技术“”，要求对现有的分布式存储系统进行修改，本专利技术形成的分布式存储系统如图1所示。具体修改内容包括如下: 本专利技术形成的分布式存储系统包含元数据服务器(Meta Server)、数据服务器(Data Server)，其中元数据服务器和应用服务器在同一个区域，挂接在同一个边缘交换机上。 本专利技术形成的分布式存储系统的元数据服务器具有获知集群网络的拓扑结构的能力，包括人工配置拓扑结构信息，其拓扑结构信息包括节点IP地址、端口速率、相互之I司的链路关系等。 本专利技术形成的分布式存储系统的数据服务器必须位于不同的区域，每个区域的数据服务器挂接到对应的边缘服务器上，这种挂接方式可以避免网络流量拥塞和网络故障风险。 本专利技术形成的分布式存储系统的集群核心网络需要有网络冗余备份，网络冗余备份可以高度体现本专利技术的优势。(2)本专利技术的三个组成部分本专利技术“”由三个模块组成，本专利技术的组成如图2所示，它由网络结构分析模块、通信及流量风险分离分析模块、数据分布式存储风险分离分析模块组成。 网络结构分析模块:该模块有两个功能，一是通过人工配置等措施获取网络结构信息，这些信息包括网络节点、数据服务器位置等信息。该模块另外一个功能是对应用程序提供的存储需求提供网络通信路径(这里称为“存储路径”)的计算。 通信及流量风险分离分析模块:在应用程序对单个文件有多个备份存储需求的情况下，在网络结构分析模块中找到了其中一个备份(称为“第一备份”)的存储路径后，该模块依据第一份备存储路径，采用通信及流量风险分离算法，该模块计算出第二备份的存储路径。 数据分布式存储风险分离分析模块:在通信及流量风险分离分析模块找到第二备份的存储路径后，该模块依据服务器存储情况和第二备份的存储路径，找到第二备份的数据分布式存储风险分离服务器。(3)本专利技术各模块的执行流程为了说明本专利技术执行流程，从文件的两个备份存储的过程描述本专利技术各模块之间的关系和本专利技术的执行流程，本专利技术分成三个阶段:第一备份路径的计算阶段、第二备份路径的计算阶段和数据服务器确定阶段。本专利技术的具体执行流程如下: 第一备份路径的计算阶段:应用程序需要把文件的两个备份写入数据中心的两个服务器。应用程序首先把“请求”提交给网络结构分析模块，网络结构分析模块依据“请求”，根据收集起来的网络拓扑信息，采用最短路径计算(Shortest Path First)方法,计算出第一备份的存储路径。第一备份的存储路径如图3所示。 第二备份路径的计算阶段:网络结构分析模块依据“请求”计算出第一备份存储路径后，提交给通信及流量风险分离分析模块。通信及流量风险分离分析模块依据“风险分离算法”计算出多条第二备份存储路径。“风险分离算法”的执行流程分两步，第一步通信及流量风险分离分析模块在拓扑图中去除第一备份存储路径的链路。第二步，在第一步余下的拓扑中采用“最短路径”计算出多条第二备份存储路径。 图4中是第二备份的两条存储路径(采用虚线表示)。可以看出第二备份的两条存储路径和第一备份的存储路径没有共同的链路，说明第一备份和第二备份在通信风险和流量上是分离的，有利于规避通信风险和平衡流量。 数据服务器确定阶段:依据图4的第二备份的存储路径，数据分布式存储风险分离分析模块找出第二备份的存储数据服务器，检查第一备份存储数据服务器和第二备份存储数据服务器之间的关系，依据存储风险分离原则，找到第二备份存储数据服务器。存储风险分离原则是一种检查原则，在这里，指第一备份和第二备份不能存储在同一个区域的服务器，这样可以实现存储风险分离。依据该原则，在图4的两个第二备份存储路径中，发现两个第二备份的存储数据服务器B和C，但数据服务器C和第一备份的存储数据服务器在同一个区域，存在共同的风险，C不适合作为第二备份的存储数据服务器，而B和第一备份存储数据服务器在不同的区域，B适合作为第二备份存储数据服务器。(4)本专利技术的特点本专利技术涉及两个方法:通信及流量风险分离方法、数据服务器分布式存储风险分离方法；下面详细说明两种方法及其特点: 通信及流量风险分离方法:该方法把第一备份和第二备份的数据存储分布到不同的存储路径上，该算法避免了网络通信风险。 数据分布式存储风险分离方法:该方法把第一备份和第二备份的数据存储到风险分离的两台数据服务器上，该方法能够实现多备份存储到不同风险区域的机制，避免了服务器存储风险。附图说明图1是本专利技术形成的分布式存储系统示意图图2是本专利技术的模块组成示意3是第一备份的存储路径4是第二备份的存储路径5是分布式存储系统网络拓扑结构6是文件F的第一备份存储路径7是去除文件F的第一备份存储路径后的网络拓扑结构8是文件F的第二备份存储路径9是文件F的第二备份存储路径权重排序10是重选的第二备份存储路径图具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例也仅仅是本专利技术的一部分实施例，而不是全部实施例本文档来自技高网...

【技术保护点】
本专利技术涉及一种基于通信可靠性的分布式存储方法，该专利技术应用于分布式存储系统中，以减少备份之间的存取风险。本专利技术的主要特点及权利要求有：(1)本专利技术由网络结构分析模块、通信及流量风险分离分析模块、数据分布式存储风险分离分析模块组成。(2)本专利技术引出的存储路径、存储路径计算方法、存储路径风险分离方法。(3)本专利技术引出的数据服务器风险分离方法、区域风险分离方法、数据分布式存储风险分离方法。

【技术特征摘要】
1.本发明涉及一种基于通信可靠性的分布式存储方法，该发明应用于分布式存储系统中，以减少备份之间的存取风险。本发明的主要特点及权利要求有: (1)本发明由网络结构分析模块、通信及流量风险分离分析模...

【专利技术属性】
技术研发人员：陆月明，孙松林，袁玉宇，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：