本发明专利技术研究了一种通过Vandermonde矩阵对文件进行编码的冗余存储方法，存储时将编码后分割的多个数据块分散到多个存储服务节点上，利用chord环进行快速查找定位文件的数据块，最后通过对数据块解码合并进行读取。该方案能够实现一定程度的自主管理存储节点以及联合协作，从而能够为云存储系统提供高可用性、伸缩性、高存储利用率等特性。可以实现云存储资源利用率的提升，降低用户租用成本和应用的易扩展性。该方案可以应用于云计算和云存储领域。
【技术实现步骤摘要】
本专利技术涉及云存储
中的分布式数据冗余备份技术，特别涉及一种云存储方法、编码存储方法、资源快速定位方法及其系统。
技术介绍
随着云计算的发展，越来越多的企业和个人用户开始考虑向云端转移。将计算外包给云服务商，降低自身的基础设施购置，灵活的伸缩需求，减轻了IT初期配置以及后期维护的开销，只需要按需向云服务提供商付费即可，为企业的发展注入了新的动力。 云计算盛行于世界各地，其中最重要的并且受欢迎的云服务是云存储服务，例如亚马逊的S3和微软的Azure存储服务。云存储向用户提供数据存储服务，越来越多的数据将会被存放在云上，而数据的容灾备份需要大量的冗余存储空间。 云存储是伴随着云计算而发展起来的，专注于存储及服务的理念，云存储服务商为用户提供基于互联网的在线存储服务，用户不必担心存储空间的大小，存储设备的类型，以及存储的位置，只需要按需付费就可以获得几乎无限大的存储空间。 随着存储需求的迅速增长，云计算模式下的存储系统需要的存储空间越来越大。分布式存储系统将单独的存储资源整合成一个统一的管理空间，通过分布式的管理方式实现的一个大容量，高可用的存储系统。分布式的存储系统具有良好的可伸缩性和并行支持高容量的需求。除了可伸缩性外，云存储系统还具备一定的容错机制，与使用同样的可靠性级别的设备相比云存储系统的成本要少得多。一个云存储系统主要包括两个组成部分：存储系统的客户端以及存储系统的服务器端。 存储客户端主要提供计算能力接口和连接服务器端节点上的应用程序接口。这些应用程序可能位于虚拟机内。而存储服务器端主要是负责每个服务器内的资源分配，调度和管理。在客户端中主要的核心是云存储控制器，它作为与所有应用程序的接口供给存储需求。 在云计算中，由于其构成是大批量的X86廉价机，因此组件发生故障是很正常的事，而不属于异常。要保障用户能够对数据的随时随地访问，数据冗余备份至关重要。冗余备份技术保障了数据的可用性，在发生错误操作时可以进行快速恢复，最简单的方式是将数据文件拷贝多份分别进行存储。其数据控制过程主要有以下三点：1），用户与主节点进行通信查询所需的数据位置，或者自己创建一个新的数据交给主节点，由主节点进行处理，2），主节点将所有副本的信息响应给用户，这时用户就可以将数据推送到所有的副本。3），用户只对主副本进行操作，由主副本对其他副本进行同步，并将最终信息反馈给用户。 现有方案缺陷是： 1、危险性高，网络通信高负载为文件的每一个数据块都设置三个甚至多个副本的方法在存储文件时，简单的为每个文件的数据块进行复制备份。这种分布式存储的方法虽然实现简单，但是大大增加了数据传送的任务量，对通信链路产生高负荷要求。当一个数据块的多个副本同时受到破坏时，整个文件就失去了完整性，无法再进行恢复。用户的多处备份数据之间的同步通信也会产生大量的网络请求，数据量大时，会造成网络拥塞等问题。2、对存储空间造成浪费 根据目前的多备份冗余方案，存储空间的有效利用率最高为33.3%（三副本）。而随着海量数据的增加，数据存储空间将成为云存储系统的一大瓶颈。如果能够提高存储空间的利用率，同时保证文件的高可用性，将大幅度降低用户的单位存储成本消耗。3、快速资源定位方法不够理想 现有技术中，云存储资源定位对单个数据块的处理不够理想。当用户取回存储数据时需要找到一份完整的文件副本，因此需要对每个数据块进行查找，而每一次的资源定位都是从主节点到存储节点的逐级检索，它的时间复杂度比较高导致响应时间比较长，因此在快速定位方面不够理想。
技术实现思路
本专利技术针对现有的云存储方法存储空间利用率低、冗余量大、网络通信高负载、对服务响应时间长等问题，提出了基于Vandermonde矩阵的冗余编码方法以及基于Chord环的资源快速定位方法，结合云存储的具体操作过程实现具备高可用性，低冗余度以及快速响应的云存储方案。 本专利技术为解决上述技术问题，所提供的技术方案是：一种高可用云存储方法，由用户端的云存储操作模块向云存储服务器端发送请求，云存储服务器端根据请求进行相应的数据存储、数据恢复或数据修改处理，在进行数据存储时，先将待存储的源数据文件分割成等大的数据分块，然后进行冗余编码，将编码生成的数据块分发并传送到云存储服务器的各存储节点进行存储；在进行数据恢复时，对云存储服务器存储节点的数据块进行检索，取回一定量的数据块，解码并合并后得到所需的数据文件，所述冗余编码的方法为：设源数据文件分割后形成的等大数据分块数量为k，k个数据分块组成的序列为F= ，由Encoder（F）=CF计算出编码后的数据块序列Encoder（F）=，其中，编码矩阵，其中，I为单位矩阵，P为冗余项生成矩阵，即P*=。 采用基于Chord环的资源定位方法实现编码生成的数据块在各存储节点上的分配存储和检索。 在进行数据恢复时，设定一个计数器，采用基于Chord环的资源定位方法对存储节点进行检索并取回数据块，每取回一个数据块便另计数器加1，当计数器的计数值等于源数据文件被分割后的数据分块个数时，停止检索；取回的数据块组成一个矩阵，其中k为数据块个数，z为数据块的数据长度；利用公式计算出源数据文件被分割后的数据分块组成的矩阵，将矩阵中的各数据分块合并即得到所需的数据文件，其中，为编码矩阵C中所对应的k行序列形成的矩阵的逆矩阵。 在进行数据修改处理时，将需要修改的数据块单独标记出，并进行冗余编码计算，最终将生成的与该数据块对应冗余数据块和该数据块本身单独分发到对应的存储节点存储。 在进行数据存储、数据恢复或数据修改处理时，利用公式验证数据的完整性。 本专利技术的有益效果： 1、本专利技术的高可用云存储方法通过Vandermonde矩阵对文件进行编码的冗余存储方法，该方案能够实现一定程度的自主管理存储节点以及联合协作，提高了云存储系统的高可用性、伸缩性、高存储利用率等特性。实现云存储资源利用率的提升，降低了数据冗余度，节约了存储空间，减少了用户租用成本和应用的易扩展性。2、本专利技术的高可用云存储方法利用chord环进行快速查找定位文件的数据块，基于Chord环的快速资源定位方法，更加适合分布式的节点存储与快速定位。在存储时，利用编码原理实现任意多数据块权重相等，缺少其中任意有限个数据块都能够通过剩余数据块恢复出原始数据。利用数据块编码，可以使得在取回数据时，降低检索数据块时间，同时降低网络通信负载，缩短了云存储服务的响应时间。 附图说明图1本专利技术的系统结构图； 图2本专利技术的数据编码示意图；图3 本专利技术中数据块定位操作流程图；图4本专利技术中数据解码示意图；图5 本专利技术中Chord路由表结构图；图6本专利技术中资源定位算法的结构流程图。具体实施方式下面结合附图说明本专利技术的具体实施方式： 1、高可用云存储方法整体架构：如图所示，本方案的总体架构有以下几部分组成：用户端的云存储操作模块、云存储服务器端的存储数据处理模块（包括数据存储、数据恢本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种高可用云存储方法，由用户端的云存储操作模块向云存储服务器端发送请求，云存储服务器端根据请求进行相应的数据存储、数据恢复或数据修改处理，在进行数据存储时，先将待存储的源数据文件分割成等大的数据分块，然后进行冗余编码，将编码生成的数据块分发并传送到云存储服务器的各存储节点进行存储；在进行数据恢复时，对云存储服务器存储节点的数据块进行检索，取回一定量的数据块，解码并合并后得到所需的数据文件，其特征在于：所述冗余编码的方法为：设源数据文件分割后形成的等大数据分块数量为k，k个数据分块组成的序列为F= ，由Encoder（F）=CF计算出编码后的数据块序列Encoder（F）=，其中，编码矩阵，其中，I为单位矩阵，P为冗余项生成矩阵，即P*=。
2.根据权利要求1所述的一种高可用云存储方法，其特征在于：采用基于Chord环的资源定位方法实现编码生成的数据块在各存储节点...
【专利技术属性】
技术研发人员：吴庆涛，张明川，郑瑞娟，魏汪洋，张旭龙，汪兴，蔡晓刚，李晨，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。