元数据集群分布式存储系统及读取、写入存储数据的方法技术方案

本发明专利技术公开了元数据集群分布式存储系统及读取、写入存储数据的方法。元数据集群分布式存储系统包括存储网路平台和管理网络平台，存储网路平台用以存储数据，以及向客户端传输数据；管理网络平台用以存储元数据、与所述元数据对应的数据存储于所述存储服务器集群中的所述位置信息，根据预设的分流策略响应客户端的读写请求以及控制所述存储网路平台中的数据文件复制请求，所述管理网络平台为拓扑结构。

【技术实现步骤摘要】

本专利技术涉及数据存储领域，尤其涉及一种。
技术介绍
在数字化信息时代，全球信息数据总量正在以惊人的速度增长。据互联网数据中心(Internet Data Center, IDC)的调研结果显示,2011年全球创建和被复制的数据总量为1.8ZB，与2010年同期相比，又增长了超过1ZB的数据量。信息数据的高速增长，一方面对信息数据的存储、计算、提取提出了严峻的考验，另一方面对信息数据的容灾系统、备份、归档提出了更严格的要求。在这种情况下，分布式存储技术应运而生。 然而大部分的分布式存储系统普遍采用的方式是对每一份写入数据都写入双份，或存储虚拟机的磁盘文件数据，比较浪费存储空间，且并不能解决大量客户端读操作时造成的单点故障和性能瓶颈问题；且在数据同步更新时，并不具有集群内多个元数据服务器协同对外提供读写服务的功能。
技术实现思路
针对现有的分布式存储系统存在的上述问题，现提供一种旨在实现可用度高、可扩展的。 具体技术方案如下: 一种元数据集群分布式存储系统，包括: 存储网路平台，用以存储数据，以及向客户端传输数据； 管理网络平台，用以存储元数据、根据预设的分流策略响应客户端的读写请求以及控制所述存储网路平台中的数据文件复制请求，所述管理网络平台为拓扑结构。 优选的，所述存储网路平台为存储服务器集群，所述存储服务器集群包括有复数个数据存储服务器，每个所述数据存储服务器匹配有唯一的位置信息。 优选的，所述管理网络平台为管理服务器集群，所述包括复数个元数据管理服务器，每个所述元数据管理服务器存储有所述元数据，所述元数据匹配有相应的版本号及所述元数据对应的数据存储于所述存储服务器集群中的所述位置信息。 优选的，还包括: 元数据日志服务器，连接所述管理网络平台，用以对所述管理网络平台中的变化数据进行文件备份。 优选的，所述存储网路平台以预设时刻向所述管理网络平台发送所述存储网路平台的状态信息。 优选的，所述管理网络平台用以响应客户端的垃圾文件空间回收请求和恢复文件请求。 一种采用分流策略读取存储数据的方法，应用所述元数据集群分布式存储系统，所述客户端读取存储数据请求包括下述步骤: A1.客户端从所述管理服务器集群的拓扑结构中选择一个与所述客户端拓扑关系最近的所述元数据管理服务器单线连接，并记录所述元数据服务器对应所述元数据的所述版本号和所述位置信息； A2.所述客户端随机抽取所述管理服务器集群中一半数目的所述元数据管理服务器，获取一半数目中所述元数据管理服务器的所述版本号中的最大版本号，并记录所述最大版本号； A3.判断所述最大版本号是否为一个，若是，执行A5 ;若否，执行A4 ; A4.获取与所述客户端拓扑关系最近的所述最大版本号对应的所述元数据管理服务器的位置信息； A5.判断所述最大版本号是否小于所述版本号，若是，执行A6 ;若否，执行A7 ； A6.所述客户端下载所述版本号对应的所述元数据管理服务器中的所述元数据，根据所述元数据对应的位置信息，获取所述客户端读请求的文件数据对应的位置信息，读取与所述位置信息对应的所述数据存储服务器中的存储数据；以与所述客户端单线连接的所述元数据管理服务器中所述元数据和所述版本号为基准更新所述管理服务器集群，执行A9 ； A7.所述客户端断开与所述元数据管理服务器的单线连接，所述客户端连接与所述客户端拓扑关系最近的所述最大版本号对应的所述元数据管理服务器，并记录所述最大版本号以及与所述客户端拓扑关系最近的所述最大版本号对应的所述元数据管理服务器的位置信息； A8.所述客户端下载与所述客户端拓扑关系最近的所述最大版本号对应的所述元数据管理服务器中的所述元数据，根据所述元数据对应的所述位置信息，获取所述客户端读请求的文件数据对应的位置信息，读取与所述位置信息对应的所述数据存储服务器中的存储数据；以与所述客户端连接的所述元数据管理服务器中所述元数据和所述最大版本号为基准更新所述管理服务器集群； A9.结束。 一种采用分流策略写入存储数据的方法，应用所述元数据集群分布式存储系统，所述客户端写入存储数据包括下述步骤: B1.客户端从所述管理服务器集群的拓扑结构中选择一个与所述客户端拓扑关系最近的所述元数据管理服务器单线连接，并记录所述元数据服务器对应所述元数据的所述版本号、所述位置信息和所述元数据对应的副本数； B2.所述客户端将待写数据写入与所述位置信息对应的所述数据存储服务器中； B3.判断写入所述数据存储服务器中的数据是否写入成功，若是，执行B4 ;若否，执行B2 ； B4.判断所述副本数是否大于1，若否，执行B5 ;若是，执行B7 ； B5.更新与所述客户端拓扑关系最近的所述元数据管理服务器的所述元数据和所述版本号，并以所述与所述客户端拓扑关系最近的所述元数据管理服务器的所述元数据和所述版本号为基础更新所述管理服务器集群中的所述元数据管理服务器的所述元数据和所述版本号； B6.判断更新的所述元数据管理服务器的数目是否超出所述存储服务器集群中可用所述元数据管理服务器的二分之一，若否，返回执行B1 ;若是，则结束； B7.选择除写入所述待写数据的所述数据存储服务器的其他所述数据存储服务器将所述待写数据写入，直至写入成功为止； B8.判断所述成功写入所述待写数据的数据存储服务器的个数是否等于所述副本数，若是，执行B5，若否，执行B7。 优选的，在所述步骤B6中采用循环冗余校验码校验法校验所述元数据是否正确。 上述技术方案的有益效果: 在本专利技术中通过利用存储服务器集群的特性及响应多个客户端的读请求，避免了元数据管理节点的单点故障而导致的性能瓶颈的现象；且元数据集群分布式存储系统能够实现管理服务器集群内多个元数据管理服务器中的元数据的一致性，从而保证客户端数据写入的正确性。 【附图说明】 图1为本专利技术所述元数据集群分布式存储系统的一种实施例的分布图； 图2为本专利技术所述采用分流策略读取存储数据的一种实施例的方法流程图； 图3为本专利技术所述采用分流策略写入存储数据的一种实施例的方法流程图； 图4为本专利技术所述采用分流策略写入存储数据的另一种实施例的方法流程图。 【具体实施方式】 下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。 需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。 下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。 一种元数据集群分布式存储系统，包括: 存储网路平台，用以存储数据，以及向客户端传输数据； 管理网络平台，用以存储元数据、与所述元数据对应的数据存储于所述存储服务器集群中的所述位置信息，根据预设的分流策略响应客户端的读写请求以及控制所述存储网路平台中的数据文件复制请求，所述管理网络平台为拓扑结构。 如图1所示，在优选的实施例中，存储网路平台为存储服务器集群N，存储服务器集群N，存储本文档来自技高网...

【技术保护点】
一种元数据集群分布式存储系统，其特征在于，包括：存储网路平台，用以存储数据，以及向客户端传输数据；管理网络平台，用以存储元数据、与所述元数据对应的数据存储于所述存储服务器集群中的所述位置信息，根据预设的分流策略响应客户端的读写请求以及控制所述存储网路平台中的数据文件复制请求，所述管理网络平台为拓扑结构。

【技术特征摘要】
1.一种元数据集群分布式存储系统，其特征在于，包括: 存储网路平台，用以存储数据，以及向客户端传输数据； 管理网络平台，用以存储元数据、与所述元数据对应的数据存储于所述存储服务器集群中的所述位置信息，根据预设的分流策略响应客户端的读写请求以及控制所述存储网路平台中的数据文件复制请求，所述管理网络平台为拓扑结构。2.如权要求1所述元数据集群分布式存储系统，其特征在于，所述存储网路平台为存储服务器集群，所述存储服务器集群包括有复数个数据存储服务器，每个所述数据存储服务器匹配有唯一的位置信息。3.如权利要求2所述元数据集群分布式存储系统，其特征在于，所述管理网络平台为管理服务器集群，所述包括复数个元数据管理服务器，每个所述元数据管理服务器存储有所述元数据，所述元数据匹配有相应的版本号及所述元数据对应的数据存储于所述存储服务器集群中的所述位置信息。4.如权利要求1所述元数据集群分布式存储系统，其特征在于，还包括: 元数据日志服务器，连接所述管理网络平台，用以对所述管理网络平台中的变化数据进行文件备份。5.如权利要求1所述元数据集群分布式存储系统，其特征在于，所述存储网路平台以预设时刻向所述管理网络平台发送所述存储网路平台的状态信息。6.如权利要求1所述元数据集群分布式存储系统，其特征在于，所述管理网络平台用以响应客户端的垃圾文件空间回收请求和恢复文件请求。7.一种采用分流策略读取存储数据的方法，其特征在于，应用如权利要求1至6所述元数据集群分布式存储系统，所述客户端读取存储数据请求包括下述步骤: A1.客户端从所述管理服务器集群的拓扑结构中选择一个与所述客户端拓扑关系最近的所述元数据管理服务器单线连接，并记录所述元数据服务器对应所述元数据的所述版本号和所述位置信息； A2.所述客户端随机抽取所述管理服务器集群中一半数目的所述元数据管理服务器，获取一半数目中所述元数据管理服务器的所述版本号中的最大版本号，并记录所述最大版本号; A3.判断所述最大版本号是否为一个，若是，执行A5 ;若否，执行A4 ； A4.获取与所述客户端拓扑关系最近的所述最大版本号对应的所述元数据管理服务器的位置信息； A5.判断所述最大版本号是否小于所述版本号，若是，执行A6 ;若否，执行A7 ； A6.所述客户端下载所述版本号对应的所述元数据管理服务器中的所述元数据，根据所述元数据对应的位置信息，获取所述客户端读请求的文件数据对应的位置信息，读取与所...

【专利技术属性】
技术研发人员：江水，车烈权，张志高，
申请(专利权)人：普华基础软件股份有限公司，
类型：发明
国别省市：上海;31