云存储系统及其元数据写入方法、元数据读取方法技术方案

本发明专利技术公开了一种云存储系统及其元数据写入方法、元数据读取方法。该系统包括：包括元数据服务器集群、视图管理模块和客户端。客户端向用户提供访问云存储系统的接口并解析用户要访问的元数据服务器的视图位置；视图管理模块存储全部元数据视图信息，根据全部元数据视图信息构建各元数据服务器之间的逻辑关联关系，并向每个元数据服务器分发与元数据服务器自身相关联的元数据视图信息；各元数据服务器存储由视图管理模块分发的元数据视图信息，并确定的元数据服务器的网络访问地址信息；元数据服务器分层部署，最底层的元数据服务器还存储元数据内容和元数据视图信息并根据用户请求将自身存储的元数据信息提供给用户。本发明专利技术能减小带宽消耗。

【技术实现步骤摘要】

本专利技术涉及一种云存储系统，尤其涉及用于存储大容量数据的云存储系统及其元数据内容写入方法和元数据内容读取方法。
技术介绍
元数据是“关于数据的数据”在地理空间信息中用于描述地理数据集的内容、质量、表示方式、空间參考、管理方式以及数据集的其他特征，它是实现地理空间信息共享的核心标准之一。目前，国际上对空间元数据标准内容进行研究的组织主要有三个，分别是欧洲标准化委员会(CEN/TC287)、美国联邦地理数据委员会(FOTC)和国际标准化组织地理信息/地球信息技术委员会(IS0/TC211)。空间元数据标准内容分两个层次。第一层是目录信息，主要用于对数据集信息进行宏观描述，它适合在数字地球的国家级空间信息交換中心或区域以及全球范围内管理和查询空间信息时使用。第二层是详细信息，用来详细或全 面描述地理空间信息的空间元数据标准内容，是数据集生产者在提供空间数据集时必须要提供的信息。随着信息化程度的深入，信息数据量越来越大，广泛应用了元数据技术，出现了包括用于存储元数据(Metadata)的元数据服务器集群的云存储系统。现有的元数据服务器集群的云存储系统中，元数据服务器集群的各元数据服务器中存储整个云存储系统的元数据视图信息。然而，随着元数据内容的数据量越来越大。在非常海量的数据云存储系统中，元数据视图信息也会成为海量数据。此时，元数据服务器集群中的每个元数据服务器均需要存储所有的海量元数据视图信息，从而占用大量的存储空间。此外，如果元数据服务器集群中的每个元数据服务器都存储着大量的内容相同的元数据视图信息，则当客户端检索元数据内容时，在海量的元数据视图信息中捜索也将是非常耗费时间的。
技术实现思路
本专利技术所要解决的技术问题之ー是需要提供一种可减小网络的带宽消耗的。为了解决上述技术问题，本专利技术提供了ー种云存储系统。该系统包括元数据服务器集群、视图管理模块和客户端，其中客户端用于向用户提供访问所述云存储系统的接ロ，井根据用户的访问请求解析出用户要访问的元数据服务器的视图位置；视图管理模块用于存储整个元数据服务器集群的全部元数据视图信息，根据所述全部元数据视图信息构建元数据服务器集群中的各元数据服务器之间的逻辑关联关系，并根据该逻辑关联关系向每个元数据服务器分发与该元数据服务器自身相关联的元数据视图信息；元数据服务器集群中各元数据服务器用于存储由视图管理模块分发的元数据视图信息，井根据客户端或其它元数据服务器发来的元数据服务器的视图位置确定与该元数据服务器的视图位置对应的元数据服务器的网络访问地址信息；所述元数据服务器集群的多个元数据服务器分层部署，所述元数据服务器集群中处于最底层的元数据服务器还用于存储元数据内容和视图管理模块分发的元数据视图信息，井根据用户请求将自身存储的元数据信息提供给用户。进ー步，所述元数据服务器集群的每个元数据服务器均只存储了整个所述云存储系统的部分元数据内容。根据本专利技术另一方面，所述视图管理模块进一歩包括数据管理単元、信息处理单元和内容视图单元，其中数据管理単元，用于存储所述云存储系统的全部元数据视图信息；信息处理单元，用于根据所述数据管理単元存储的全部元数据视图信息，构建所述元数据集群的中各元数据服务器的逻辑关联关系，并对元数据视图信息 进行处理，得到元数据视图信息，井向各个元数据服务器分发所述元数据视图信息，使得各个元数据服务器存储与该元数据服务器自身相关联的视图信息；内容视图单元，用于在所述云存储系统中一元数据服务器中存储的一文件的元数据内容频繁地被另一元数据服务器访问时，将该文件写入该另一元数据服务器。根据本专利技术另一方面，所述数据管理単元还根据不同的预设视图策略相应地存储了多套完整的与各预设视图策略分别对应的元数据视图信息；以及，所述视图管理模块进一歩包括决策单元，用于在客户端基于元数据访问请求和所述预设视图策略确定了多个用于访问的目标元数据服务器时，将所述多个用于访问目标元数据服务器之一确定为最终访问的元数据服务器。根据本专利技术另一方面，所述视图管理模块进一歩包括接收单元，其中所述接收单元用于从各元数据服务器接收到每个最底层的元数据服务器的负载信息；所述信息处理单元还基于元数据服务器的负载信息进行预测，得到下一时期的元数据服务器的负载预测信息；所述决策単元，用于在客户端基于元数据访问请求和所述预设视图策略确定了多个用于访问的目标元数据服务器时，根据所述负载预测信息将所述多个用于访问目标元数据服务器之一确定为最終访问的元数据服务器。根据本专利技术另一方面，所述决策单元进一步进行如下负载均衡控制当所述信息处理单元基于所述负载预测信息发现存在发生了故障或没有响应的元数据服务器发时，所述决策単元基于所述数据管理単元中存储的所述云存储系统的全部元数据视图信息来更新与发生故障的元数据服务器关联的元数据服务器的元数据视图信息，以不再向发生故障或没有响应的元数据服务器发送元数据访问请求；以及/或者在由信息处理单元基于负载预测信息发现存在负载过大的元数据服务器时，所述决策単元指示该负载过大的元数据服务器停止提供元数据服务或者将全部或部分元数据复制给所述云存储系统中负载小的元数据服务器，或者所述决策単元在负载小的元数据服务器上触发生成ー个所述负载过大的元数据服务器的镜像。根据本专利技术又一方面，还提供一种云存储系统的元数据写入方法。该方法包括客户端在接收到用户的要写入待写元数据的写入请求时，根据预设接入策略确定用于访问接入的接入元数据服务器，所述写入请求包括待写入元数据内容；所述客户端对所述写入请求进行预处理，以得到用于存放所述待写入元数据内容的目标元数据服务器的视图位置；若所确定的目标元数据服务器的视图位置对应的元数据服务器是所述接入元数据服务器，则将所述接入元数据服务器的网络访问地址信息确定为目标元数据服务器的网络访问地址信息，反之，基于所述元数据集群中各元数据服务器的层级关系，根据所述接入元数据服务器中存储的元数据视图信息和目标元数据服务器的视图位置，从所述接入元数据服务器起逐级查找目标元数据服务器，以确定目标元数据服务器的网络访问地址信息；依据所确定的目标元数据服务器的网络访问地址信息，将该待写元数据写入所述目标元数据服务器。进ー步，所述预设接入策略为将物理地域上离所述用户最近的元数据服务器确定为所述接入元数据服务器、或者将依据所述预设视图策略对应的元数据视图信息被确定为所述用户访问最快的元数据服务器确定为所述接入元数据服务器。 进ー步，若所述客户端保存了与多种所述预设视图策略分别对应的多套元数据视图，则在所述客户端根据各种所述预设视图策略所对应的各套元数据视图信息确定了多个目标元数据服务器的视图位置时，将该多个目标元数据服务器的视图位置之一确定为最終的目标元数据服务器的视图位置；依据所确定的最終的目标元数据服务器的网络访问地址信息，将该待写元数据写入所述目标元数据服务器。根据本专利技术的又一方面，还提供了一种云存储系统的元数据读取的方法。该方法包括客户端收到用户的期望读取待元数据的读取请求时，根据预设接入策略确定用于访问接入的接入元数据服务器；所述客户端根据所述读取请求以及所述客户端保存的元数据写入记录和元数据视图信息来确定存放了用户期望读取的元数据的目标元数据服务器的视图位置；若所确定的目标本文档来自技高网...

【技术保护点】
一种云存储系统，其特征在于，包括元数据服务器集群、视图管理模块和客户端，其中：客户端用于向用户提供访问所述云存储系统的接口，并根据用户的访问请求解析出用户要访问的元数据服务器的视图位置；视图管理模块用于存储整个元数据服务器集群的全部元数据视图信息，根据所述全部元数据视图信息构建元数据服务器集群中的各元数据服务器之间的逻辑关联关系，并根据该逻辑关联关系向每个元数据服务器分发与该元数据服务器自身相关联的元数据视图信息；元数据服务器集群中各元数据服务器用于存储由视图管理模块分发的元数据视图信息，并根据客户端或其它元数据服务器发来的元数据服务器的视图位置确定与该元数据服务器的视图位置对应的元数据服务器的网络访问地址信息；所述元数据服务器集群的多个元数据服务器分层部署，所述元数据服务器集群中处于最底层的元数据服务器还用于存储元数据内容和视图管理模块分发的元数据视图信息，并根据用户请求将自身存储的元数据信息提供给用户。

【技术特征摘要】
1.一种云存储系统，其特征在于，包括元数据服务器集群、视图管理模块和客户端，其中 客户端用于向用户提供访问所述云存储系统的接ロ，井根据用户的访问请求解析出用户要访问的元数据服务器的视图位置； 视图管理模块用于存储整个元数据服务器集群的全部元数据视图信息，根据所述全部元数据视图信息构建元数据服务器集群中的各元数据服务器之间的逻辑关联关系，并根据该逻辑关联关系向每个元数据服务器分发与该元数据服务器自身相关联的元数据视图信息； 元数据服务器集群中各元数据服务器用于存储由视图管理模块分发的元数据视图信息，井根据客户端或其它元数据服务器发来的元数据服务器的视图位置确定与该元数据服务器的视图位置对应的元数据服务器的网络访问地址信息； 所述元数据服务器集群的多个元数据服务器分层部署，所述元数据服务器集群中处于最底层的元数据服务器还用于存储元数据内容和视图管理模块分发的元数据视图信息，并根据用户请求将自身存储的元数据信息提供给用户。2.根据权利要求I所述的云存储系统，其特征在于，所述元数据服务器集群的每个元数据服务器均只存储了整个所述云存储系统的部分元数据内容。3.根据权利要求I所述的云存储系统，其特征在于，所述视图管理模块进一歩包括数据管理単元、信息处理单元和内容视图单元，其中 数据管理単元，用于存储所述云存储系统的全部元数据视图信息； 信息处理单元，用于根据所述数据管理単元存储的全部元数据视图信息，构建所述元数据集群的中各元数据服务器的逻辑关联关系，并对元数据视图信息进行处理，得到元数据视图信息，井向各个元数据服务器分发所述元数据视图信息，使得各个元数据服务器存储与该元数据服务器自身相关联的视图信息； 内容视图单元，用于在所述云存储系统中一元数据服务器中存储的一文件的元数据内容频繁地被另一元数据服务器访问时，将该文件写入该另一元数据服务器。4.根据权利要求3所述的云存储系统，其特征在干 所述数据管理単元还根据不同的预设视图策略相应地存储了多套完整的与各预设视图策略分别对应的元数据视图信息；以及， 所述视图管理模块进一歩包括决策单元，用于在客户端基于元数据访问请求和所述预设视图策略确定了多个用于访问的目标元数据服务器吋，将所述多个用于访问目标元数据服务器之一确定为最終访问的元数据服务器。5.根据权利要求4所述的云存储系统，其特征在干，所述视图管理模块进一歩包括接收单元，其中 所述接收単元用于从各元数据服务器接收到每个最底层的元数据服务器的负载信息； 所述信息处理单元还基于元数据服务器的负载信息进行预测，得到下一时期的元数据服务器的负载预测信息； 所述决策単元，用于在客户端基于元数据访问请求和所述预设视图策略确定了多个用于访问的目标元数据服务器时，根据所述负载预测信息将所述多个用于访问目标元数据服务器之一确定为最終访问的元数据服务器。6.根据权利要求5所述的云存储系统，其特征在干，所述决策单元进一步进行如下负载均衡控制 当所述信息处理单元基于所述负载预测信息发现存在发生了故障或没有响应的元数据服务器发时，所述决策単元基于所述数据管理単元中存储的所述云存储系统...

【专利技术属性】
技术研发人员：严杰，熊晖，周娟娟，
申请(专利权)人：北京邦诺存储科技有限公司，
类型：发明
国别省市：