一种基于IO和元数据分离的混合存储系统实现方法技术方案

本发明专利技术提供一种基于IO和元数据分离的混合存储系统实现方法，包括以下步骤：步骤(1)客户端通过标准RESTful API接口发送管理数据的请求至混合存储系统；步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；步骤(5)：返回请求结果至客户端。本发明专利技术实现了IO和元数据分离的架构，能够有效管理不同存储系统的元数据，可以对外提供统一的元数据管理服务如存储、搜索以及分析等。

A hybrid storage system implementation method based on IO and metadata separation

The present invention provides a method for realizing a hybrid storage system based on IO and metadata separation, which comprises the following steps: (1) the client through the standard RESTful API interface to send data management request to the hybrid storage system; step (2) after the gateway layer receives the request of the client, to verify the legitimacy of the request parameters, verification after that, forwarded to the metadata module; step (3) metadata module after the receipt of the request, the Json metadata information push to distributed key value storage system; step (4) IO module after receipt of a request, the storage system class selector will upload the data to the data storage system according to the corresponding parameters; step (5): return the results to the client request. The invention realizes the separation structure of IO and metadata, effectively manages metadata of different storage systems, and provides unified metadata management services, such as storage, search and analysis.

【技术实现步骤摘要】
一种基于IO和元数据分离的混合存储系统实现方法
本专利技术涉及混合存储系统架构
，具体为一种基于IO和元数据分离的混合存储系统实现方法。
技术介绍
随着信息技术的发展，越来越多的业务应用需要存储系统的支持。目前，存储系统分为三大类，块存储、文件系统存储和对象存储。块存储主要是将裸磁盘空间整个映射给主机使用。这种方式能够将多块廉价的硬盘组合起来，成为一个大容量的逻辑盘对外提供服务，提高了容量但无法提供文件共享。文件系统存储是在文件系统一级提供存储服务，对外提供统一的POSIX接口进行读写，然而其写入和读取速度较低。对象存储系统抛弃了文件系统的目录接口，提供扁平化的数据组织形式，适用于大数据场景。对于传统IT的核心数据与业务，受安全性、兼容性等多方面因素的影响，无法采用单一存储系统来承载，因此，混合存储系统是未来的发展趋势。在存储系统中，数据是主体，然而元数据是管理数据的核心。元数据是描述数据的数据，主要用来描述数据的上下文信息。元数据能够从不同角度不同层面去描述数据本身属性。对混合存储系统来说，如何高效的管理元数据成为迫切需要解决的一个新挑战。现有的混合存储系统是通过中心节点来管理元数据，中心节点能够采集不同存储系统的元数据，从而提供统一的元数据管理服务。该方案存在性能瓶颈，中心节点无法应对高并发条件下的元数据管理请求。同时，现有混合存储系统方案无法提供元数据的高可靠，一致性以及分区隔离性。
技术实现思路
本专利技术所解决的技术问题在于提供一种基于IO和元数据分离的混合存储系统实现方法，以解决上述
技术介绍
中的问题。本专利技术所解决的技术问题采用以下技术方案来实现：一种基于IO和元数据分离的混合存储系统实现方法，包括以下步骤：步骤(1)客户端通过标准RESTfulAPI接口发送管理数据的请求至混合存储系统；步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；步骤(5)：返回请求结果至客户端，为了保证IO与元数据的一致性，只有IO模块和元数据模块同时操作成功的情况，才返回请求成功的标志。所述混合存储系统包括文件系统存储、对象存储系统，在混合存储系统中元数据处于一个中心位置，通过元数据模块对元数据的解析，可实现将物理分布在多个地点的数据集成为统一的数据共享和访问管理的逻辑空间，以低成本、松耦合方式实现大量异构数据资源的集中整合与共享。所述元数据模块收到请求后，会提取对象的元数据信息如创建时间，数据大小，以及数据拥有者等，然后将元数据信息以JSON的形式进行描述，最后将Json化的元数据信息推送至分布式键值存储系统。分布式键值存储系统可以对元数据进行索引，对外提供安全，可靠的元数据管理服务。所述数据管理模块包含结构化数据、半结构化数据以及非结构数据；结构化数据包括数字、符号，半结构化数据包括XML、HTML文档，非结构化数据包括全文文本、图象、声音、影视、超媒体。所述网关层提供统一的RESTfulAPI接口。所述元数据模块采用分布式架构，可以提高元数据的可靠性以及大大降低元数据的响应时间。所述存储系统选择器采用多种算法，包括基于UUID的存储系统选择算法、基于媒体类型的存储系统选择算法。与已公开技术相比，本专利技术存在以下优点：(1)本专利技术实现了IO和元数据分离的架构，能够有效管理不同存储系统的元数据，可以对外提供统一的元数据管理服务如存储、搜索以及分析等。(2)现有混合存储系统引入数据中心对元数据管理，但存在单点故障问题。该系统通过引入分布式键值存储系统来避免单点故障，同时提升了系统可靠性，大大提高了系统的无故障运行时间。(3)本专利技术通过IO模块来统一管理不同存储系统的读写，能够显著提高系统的读写性能，同时具有优良的扩展性。(4)本专利技术以Json化的元数据格式进行存储，能够详细描述数据的上下文信息，且可自定义添加元数据信息并实时建立索引。(5)本专利技术提供快速恢复元数据集群管理功能：集群中的某个节点失效脱离集群后，当该节点启动被修复好，能够自动加入集群，提供集群元数据管理功能。(6)本专利技术支撑元数据备份/恢复：具有元数据信息的本地或远程自动备份功能，备份操作定期自动执行或随时手动启动。(7)本专利技术的元数据模块内置分布式KV存储系统和第三方分析引擎。元数据信息先存放至分布式KV存储系统，然后异步到分析引擎。采用异步的方式，能够提高系统的相应时间，提升系统读写性能。附图说明图1为本专利技术的存储系统结构图。图2为本专利技术的管理系统架构图。图3为本专利技术的混合存储系统元数据统一管理模块架构图。具体实施方式为了使本专利技术的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明白了解，下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种基于IO和元数据分离的混合存储系统实现方法，包括以下步骤：步骤(1)客户端通过标准RESTfulAPI接口发送管理数据的请求至混合存储系统；步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；步骤(5)：返回请求结果至客户端，为了保证IO与元数据的一致性，只有IO模块和元数据模块同时操作成功的情况，才返回请求成功的标志。所述混合存储系统包括文件系统存储、对象存储系统，在混合存储系统中元数据处于一个中心位置，通过元数据模块对元数据的解析，可实现将物理分布在多个地点的数据集成为统一的数据共享和访问管理的逻辑空间，以低成本、松耦合方式实现大量异构数据资源的集中整合与共享。所述元数据模块收到请求后，会提取对象的元数据信息如创建时间，数据大小，以及数据拥有者等，然后将元数据信息以JSON的形式进行描述，最后将Json化的元数据信息推送至分布式键值存储系统。分布式键值存储系统可以对元数据进行索引，对外提供安全，可靠的元数据管理服务。所述数据管理模块包含结构化数据、半结构化数据以及非结构数据；结构化数据包括数字、符号，半结构化数据包括XML、HTML文档，非结构化数据包括全文文本、图象、声音、影视、超媒体。所述网关层提供统一的RESTfulAPI接口。所述元数据模块采用分布式架构，可以提高元数据的可靠性以及大大降低元数据的响应时间。所述存储系统选择器采用多种算法，包括基于UUID的存储系统选择算法、基于媒体类型的存储系统选择算法。本专利技术中中IO模块负责管理不同的存储系统，能够根据请求参数将数据上传至不同的存储系统。元数据模块负责提取数据的元数据，并将元数据存放至分布式键值存储系统，提供元数据的统一管理功能。以上显示和描述了本专利技术的基本原理、主要特征及本专利技术的优点。本行业的技术人员应该了解，本发本文档来自技高网...

【技术保护点】
一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：包括以下步骤：步骤(1)客户端通过标准RESTful API接口发送管理数据的请求至混合存储系统；步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；步骤(5)：返回请求结果至客户端，为了保证IO与元数据的一致性，只有IO模块和元数据模块同时操作成功的情况，才返回请求成功的标志。

【技术特征摘要】
1.一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：包括以下步骤：步骤(1)客户端通过标准RESTfulAPI接口发送管理数据的请求至混合存储系统；步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；步骤(5)：返回请求结果至客户端，为了保证IO与元数据的一致性，只有IO模块和元数据模块同时操作成功的情况，才返回请求成功的标志。2.根据权利要求1所述的一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：所述混合存储系统包括文件系统存储、对象存储系统，在混合存储系统中元数据处于一个中心位置，通过元数据模块对元数据的解析，可实现将物理分布在多个地点的数据集成为统一的数据共享和访问管理的逻辑空间，以低成本、松耦合方式实现大量异构数据资源的集中整合与共享。3.根据权利要求1所述的一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：所述元数据模块...

【专利技术属性】
技术研发人员：顾友峰，陈大伟，韩欣，
申请(专利权)人：上海德拓信息技术股份有限公司，
类型：发明
国别省市：上海,31