一种多元异构存储方法及系统技术方案

本发明专利技术公开了一种多元异构存储方法，包括以下步骤：存储服务管理平台设定高可用配置策略；用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。本发明专利技术还公开了一种多元异构存储系统。该方法和系统基于用户自定义的高可用存储规则有效提高多元异构存储的存储利用率。

A Multivariate Heterogeneous Storage Method and System

The invention discloses a multiple heterogeneous storage method, which includes the following steps: setting a high availability configuration strategy for the storage service management platform; setting corresponding high availability storage rules according to the high availability configuration strategy and combining the high availability requirements of the data to be stored; and generating and synchronizing the corresponding configuration files according to the High Availability Storage rules by the storage service management platform. To the corresponding storage service node; in response to user access to storage services, according to user-set high-availability storage rules for the corresponding data storage. The invention also discloses a multi-component heterogeneous storage system. This method and system based on user-defined high-availability storage rules can effectively improve the storage utilization of Multi-heterogeneous storage.

【技术实现步骤摘要】
一种多元异构存储方法及系统
本专利技术涉及计算机数据存储领域，并且更具体地，特别是指一种多元异构存储方法及系统。
技术介绍
大数据环境下，为了应对不同存储类型的数据采用不同的存储系统，造成了各种各样的存储服务一起运行的场景，这种场景对应着一组同一用户，每一种存储都有自己对应的高可用的解决方案，但存在存储利用率低的缺陷。现有技术中尚未披露一种多元异构存储方法及系统，该方法和系统基于用户自定义规则的多元异构存储可靠性实现方法，提供存储服务的统一管理及可视化监控等功能，用于多租户、多应用的安全存储隔离及安全存储访问等场景；同时基于用户配置的可用性规则进行数据存储，有效提高多元异构存储的存储利用率。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种多元异构存储方法及系统，该方法和系统基于用户自定义的高可用存储规则有效提高多元异构存储的存储利用率。基于上述目的，本专利技术实施例的一方面提供了一种多元异构存储方法，包括：存储服务管理平台设定高可用配置策略；用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。在一些实施方式中，存储服务管理平台设定高可用配置策略包括：存储服务管理平台初始化阶段由其所在服务器的管理员负责启动相关的后端进程；后端进程启动之后，存储服务管理平台的系统管理员借助Web界面登录管理GUI并且在所述GUI上进行存储服务注册功能以及设定高可用配置策略。在一些实施方式中，存储服务管理平台被配置为多元异构存储平台。在一些实施方式中，存储服务包括文件级存储服务、块存储服务以及对象存储服务。在一些实施方式中，文件级存储服务至少包括NFS、ftp、HDFS文件级存储服务。在一些实施方式中，每个存储服务节点对应一种存储服务。在一些实施方式中，存储服务管理平台至少还提供存储服务运行维护及监控管理功能。在一些实施方式中，HDFS的Namenode和Datanode以及存储服务管理平台各自运行于相应的服务器上，被用户配置的HDFS的副本数量为3，HDFS配置文件与HDFS集群服务器上的配置文件同步。在一些实施方式中，完成配置文件同步之后，用户以配置的副本数进行存储。本专利技术实施例的另一方面，还提供了一种多元异构存储系统，包括：存储服务管理平台和存储服务器，其中，存储服务管理平台与用户交互用于产生高可用存储规则，存储服务管理平台与存储服务器交互用于同步配置文件，存储服务器包括一个或多个存储服务节点。本专利技术具有以下有益技术效果：本专利技术实施例提供的一种多元异构存储方法及系统，根据存储服务管理平台设定的高可用配置策略使用户自定义高可用存储规则，并且根据该高可用存储规则进行存储有效提高多元异构存储的存储利用率，存储服务管理平台还提供存储服务的统一管理及可视化监控等功能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的多元异构存储方法的流程示意图；图2为本专利技术提供的多元异构存储系统的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种多元异构存储方法的实施例。图1示出的是本专利技术提供的多元异构存储方法的流程示意图。一种多元异构存储方法，可选地，包括以下步骤：步骤S101，存储服务管理平台设定高可用配置策略；步骤S102，用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；步骤S103，存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；步骤S104，响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。如图1所示，本专利技术在将高可用的配置策略交由用户，让用户根据数据的高可用要求定义对应的存储规则，从而保证在满足用户高可用要求的前提下，减少了存储副本数，提高多元异构存储系统的存储利用率。本专利技术提出了一种基于用户自定义规则的多元异构存储可靠性实现方法。该平台对外提供了存储服务运行维护及监控等管理功能，方便管理员集中管理多元异构存储服务；同时还负责解析用户自定义的可靠性规则，下发相应的规则到多元异构存储的规则执行点。在系统管理员完成服务注册及策略配置之后，基于多元异构存储用户配置的可靠性规则生成相关配置文件，然后同步到对应的存储服务节点。在一个实施方式中，存储服务管理平台设定高可用配置策略包括：存储服务管理平台初始化阶段由其所在服务器的管理员负责启动相关的后端进程；后端进程启动之后，存储服务管理平台的系统管理员借助Web界面登录管理GUI并且在所述GUI上进行存储服务注册功能以及设定高可用配置策略。多元异构存储平台初始化阶段由其所在服务器的管理员负责启动相关的后端进程，通常指网络(Web)服务进程。后端进程启动之后，平台的系统管理员借助Web界面登录管理图形用户界面(GUI)，在该GUI上进行存储服务(NFS、ftp、HDFS等文件级存储服务、块存储服务、对象存储服务)注册功能以及策略的配置。在一个实施方式中，存储服务管理平台被配置为多元异构存储平台。在一个实施方式中，存储服务包括文件级存储服务、块存储服务以及对象存储服务。在一个实施方式中，文件级存储服务至少包括NFS、ftp、HDFS文件级存储服务。在一个实施方式中，每个存储服务节点对应一种存储服务。在一个实施方式中，存储服务管理平台至少还提供存储服务运行维护及监控管理功能。在一个实施方式中，HDFS的Namenode和Datanode以及存储服务管理平台各自运行于相应的服务器上，被用户配置的HDFS的副本数量为3，HDFS配置文件与HDFS集群服务器上的配置文件同步。HDFS的Namenode运行于IP为192.168.1.110的服务器上，Datanode运行于IP为192.168.1.111-119的服务器上，存储服务管理平台运行于IP为192.168.1.100的服务器上，用户配置HDFS的副本数为3，完成的HDFS配置文件HDFS_192_168_1_100需要与HDFS集群服务器上的配置文件进行同步。在一个实施方式中，完成配置文件同步之后，用户以配置的副本数进行存储。完成配置文件同步之后，用户与HDFS的存储就会安全配置的副本数进行存储，进行保证存储数据的高可用性。从上述实施例可以看出，本专利技术实施例提供的多元异构存储方法，根据存储服务管理平台设定的高可用配置策略使用户自定义高可用存储规则，并且根据该高可用存储规则进行存储有效提高多元异构本文档来自技高网...

【技术保护点】
1.一种多元异构存储方法，其特征在于，包括以下步骤：存储服务管理平台设定高可用配置策略；用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。

【技术特征摘要】
1.一种多元异构存储方法，其特征在于，包括以下步骤：存储服务管理平台设定高可用配置策略；用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。2.根据权利要求1所述的方法，其特征在于，存储服务管理平台设定高可用配置策略包括：存储服务管理平台初始化阶段由其所在服务器的管理员负责启动相关的后端进程；后端进程启动之后所述存储服务管理平台的系统管理员借助Web界面登录管理GUI并且在所述GUI上进行存储服务注册功能以及设定高可用配置策略。3.根据权利要求2所述的方法，其特征在于，所述存储服务管理平台被配置为多元异构存储平台。4.根据权利要求2所述的方法，其特征在于，所述存储服务包括文件级存储服务、块存储服务以及对象存...

【专利技术属性】
技术研发人员：赵瑞东，元河清，孙大军，孙晓妮，
申请(专利权)人：山东超越数控电子股份有限公司，
类型：发明
国别省市：山东,37