元数据的管理方法和装置制造方法及图纸

本发明专利技术公开了一种元数据的管理方法和装置，其中，该方法包括：将元数据配置为多个集合；在多个节点中的每个节点以全复制的方式保存元数据的多个集合；根据用户的请求访问节点中保存的部分或全部集合。本发明专利技术通过将元数据配置为多个集合的形式保存到节点中，再对用户提供服务，能够整合元数据的资源，优化元数据的存储结构，从而提高对元数据节点进行更新的效率，并且由于采用了全复制的方式，减少了数据丢失，进而提高了分布式数据存储系统的资源利用率。

【技术实现步骤摘要】
元数据的管理方法和装置
本专利技术涉及计算机领域，并且特别地，涉及一种元数据的管理方法及其装置。
技术介绍
对元数据进行存储是分布式存储系统中的重要环节，近年来，随着数据量的急剧增加，分布式存储技术成为普遍应用的技术，各种分布式文件系统、分布式数据库软件层出不穷，这些技术采用了不同的机制对元数据进行存储。在实际应用中，对元数据进行读操作是很频繁的，为了保证分布式系统的高效性，可以将元数据组织成特定的数据结构存储在内存中。元数据节点是影响整个分布式存储系统可用性的关键模块。用户端对分布式系统的读写操作都要经过元数据节点。元数据节点一般都需要具有较大内存，并且因为在元数据节点对外提供服务时，会出现多用户端并发访问同一个元数据节点的情况，因此，它又需要具有较大的带宽。目前，大多分布式存储系统为了减少元数据管理的负担而采用单点提供元数据服务的方式，为了安全起见，又在系统中添加了元数据备份节点，在每次对元数据节点进行写操作时，需要写两份元数据(即，同时对元数据节点和备份节点进行写操作)。当单元数据节点失效时，另外的元数据备份节点将继续提供服务，防止分布式存储系统瘫痪。比如，备份节点在服务节点故障后，用于进行恢复，但是这种方式故障恢复的时间很长。例如，分布式文件系统(HadoopDistributedFileSystem，简称HDFS)以及谷歌文件系统(googleFileSystem，简称GFS)的早期版本，均采用这种方案，但是HDFS通常需要半个小时才能恢复故障，并且无法实现热切换，导致集群对外提供服务的能力大大降低。因此，利用元数据分布式全复制存储同时对外提供服务将是大势所趋。分布式数据库(HadoopDatabase，简称HBase)所采用的方式，虽然有了副本和热切换的机制，但是仍然只有一个副本对外提供服务，并且还会在高并发时产生瓶颈问题。如果采用多副本同时对外提供服务，则很容易导致数据读写的不一致。这就是可用性与一致性无法同时满足的经典理论。而对元数据的进行更新操作时，如果采用分布式系统中常用的两阶段或者三阶段提交的数据从而进行更新操作的方法，会大大降低数据可用性。针对相关技术中对分布式数据存储系统中的元数据更新操作效率不高，导致系统数据可用性降低的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中对分布式数据存储系统中的元数据更新操作效率不高，导致系统数据可用性降低的问题，本专利技术提出一种元数据的管理方法，能够优化元数据的存储结构，从而提高对元数据节点进行更新的效率，为实现元数据方便有效的管理提供了一种新思路，进而提高分布式数据存储系统的资源利用率。本专利技术的技术方案是这样实现的：根据本专利技术的一个方面，提供了一种元数据的管理方法。该管理方法包括：将元数据配置为多个集合；在多个节点中的每个节点以全复制的方式保存元数据的多个集合；根据用户的请求访问节点中保存的部分或全部集合。并且，该管理方法进一步包括：通过表格的形式配置元数据的每个集合，每个表格中包括该集合中元数据的名称和相应的内容。可选地，上述内容包括以下至少之一：元数据的类型、元数据的说明信息。此外，在对节点中保存的部分或全部集合进行更新的情况下，利用事务机制、以集合为单位进行更新。进一步地，在对一节点中保存的部分或全部集合进行更新的情况下，如果对一集合更新成功，而与该集合存在关联的集合更新失败，则对该集合以及与改进和存在关联的集合执行回滚。另外，该管理方法进一步包括：在对节点进行更新的情况下，根据多个节点的预定排序，对需要更新的节点依次进行单向更新。并且，该管理方法进一步包括：在对节点进行更新期间，如果更新停止时成功更新的节点数量少于预定阈值，则对更新完成的节点执行回滚。进一步地，在根据用户的请求确定用户需要读取元数据的情况下，根据用户的请求访问节点中保存的部分或全部集合包括：根据用户的请求确定用户需要读取的元数据的版本，根据多个节点保存的元数据的版本以及多个节点的负载，由多个节点中的一个节点将需要读取的元数据提供给用户。根据本专利技术的另一个方面，提供了一种元数据的管理装置。该管理装置包括：配置模块，用于将元数据配置为多个集合；保存模块，用于在多个节点中的每个节点以全复制的方式保存元数据的多个集合；访问模块，用于根据用户的请求访问节点中保存的部分或全部集合。其中，访问模块进一步用于在对节点进行更新的情况下，根据多个节点的预定排序，对需要更新的节点依次进行单向更新。本专利技术通过将元数据配置为多个集合的形式保存到节点中，再对用户提供服务，能够整合元数据的资源，优化元数据的存储结构，从而提高对元数据节点进行更新的效率，并且由于采用了全复制的方式，降低了数据丢失的概率，进而提高了分布式数据存储系统的资源利用率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的元数据的管理方法的流程图；图2是本专利技术实施例采用关系型数据库管理集群数据库的模型的示意图；图3是根据本专利技术实施例的元数据管理方法在minSuc(最小成功节点数)为1时进行元数据管理的示意图；图4是根据本专利技术实施例的元数据管理方法在minSuc为2时进行元数据管理的示意图；图5是根据本专利技术的实施例的元数据管理装置的框图。具体实施方法下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术的实施例，提供了一种元数据的管理方法。如图1所示，根据本专利技术实施例的元数据的管理方法包括：步骤S101，将元数据配置为多个集合；步骤S103，在多个节点中的每个节点以全复制的方式保存元数据的多个集合；步骤S105，根据用户的请求访问节点中保存的部分或全部集合。根据本专利技术实施例的管理方法可以进一步通过表格的形式配置元数据的每个集合。在实际应用中，通过表格的形式配置元数据又可以称为元数据管理的微观存储。在该微观存储中，元数据都设计成表格存储，每条数据最新的修改永远是记录日志，按照配置将更新操作持久化到一个或者多个节点上。其中，每个集合所对应的表格中包括该集合中各个元数据的名称和相应的内容。可选地，集合中的内容还可以进一步包括以下至少之一：元数据的类型、元数据的说明信息。表1以分区信息为例示出了根据本专利技术实施例的元数据表的存储结构：字段名称类型说明Dist_idNUMBER分区编号Table_nameVarchar(10)数据表名Part_columnVarchar(10)分区列名Dist_ruleNUMBER分区规则Node_numNUMBER节点数目表1如表1所示，元数据可以包括字段名字(即元数据的名称)、类型以及说明。不同的字段名称区分表示不同的元数据，包括但不限于表1中表示的Dist_id、Table_name、Part_column、Dist_rule、Node_num。元数据的类型可以包括但不限于表本文档来自技高网...

【技术保护点】
一种元数据的管理方法，其特征在于，所述管理方法包括：将元数据配置为多个集合；在多个节点中的每个节点以全复制的方式保存所述元数据的多个集合；根据用户的请求访问节点中保存的部分或全部集合。

【技术特征摘要】
1.一种元数据的管理方法，其特征在于，所述管理方法包括：将元数据配置为多个集合；在多个节点中的每个节点以全复制的方式保存所述元数据的多个集合；根据用户的请求访问节点中保存的部分或全部集合；其中，主节点数据最新，从节点不一定最新，并且设计单向更新机制；在对一节点中保存的部分或全部集合进行更新的情况下，如果对一集合更新成功，而与该集合存在关联的集合更新失败，则对该集合以及与改进和存在关联的集合执行回滚；在对节点进行更新期间，如果更新停止时成功更新的节点数量少于预定阈值，则对更新完成的节点执行回滚；在根据用户的请求确定用户需要读取元数据的情况下，根据用户的请求访问节点中保存的部分或全部集合包括：根据用户的请求确定用户需要读取的元数据的版本，根据所述多个节点保存的元数据的版本以及所述多个节点的负载，由所述多个节点中的一个节点将需要读取的元数据提供给所述用户。2.根据权利要求1所述的管理方法，其特征在于，进一步包括：通过表格的形式配置所述元数据的每个集合，每个表格中包括该集合中元数据的名称和相应的内容。3.根据权利要求2所述的管理方法，其特征在于，所述内容包括以下至少之一：元数据的类型、元数据的说明信息。4.根据权利要求1所述的管理方法，其特征在于，在对节点中保存的部分或全部集合进行更新的情况下，利用事务机制、以集合为单位进行更新。5.根据权利...

【专利技术属性】
技术研发人员：王颖，宋怀明，狄静舒，苗艳超，刘新春，邵宗有，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京;11