The invention discloses a metadata management method of a HDFS storage system, the first management node used in HDFS storage system, HDFS storage system includes a plurality of sharing the same metadata information pool management node, the first node for the management of HDFS storage system contains arbitrary multiple nodes in a management, the method can include the following steps: receiving the client for the target service request metadata; metadata information pool based on the service request. The application of the technical proposal provided by the embodiment of the invention, a plurality of management nodes share the same metadata information pool, can avoid the problem of data inconsistency, more than one management node while providing a service, can avoid the single node management problem of overload, the HDFS storage system can long time in high availability state, improve storage performance. The invention also discloses a metadata management device for the HDFS storage system, which has the corresponding technical effect.
【技术实现步骤摘要】
一种HDFS存储系统的元数据管理方法及装置
本专利技术涉及计算机存储
,特别是涉及一种HDFS存储系统的元数据管理方法及装置。
技术介绍
随着计算机技术的快速发展,大数据应用越来越广泛,对存储的性能要求越来越高。HDFS(HadoopDistributedFileSystem,Hadoop分布式文件系统)为一种分布式统一存储系统,是大数据处理Hadoop的存储组件。目前,在HDFS存储系统中,多是基于主从模式配置两个管理节点,即主管理节点和从管理节点,管理节点也可称为NameNode。同一时间,主管理节点负责大数据的数据存储服务,其操作过程记录在日志中,按照一定的时间间隔进行日志的导出。如果主管理节点出现问题,从管理节点会读取日志,接管主管理节点的服务,变成主管理节点。这种方法存在一定的缺点,因为日志是按照一定的时间间隔导出的,主管理节点出现问题之前的一小段时间的操作过程可能并未被记录,存在数据丢失与不一致的问题,而且,同一时间只有一个管理节点对外提供服务,很容易因负载过重导致管理节点出现异常,使得HDFS存储系统处于不可用状态,影响存储性能。
技术实现思路
本专利技术的目的是提供一种HDFS存储系统的元数据管理方法及装置,以避免出现数据不一致问题,及避免出现单个管理节点负载过重问题,使得HDFS存储系统处于高可用状态,提升存储性能。为解决上述技术问题,本专利技术提供如下技术方案:一种HDFS存储系统的元数据管理方法,应用于HDFS存储系统的第一管理节点,所述HDFS存储系统包含多个共享同一元数据信息池的管理节点,所述第一管理节点为所述HDFS存储系统包 ...
【技术保护点】
一种HDFS存储系统的元数据管理方法,其特征在于,应用于HDFS存储系统的第一管理节点,所述HDFS存储系统包含多个共享同一元数据信息池的管理节点,所述第一管理节点为所述HDFS存储系统包含的多个管理节点中的任意一个,所述方法包括:接收客户端针对目标元数据的服务请求;基于所述元数据信息池,响应所述服务请求。
【技术特征摘要】
1.一种HDFS存储系统的元数据管理方法,其特征在于,应用于HDFS存储系统的第一管理节点,所述HDFS存储系统包含多个共享同一元数据信息池的管理节点,所述第一管理节点为所述HDFS存储系统包含的多个管理节点中的任意一个,所述方法包括:接收客户端针对目标元数据的服务请求;基于所述元数据信息池,响应所述服务请求。2.根据权利要求1所述的方法,其特征在于,所述基于所述元数据信息池,响应所述服务请求,包括:如果所述服务请求为写入请求,则将所述目标元数据写入至所述元数据信息池中。3.根据权利要求1或2所述的方法,其特征在于,所述基于所述元数据信息池,响应所述服务请求,包括:如果所述服务请求为读取请求,则从所述元数据信息池中读取所述目标元数据。4.根据权利要求3所述的方法,其特征在于,在所述从所述元数据信息池中读取所述目标元数据之前,还包括:利用paxos协议对所述元数据信息池中的元数据信息进行一致性检测;确定一致性检测是否通过;如果是,则执行所述从所述元数据信息池中读取所述目标元数据的步骤。5.根据权利要求4所述的方法,其特征在于,在确定一致性检测未通过时,还包括:输出告警信息。6.一种HDFS存储系统的元数据管理装...
【专利技术属性】
技术研发人员:白学余,海鑫,高四辈,
申请(专利权)人:郑州云海信息技术有限公司,
类型:发明
国别省市:河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。