一种HDFS存储系统以及数据存储方法技术方案

本发明专利技术公开了一种HDFS存储系统，包括：多个元数据管理节点，与每个元数据管理节点连接的分布式系统高可用组件，元数据存储池；其中，所述元数据管理节点用于接收和处理待存储数据的存储请求；所述分布式系统高可用组件，用于在当前分布式系统高可用组件对应的当前元数据管理节点宕机的情况下，将发送至所述当前元数据管理节点的存储请求转移至另一元数据管理节点上；所述元数据存储池，用于存储所述待存储数据，所述多个元数据管理节点均与所述元数据存储池建立通信链接。本发明专利技术所提供的HDFS存储系统，保证了服务切换过程中的数据一致性，不会在切换过程中丢失待存储数据。本发明专利技术还提供了一种数据存储方法，具有上述有益效果。

【技术实现步骤摘要】
一种HDFS存储系统以及数据存储方法
本专利技术涉及数据存储
，特别是涉及一种HDFS存储系统以及一种数据存储方法。
技术介绍
HDFS是Hadoop大数据的存储组件，负责整体数据的存储，NameNode是HDFS的元数据管理模块，如果NameNode出现问题，将导致整体HDFS存储系统不可用，为此，HDFS推了基于主备模式的高可用解决方案，同一时间，主NameNode负责大数据的数据存储服务，如果主NameNode出现问题，从NameNode会接手服务，来进行大数据整体的存储服务。传统HDFS存储系统中主备NameNode架构在同一时间只有主NameNode是active状态，可以接收数据的存储请求；备NameNode处于Standy状态，主备NameNode共同享一份存储区域，在发生切换时，备NameNode读取共享存储区域，获取最新的状态，变成主NameNode。这种存储方式的高可用，在切换时，可能会造成数据的丢失与不一致问题，同时，同一时刻，只有一个NameNode会让整体负载较重。由于现有的HDFS存储系统使用的是日志管理方式，并按时间对日志进行导出，如果主NameNode出现问题，从NameNode将读取日志，对服务进行接管。由于日志是按一定时间间隔导出的，若在主NameNode出现故障前，数据未同步至从NameNode，会导致数据的丢失问题。且同一时间只有一个NameNode对外进行服务，存在负载过重的问题。综上所述可以看出，如何在主元数据管理节点发送故障时，保证服务切换过程中数据一致性的是目前有待解决的问题。
技术实现思路
本专利技术的目的是提供一种HDFS存储系统，在某一元数据管理节点故障时，会自动切换至其他的元数据管理节点上，保证服务切换过程中的数据一致性。本专利技术还提供了一种数据存储方法，具有上述有益效果。为解决上述技术问题，本专利技术提供一种HDFS存储系统，包括：多个元数据管理节点，与每个元数据管理节点连接的分布式系统高可用组件，元数据存储池；其中，所述元数据管理节点用于接收和处理待存储数据的存储请求；所述分布式系统高可用组件，用于在当前分布式系统高可用组件对应的当前元数据管理节点宕机的情况下，将发送至所述当前元数据管理节点的存储请求转移至另一元数据管理节点上；所述元数据存储池，用于存储所述待存储数据，所述多个元数据管理节点均与所述元数据存储池建立通信链接。优选地，还包括：客户端，所述客户端与所述多个元数据管理节点建立通信连接；所述多个元数据管理节点向所述客户端提供多个虚拟IP地址。优选地，所述客户端向所述元数据管理节点的虚拟IP地址发送存储数据的存储请求；在所述虚拟IP地址对应的元数据管理节点宕机的情况下，所述分布式系统高可用组件将所述虚拟IP地址转移到另一个元数据管理节点上。优选地，所述多个元数据管理节点具体用于：接收和处理所述客户端所发送的待存储数据的存储请求、维护整个文件系统的文件目录树以及维护文件与数据块block列表的对应关系。优选地，所述元数据存储池为分布式存储池，所述多个元数据管理节点均与所述元数据存储池中的元数据集群保持通信。优选地，还包括：与所述元数据存储池连接的数据节点，用于根据所述客户端或所述元数据管理节点的调度存储和检索数据，且每隔预设时间间隔向所述元数据管理节点发送所述数据节点所存储块block的列表。本专利技术还提供了一种数据存储方法，包括：利用多个元数据管理节点接收和处理待存储数据的存储请求；其中，每个元数据管理节点均连接有分布式系统高可用组件；在当前分布式系统高可用组件对应的当前元数据管理节点宕机的情况下，将发送至所述当前元数据管理节点的存储请求转移至另一元数据管理节点上；所述多个元数据管理节点均与所述元数据存储池建立通信连接，以便于将所述待存储数据存储至所述元数据存储池。优选地，所述利用多个元数据管理节点接收和处理待存储数据的存储请求包括：利用多个元数据管理节点接收和处理客户端发送的待存储数据的存储请求；所述客户端与所述多个元数据管理节点建立通信连接；所述多个元数据管理节点向所述客户端提供多个虚拟IP地址。优选地，所述多个元数据管理节点向所述客户端提供多个虚拟IP地址包括：所述客户端向所述元数据管理节点的虚拟IP地址发送存储数据的存储请求；在所述虚拟IP地址对应的元数据管理节点宕机的情况下，所述分布式系统高可用组件将所述虚拟IP地址转移到另一个元数据管理节点上。优选地，所述元数据存储池为分布式存储池，所述多个元数据管理节点均与所述元数据存储池中的元数据集群保持通信。本专利技术所提供的HDFS存储系统，包括多个元数据管理节点，且各个元数据管理节点均连接有分布式系统高可用组件，且各个分布式系统高可用组件均与元数据存储池连接。其中，所述元数据管理节点用于接收和处理所述客户端发送的数据存储请求；在当前元数据管理节点出现故障的情况下，与所述当前元数据管理单元连接的分布式系统高可用组件将所述存储请求切换至另一元数据管理节点进行处理；所述多个元数据管理节点间相互独立，不需要进行数据同步，共同处理同一份数据；在某一元数据管理节点发生故障时，所述分布式系统高可用组件将所述存储请求，发送至另一个元数据管理节点上进行处理，从而保证了存储系统的服务不中断，保证了服务的整体高可用，并且保证了服务切换过程中的数据一致性，不会在切换过程中丢失待存储数据。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例所提供的一种HDFS存储系统的结构框图；图2为本专利技术实施例所提供的数据存储方法的一种具体实施例的流程图。具体实施方式本专利技术的核心是提供一种HDFS存储系统，保证了服务切换过程中的数据一致性，不会在切换过程中丢失待存储数据。本专利技术还提供了一种数据存储方法，具有上述实施例。现有的HDFS存储系统的主NameNode使用读取镜像文件的方式进行元数据的同步，主NameNode通过写日志文件记录当前系统所做的操作，并按一定时间规则将日志信息写到镜像文件中，当发现NameNode切换时，从NameNode会主动的去读取镜像文件，来获取主NameNode的各种状态，从而达到数据的切换过程。如果日志文件纪录在写镜像之前，服务中断，会造成数据的丢失或者数据的不一致问题。为了解决现有技术中的缺点，本专利技术提供了一种HDFS存储系统，具有多个元数据管理节点，且利用高可用组件CTDB使某一元数据节点发生故障时，可以将客户端的存储请求发生至另一个元数据管理节点中，保证了存储系统的高可用性，并保证了服务切换过程中数据的一致性。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，图1为本专利技术实施例所提供的一种HDFS存储系统的结构框图；本实施所提供的本文档来自技高网...

【技术保护点】
1.一种HDFS存储系统，其特征在于，包括：多个元数据管理节点，与每个元数据管理节点连接的分布式系统高可用组件，元数据存储池；其中，所述元数据管理节点用于接收和处理待存储数据的存储请求；所述分布式系统高可用组件，用于在当前分布式系统高可用组件对应的当前元数据管理节点宕机的情况下，将发送至所述当前元数据管理节点的存储请求转移至另一元数据管理节点上；所述元数据存储池，用于存储所述待存储数据，所述多个元数据管理节点均与所述元数据存储池建立通信链接。

【技术特征摘要】
1.一种HDFS存储系统，其特征在于，包括：多个元数据管理节点，与每个元数据管理节点连接的分布式系统高可用组件，元数据存储池；其中，所述元数据管理节点用于接收和处理待存储数据的存储请求；所述分布式系统高可用组件，用于在当前分布式系统高可用组件对应的当前元数据管理节点宕机的情况下，将发送至所述当前元数据管理节点的存储请求转移至另一元数据管理节点上；所述元数据存储池，用于存储所述待存储数据，所述多个元数据管理节点均与所述元数据存储池建立通信链接。2.如权利要求1所述的HDFS存储系统，其特征在于，还包括：客户端，所述客户端与所述多个元数据管理节点建立通信连接；所述多个元数据管理节点向所述客户端提供多个虚拟IP地址。3.如权利要求2所述的HDFS存储系统，其特征在于，所述客户端向所述元数据管理节点的虚拟IP地址发送存储数据的存储请求；在所述虚拟IP地址对应的元数据管理节点宕机的情况下，所述分布式系统高可用组件将所述虚拟IP地址转移到另一个元数据管理节点上。4.如权利要求3所述的HDFS存储系统，其特征在于，所述多个元数据管理节点具体用于：接收和处理所述客户端所发送的待存储数据的存储请求、维护整个文件系统的文件目录树以及维护文件与数据块block列表的对应关系。5.如权利要求1所述的HDFS存储系统，其特征在于，所述元数据存储池为分布式存储池，所述多个元数据管理节点均与所述元数据存储池中的元数据集群保持通信。6.如权利要求1所述的HDFS存储系统，其特征在于，还包括：与所述元数据存...

【专利技术属性】
技术研发人员：白学余，海鑫，高四辈，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41