一种基于远程日志备份的 HBase 数据可用性及持久性的方法技术

本发明专利技术公开了一种基于远程日志备份的HBase数据可用性及持久性的方法，HBase的数据节点写入时，首先通过分布式系统封装日志记录，并通过网络把日志备份到预先指定的远程节点，保证数据的可用性和持久性，并以此为基础，把大量用户数据和日志记录暂存在内存中，减少数据处理过程中的数据持久化进程；当HBase的数据节点处于空闲的时候，主动把内存中的数据持久化到文件系统，减轻内存存储压力，减少写操作过程中发生持久化进程的频率，提高数据写入的时间性能。这种基于远程日志备份的HBase数据可用性及持久性的方法保证了数据的可用性、持久性，大大提高数据写入速度、提高系统性能。

【技术实现步骤摘要】
一种基于远程日志备份的HBase数据可用性及持久性的方法
本专利技术涉及一种基于远程日志备份的非关系型数据库数据可用性和持久性的解决方案，尤其涉及一种基于远程日志备份的HBase数据可用性及持久性的方法。
技术介绍
非关系型数据库是指有别于传统的关系型数据库的一种新型数据库，在海量数据存储、高并发访问支持等方面表现出很好的性能。HBase，也就是HadoopDatabase，是一种基于列存储的非关系型数据库。HBase是ApacheHadoop的子项目，在Hadoop架构中处于结构化存储层：下层需要=依托分布式文件系统HDFS；为上层的MapReduce计算模块提供高性能、高可靠、高可扩展性、基于列存储的分布式存储系统。HBase可以存储结构化数据，也可以存储半结构化或者非结构化的数据。此外,HBase中表会被分割为子表，即HRegion；MemStore为HRegion所拥有的实例；WALEdit主体为KeyValue的List，记录了系统的日志信息；applyFamilyMapToMemstore方法为数据写入内存Memstore的方法；WALEdit类主体为KeyValue的L本文档来自技高网...

【技术保护点】
一种基于远程日志备份的HBase数据可用性及持久性的方法，其特征在于：HBase的数据节点写入时，首先把数据暂存在内存中，通过分布式系统封装日志记录，并通过网络把日志备份到预先指定的远程节点；当HBase的数据节点处于空闲状态时，主动把内存中暂存的中的数据持久化到文件系统；所述HBase的数据节点包括空存储状态、存储状态、预备持久化状态和持久化状态四种状态；所述HBase的数据节点处于空存储状态时，如果接收到的是读操作请求，HBase的数据节点承载的MemStore中没有写入数据、还是空置的，所以HBase的数据节点仍然处在空存储状态；当HBase的数据节点处于空存储状态时，如果HBase的数...

【技术特征摘要】
1.一种基于远程日志备份的HBase数据可用性及持久性的方法，其特征在于：HBase的数据节点写入时，首先把数据暂存在内存中，通过分布式系统封装日志记录，并通过网络把日志备份到预先指定的远程节点；当HBase的数据节点处于空闲状态时，主动把内存中暂存的中的数据持久化到文件系统；所述HBase的数据节点包括空存储状态、存储状态、预备持久化状态和持久化状态四种状态；所述HBase的数据节点处于空存储状态时，如果接收到的是读操作请求，HBase的数据节点承载的MemStore中没有写入数据、还是空置的，所以HBase的数据节点仍然处在空存储状态；当HBase的数据节点处于空存储状态时，如果HBase的数据节点接收到写操作请求，就会有用户数据写入某个或某几个MemStore，此时HBase的数据节点转入存储状态，若处于存储状态的HBase的数据节点没有任何的操作正在进行，也没有任何的请求需要响应，则进入预备持久化状态；如果HBase的数据节点处于预备持久化状态，则会判断当前待持久化队列是否为空，如果待持久化队列为空，则直接转入空存储状态，如果队列不为空则启动等待计时器，如果等待计时器时间到达，节点仍然没有正在运行的任务或者没有收到任何操作请求，节点会启动持久化进程，把日志写入文件系统，当前的HBase的数据节点进入持久化状态；当处于预备持久化状态的HBase的数据节点在等待计时的过程中，如果有读写请求或者节点需要运行其他任务，则立即停止等待计时，节点终止预备持久化状态、重新进入存储状态；而处于持久化状态的HBase的数据节点不会被中断，直至完成了一个持久化过程，把日志文件或者某个HRegion的MemStore数据全部写入了文件系统，则重新转入预备持久化状态；在日志备份过程中需要设计一个轻型的客户端，所述客户端具有如下功能：一、封装并备份日志记录及相关信息：HBase节点处理写操作请求的过程中，需要封装日志记录及相关信息，包括日志记录WAL，数据表信息、HRegion信息和集群信息，随后HBase节点需要通过网络程序接口把封装好的日志数据立即备份到预先指定的远程节点；二、等待远程备份节点返回的确认信息：备份节点接收到日志数据后会为源节点构造并返回一个确认信息，所以HBase客户端节点还需要等待来自远程备份节点的确认信息，并根据确认信息的状态判断写操作的最终状态：至少要有一半以上的节点备份成功才能认为写操作是成功的，否则写操作返回失败；三、发送同步信息到远程备份节点：当HBase节点发起了持久化进程，其部分日志数据就可以删除，所以节点需要以客户端的身份把持久化信息告知自己的备份节点；所述客户端与服务器端通信连接，所述服务器端具有如下功能：(1)、存储远程节点备份的日志记录：服务...

【专利技术属性】
技术研发人员：杨峰，陈宁昕，孙晓燕，周学海，唐长城，谢飞，赵伟，李政，
申请(专利权)人：上海艾讯云计算有限公司，
类型：发明
国别省市：上海,31