一种适用于HBase进行数据备份与恢复的方法技术

本发明专利技术提供一种适用于HBase进行数据备份与恢复的方法，属于大数据存储与计算技术领域，本发明专利技术使用HDFS接口展示大数据集群的HDFS存储目录，用于选择数据备份目录，通过MapReduce任务读取HBase数据，将数据文件备份到HDFS分布式文件系统中，并在MySql关系型数据库中写入一条备份操作的记录。进行数据恢复时，选中之前的备份记录，系统自动根据备份记录调用MapReduce将数据恢复到备份时的状态。提供大数据备份与恢复的功能，更加快速、高效的达到容灾的目的。的达到容灾的目的。的达到容灾的目的。

【技术实现步骤摘要】
一种适用于HBase进行数据备份与恢复的方法


[0001]本专利技术涉及大数据存储与计算
，尤其涉及一种适用于HBase进行数据备份与恢复的方法。

技术介绍

[0002]数据备份是容灾的基础，为了防止操作失误、机器宕机等故障必须进行数据备份。随着技术的不断发展，存量数据越来越多，对数据备份及恢复的要求也越来越高。传统的数据备份先读取数据，然后将数据写入到本地磁盘的文件中，数据恢复时再解析本地磁盘的数据文件转换格式后批量写入表中，这种方式会消耗大量的网络IO，性能差。

技术实现思路

[0003]为了解决以上技术问题，本专利技术提供了一种适用于HBase进行数据备份与恢复的方法。将数据备份到HDFS中，备份速度快，数据恢复耗时短，且易于操作，节省运维成本。
[0004]本专利技术的技术方案是：
[0005]一种适用于HBase进行数据备份与恢复的方法，使用HDFS分布式文件系统 API，获取HDFS路径，通过MapReduce任务读取HBase数据，将数据文件备份到 HDFS分布式文件系统中，并在MySql关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于HBase进行数据备份与恢复的方法，其特征在于，使用HDFS分布式文件系统API，获取HDFS路径，通过MapReduce任务读取HBase数据，将数据文件备份到HDFS分布式文件系统中，并在MySql关系型数据库中添加一条备份操作记录；数据恢复时，选择数据备份列表中需要恢复的记录，通过MapReduce任务将备份的数据恢复到指定的HBase表中。2.根据权利要求1所述的方法，其特征在于，数据备份时，通过执行远程命令提交MapReduce任务读取HBase数据，将数据文件备份到HDFS分布式文件系统中。3.根据权利要求2所述的方法，其特征在于，数据恢复时通过操作记录获取数据备份列表中需要恢复的记录，数据恢复时后台通过执行远程命令提交MapReduce任务进行数据恢复，利用日志监听获取当前任务的执行情况。4.根据权利要求3所述的方法，其特征在于，执行远程命令实现将命令发送至集群所在节点并执行，同时监听该命令的执行日志记录；当该命令执行完成并且无日志输出后，将执行结果返回前台并展示给客户，包括：1)、用户操作所在节点与集群节点之间生成公私钥免密配置文件并配置ssh免密登陆；2)、利用程序连接集群节点时，需指定使用的秘钥文件的绝对路径，并指定用户名称；3)、连接到远程节点并发送执行命令，循环监听命令的执行日志，直至无新的日志产生，说明该命令执行完成。5.根据权利要求4所述的方法，其特征在于，操作记录实时更新并记录任务操作进度的功能；通过日志监听获取任务执行日志，分析日志内容，获取当前任务执行状态，并更新到表中，包括：1)、设计操作记录的存储表结构，包括操作类型、操作时间、存储目录；2)、用户点击备份或恢复按钮时，先向表中记录一条操作记录，该记录的状态为初始状态；3)、通过监听日志功能，根据当前任务的进度，实时更新为进行中、操作成功或操作失败状态。6.根据权利要求5所述的方法，其特征在于，日志监听实现任务执行日志监听的功能；接口持续获取任务的执行日志，通过分析日志获得当前任务的执行状态，并反馈至前台展示给用户，包括：1)、执行备份或恢复命令后，获取该任务的ID；2)、调用远程rest接口，通过任务ID获取该任...

【专利技术属性】
技术研发人员：赵圣杰，周永进，胡清，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：