一种适用于HBase进行数据备份与恢复的方法技术

本发明专利技术提供一种适用于HBase进行数据备份与恢复的方法，属于大数据存储与计算技术领域，本发明专利技术使用HDFS接口展示大数据集群的HDFS存储目录，用于选择数据备份目录，通过MapReduce任务读取HBase数据，将数据文件备份到HDFS分布式文件系统中，并在MySql关系型数据库中写入一条备份操作的记录。进行数据恢复时，选中之前的备份记录，系统自动根据备份记录调用MapReduce将数据恢复到备份时的状态。提供大数据备份与恢复的功能，更加快速、高效的达到容灾的目的。的达到容灾的目的。的达到容灾的目的。

【技术实现步骤摘要】
一种适用于HBase进行数据备份与恢复的方法


[0001]本专利技术涉及大数据存储与计算
，尤其涉及一种适用于HBase进行数据备份与恢复的方法。

技术介绍

[0002]数据备份是容灾的基础，为了防止操作失误、机器宕机等故障必须进行数据备份。随着技术的不断发展，存量数据越来越多，对数据备份及恢复的要求也越来越高。传统的数据备份先读取数据，然后将数据写入到本地磁盘的文件中，数据恢复时再解析本地磁盘的数据文件转换格式后批量写入表中，这种方式会消耗大量的网络IO，性能差。

技术实现思路

[0003]为了解决以上技术问题，本专利技术提供了一种适用于HBase进行数据备份与恢复的方法。将数据备份到HDFS中，备份速度快，数据恢复耗时短，且易于操作，节省运维成本。
[0004]本专利技术的技术方案是：
[0005]一种适用于HBase进行数据备份与恢复的方法，使用HDFS分布式文件系统 API，获取HDFS路径，通过MapReduce任务读取HBase数据，将数据文件备份到 HDFS分布式文件系统中，并在MySql关系型数据库中添加一条备份操作记录，记录表名、备份时间、备份类型等信息。数据恢复时，选择数据备份列表中需要恢复的记录，通过MapReduce任务将备份的数据恢复到指定的HBase表中。
[0006]进一步的，
[0007]数据备份时，通过执行远程命令提交MapReduce任务读取HBase数据，将数据文件备份到HDFS分布式文件系统中。
[0008]数据恢复时通过操作记录获取数据备份列表中需要恢复的记录，数据恢复时后台通过执行远程命令提交MapReduce任务进行数据恢复，利用日志监听获取当前任务的执行情况。
[0009]再进一步的，
[0010]执行远程命令
[0011]实现将命令发送至集群所在节点并执行，同时监听该命令的执行日志记录；当该命令执行完成并且无日志输出后，将执行结果返回前台并展示给客户，包括：
[0012]1)、用户操作所在节点与集群节点之间生成公私钥免密配置文件并配置ssh 免密登陆；
[0013]2)、利用程序连接集群节点时，需指定使用的秘钥文件的绝对路径，并指定用户名称；
[0014]3)、连接到远程节点并发送执行命令，循环监听命令的执行日志，直至无新的日志产生，说明该命令执行完成。
[0015]操作记录
[0016]实时更新并记录任务操作进度的功能；通过日志监听获取任务执行日志，分析日志内容，获取当前任务执行状态，并更新到表中，包括：
[0017]1)、设计操作记录的存储表结构，包括操作类型、操作时间、存储目录；
[0018]2)、用户点击备份或恢复按钮时，先向表中记录一条操作记录，该记录的状态为初始状态；
[0019]3)、通过监听日志功能，根据当前任务的进度，实时更新为进行中、操作成功或操作失败状态。
[0020]日志监听
[0021]实现任务执行日志监听的功能；接口持续获取任务的执行日志，通过分析日志获得当前任务的执行状态，并反馈至前台展示给用户，包括：
[0022]1)、执行备份或恢复命令后，获取该任务的ID；
[0023]2)、调用远程rest接口，通过任务ID获取该任务的执行状态；
[0024]3)、循环调用接口，直至任务完成，并将任务的状态变化持续反馈给用户；数据备份
[0025]实现表的数据的备份功能；选择需要备份的数据表，点击数据备份；数据备份包含表名称、备份类型、备份路径；其中备份路径为HDFS路径，点击备份路径可以查看HDFS路径，选择数据备份的路径，包括：
[0026]1)、用户选择需要备份的表，点击数据备份按钮，弹出输入界面；
[0027]2)、在该界面上，备份类型分为全量备份和增量备份；表的第一次备份默认为全量备份，后续的备份默认为增量备份，该值为默认值，不可修改；
[0028]3)、选择一个HDFS文件系统中的目录作为备份目录，然后点击备份按钮：此次备份的操作记录会通过操作记录模块写入MySql中，包含表名称、备份类型、备份路径、备份时间和备份状态，此时备份状态为进行中，同时通过执行远程命令模块提交一个MapReduce任务用于导出HBase表的数据到HDFS文件系统；
[0029]4)、每隔5秒钟会通过日志监听模块获取当前任务的执行情况，后台打印执行过程日志并在当前界面展示任务的状态；
[0030]5)、备份任务结束，当前界面的任务状态改为完成状态，操作记录模块会修改备份操作记录的状态为完成状态。
[0031]数据恢复
[0032]实现表的数据的恢复功能；数据恢复的前提为数据备份成功；数据备份成功后，操作记录存储模块会保存此次操作的信息；点击数据恢复后，会弹出数据恢复列表，包含备份标签、备份时间、备份类型选择需要恢复的数据，点击恢复按钮进行数据恢复，包括：
[0033]1)、用户选择需要备份的表，点击数据恢复按钮，弹出列表界面；
[0034]2)、在该界面通过操作记录模块获取该表之前所有的备份操作记录并列表展示，包括操作时间、表的名称、备份类型；
[0035]3)、选择一条备份记录，点击恢复按钮；根据选择的备份记录获取表的名称，备份文件的存储路径，同时通过执行远程命令提交一个MapReduce任务读取HDFS 文件系统中的数据备份文件并恢复到指定的HBase表中；
[0036]4)、每隔5秒钟会通过日志监听获取当前任务的执行情况，后台打印执行过程日志
并在当前界面展示任务的状态；
[0037]5)、恢复任务结束，当前界面的任务状态改为完成状态。
[0038]本专利技术的有益效果是
[0039]提供了HBase数据备份与恢复的可视化界面，用户不需知道底层的技术原理。易于操作，减少运维成本且数据备份到HDFS分布式文件系统中，更安全可靠。将备份或恢复任务拆分成子任务分配到子节点分别执行，充分利用系统资源，更加快速、高效的达到数据备份与恢复的目的。利用日志监听模块，实时获取任务的执行状态并将状态返回至前台，方便用户查看当前任务进度。
附图说明
[0040]图1是本专利技术的整体工作流程示意图；
[0041]图2是执行远程命令实现示意图；
[0042]图3是日志监听实现示意图，
具体实施方式
[0043]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0044]本方法提供了HBase表的备份与恢复功能，用户通过前台页面选择需备份的表，选择备份类型以及备份路径，发送备份命令至集群节点，该命令会运行 M本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于HBase进行数据备份与恢复的方法，其特征在于，使用HDFS分布式文件系统API，获取HDFS路径，通过MapReduce任务读取HBase数据，将数据文件备份到HDFS分布式文件系统中，并在MySql关系型数据库中添加一条备份操作记录；数据恢复时，选择数据备份列表中需要恢复的记录，通过MapReduce任务将备份的数据恢复到指定的HBase表中。2.根据权利要求1所述的方法，其特征在于，数据备份时，通过执行远程命令提交MapReduce任务读取HBase数据，将数据文件备份到HDFS分布式文件系统中。3.根据权利要求2所述的方法，其特征在于，数据恢复时通过操作记录获取数据备份列表中需要恢复的记录，数据恢复时后台通过执行远程命令提交MapReduce任务进行数据恢复，利用日志监听获取当前任务的执行情况。4.根据权利要求3所述的方法，其特征在于，执行远程命令实现将命令发送至集群所在节点并执行，同时监听该命令的执行日志记录；当该命令执行完成并且无日志输出后，将执行结果返回前台并展示给客户，包括：1)、用户操作所在节点与集群节点之间生成公私钥免密配置文件并配置ssh免密登陆；2)、利用程序连接集群节点时，需指定使用的秘钥文件的绝对路径，并指定用户名称；3)、连接到远程节点并发送执行命令，循环监听命令的执行日志，直至无新的日志产生，说明该命令执行完成。5.根据权利要求4所述的方法，其特征在于，操作记录实时更新并记录任务操作进度的功能；通过日志监听获取任务执行日志，分析日志内容，获取当前任务执行状态，并更新到表中，包括：1)、设计操作记录的存储表结构，包括操作类型、操作时间、存储目录；2)、用户点击备份或恢复按钮时，先向表中记录一条操作记录，该记录的状态为初始状态；3)、通过监听日志功能，根据当前任务的进度，实时更新为进行中、操作成功或操作失败状态。6.根据权利要求5所述的方法，其特征在于，日志监听实现任务执行日志监听的功能；接口持续获取任务的执行日志，通过分析日志获得当前任务的执行状态，并反馈至前台展示给用户，包括：1)、执行备份或恢复命令后，获取该任务的ID；2)、调用远程rest接口，通过任务ID获取该任...

【专利技术属性】
技术研发人员：赵圣杰，周永进，胡清，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：