一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，其中，一种数据处理方法包括：根据收到的备份指令，获取预先配置的备份策略；根据所述备份策略将数据存储到至少一个存储节点。另一种数据处理方法包括：根据收到的恢复指令，获取预先配置的恢复策略；根据预先配置的恢复策略进行数据的恢复。

【技术实现步骤摘要】

本专利技术涉及通信技术，尤其涉及一种数据处理方法和装置。
技术介绍
移动业务运营支撑系统（Business&OperationSupportSystem，BOSS)的帐详单 系统已建成多年，承担着原始话单批价处理、账单生成、账详单查询等基础功能，并为统计 分析、收入保障提供数据来源。随着用户量和业务量日益增长，现有帐详单系统在前台查询 性能、后台运维管理等方面逐渐达到瓶颈，难以满足业务发展需要。 针对帐详单的海量数据引起的存储空间小、查询性能差、统计分析瓶颈、文件库 修改困难等问题，目前引入基于列模式、适合于海量数据存储的Hadoop分布式数据库 (HadoopDatabase,HBase)以及旨在为数据仓库和大规模分析处理功能提供技术支持的分 析型数据库Greenplum,以此来全面提升系统架构，得到新的云计算架构。 在新的云计算架构以下，数据同样需要备份和恢复处理。在BOSS帐详单系统的云 方案中分布式数据库ffiase存储着海量的详单数据，现有的基本可行的基于Hbase的数据 处理技术包括：利用Hbase的导出（Export)工具进行数据的备份，利用导入（Import)工具 进行数据的恢复。 数据处理的步骤，如图1所示，包括： 1、备份数据时，利用Export工具将Hbase中的指定范围的数据，以表为粒度导出 成Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS)中的文件； 2、将HDFS中的文件备份到远端的备份存储中进行保存； 3、数据恢复时，先从远端备份存储中将数据恢复到HDFS中； 4、利用Import工具将HDFS中的文件加载到Hbase中。 虽然现有技术可以进行数据的备份和恢复处理。但是，当每天新的数据量很大，且 留有的备份时间窗口很小时，现有技术无法在很小的备份窗口及时完成备份数据，无法记 录在某一个时刻用户对数据的操作历史，无法保证多表间数据在某一时刻的关联，也无法 在备份出的海量数据中快速的找到要恢复的数据并进行数据的恢复，由此现有技术不能满 足数据处理的需求。
技术实现思路
为解决现有存在的技术问题，本专利技术实施例提供一种数据处理方法和装置。 本专利技术提供一种数据处理方法，所述方法包括： 根据收到的备份指令，获取预先配置的备份策略； 根据所述备份策略将数据存储到至少一个存储节点。 本专利技术提供一种数据处理方法，所述方法包括： 根据收到的恢复指令，获取预先配置的恢复策略； 根据预先配置的恢复策略进行数据的恢复。 本专利技术提供另一种数据处理装置，所述装置包括： 第一获取单元，用于根据收到的备份指令，获取预先配置的备份策略； 第一控制单元，用于根据所述备份策略将数据存储到至少一个存储节点。 本专利技术提供另一种数据处理装置，所述装置包括： 第二获取单元，用于根据收到的恢复指令，获取预先配置的恢复策略； 第二控制单元，用于根据预先配置的恢复策略进行数据的恢复。 由上可知，本专利技术的技术方案包括：根据收到的备份指令，获取预先配置的备份策 略；根据所述备份策略将数据存储到至少一个存储节点。由此，本专利技术能够在备份窗口内及 时完成数据备份。【附图说明】 图1为现有技术实现数据处理的示意图； 图2为本专利技术一种数据处理方法的第一实施例的流程示意图； 图3为本专利技术一种数据处理方法的第二实施例的流程示意图； 图4为本专利技术一种数据处理方法的第三实施例的流程示意图； 图5为本专利技术另一种数据处理方法的第一实施例的流程示意图； 图6为本专利技术另一种数据处理方法的第二实施例的流程示意图； 图7为本专利技术一种数据处理装置的实施例的流程示意图； 图8为本专利技术另一种数据处理装置的实施例的流程示意图； 图9为本专利技术实施例提供的实现数据处理方法的系统的结构示意图； 图10为本专利技术实施例提供的备份流程图； 图11为本专利技术实施例提供的恢复流程图。【具体实施方式】 本专利技术提供的一种数据处理方法的第一实施例，如图2所示，所述方法包括： 步骤201、根据收到的备份指令，获取预先配置的备份策略； 步骤202、根据所述备份策略将数据存储到至少一个存储节点。 这里，可以通过控制备份代理来进行多点协同备份，以将数据存储到至少一个存 储节点。所述备份代理的数量至少为一个，多个备份代理服务运行在并行计算框架之上。这 样，可以有效地提高备份的并行性，同时可以保证任务执行的可靠性。 所述备份代理可以安装在HbaseRegionServer节点上，所述备份代理需要安装 Hbase客户端（client)软件。这样，可以利用数据本地化的特性来尽量减少网络通信，提高 备份性能。备份代理也可以称为备份代理节点。 在实际应用中，可以提供一个图形界面供备份管理人员进行备份策略的定制。 具体的，所述备份策略可以包括：【主权项】1. 一种数据处理方法，其特征在于，所述方法包括： 根据收到的备份指令，获取预先配置的备份策略； 根据所述备份策略将数据存储到至少一个存储节点。2. 根据权利要求1所述的方法，其特征在于，所述方法还包括： 记录并显示备份进度信息。3. 根据权利要求1所述的方法，其特征在于，所述方法还包括： 生成备份数据的索引。4. 一种数据处理方法，其特征在于，所述方法包括： 根据收到的恢复指令，获取预先配置的恢复策略； 根据预先配置的恢复策略进行数据的恢复。5. 根据权利要求1所述的方法，其特征在于，所述获取预先配置的恢复策略之前，所述 方法还包括： 获取备份数据的索引； 根据所述备份数据的索引在相应的存储节点查询恢复指令对应的数据，当查询到对应 的数据时，执行获取预先配置的恢复策略的步骤。6. -种数据处理装置，其特征在于，所述装置包括： 第一获取单元，用于根据收到的备份指令，获取预先配置的备份策略； 第一控制单元，用于根据所述备份策略将数据存储到至少一个存储节点。7. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 记录单元，用于记录并显示备份进度信息。8. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 生成单元，用于记录并显示备份进度信息。9. 一种数据处理装置，其特征在于，所述装置包括： 第二获取单元，用于根据收到的恢复指令，获取预先配置的恢复策略； 第二控制单元，用于根据预先配置的恢复策略进行数据的恢复。10. 根据权利要求9所述的装置，其特征在于，所述装置还包括： 第三获取单元，用于根据收到的恢复指令，获取备份数据的索引； 查询单元，用于根据所述备份数据的索引在相应的存储节点查询恢复指令对应的数 据，当查询到对应的数据时，通知第二获取单元执行获取预先配置的恢复策略的操作。【专利摘要】本专利技术公开了一种数据处理方法和装置，其中，一种数据处理方法包括：根据收到的备份指令，获取预先配置的备份策略；根据所述备份策略将数据存储到至少一个存储节点。另一种数据处理方法包括：根据收到的恢复指令，获取预先配置的恢复策略；根据预先配置的恢复策略进行数据的恢复。【IPC分类】G06F11-14【公开号】CN104765651【申请号】CN201410004770【专利技术人】陈欻, 阮前, 张健, 叶荣光 【申请人】中国移动通信集团福建有限公司【公开日】2015年7月8日【申请日本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：根据收到的备份指令，获取预先配置的备份策略；根据所述备份策略将数据存储到至少一个存储节点。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈欻，阮前，张健，叶荣光，
申请(专利权)人：中国移动通信集团福建有限公司，
类型：发明
国别省市：福建;35