【技术实现步骤摘要】
本专利技术属于大数据处理，涉及大数据集群，特别涉及一种hbase与hdfs之间的数据抽取转换方法。
技术介绍
1、在大数据时代的背景下，处理的数据都以t级pb级来进行计算，传统的技术对处理这样数量级的数据已经渐渐力不从心，应运而生的就是hadoop集群和hbase等新技术。例如现在广泛使用的云详单存储，详单存储在hbase数据库中，但是需要对历史详单进行备份存储，就可以使用该工具将hbase的数据存储hdfs中，如果有必要也可以使用该工具将中hdfs的数据还原到hbase数据库中。传统的关系型数据库所采用的二维表格数据模型不能有效地处理多维数据，不能有效处理互联网应用中半结构化和非结构化的海量数据；高并发读写的性能低，关系数据库达到一定规模时，非常容易发生死锁等并发问题，导致其读写性能下降非常严重；支撑容量有限；数据库的可扩展性和可用性低。对于很多需要提供不间断服务的系统来说,对数据库系统进行升级和扩展往往需要停机维护和数据迁移。
技术实现思路
1、本专利技术所要解决的技术问题是提供一种可以快速的将hbase中的数据备份到hdfs中，也可以将中hdfs备份的数据快速还原到hbase中的hbase与hdfs之间的数据抽取转换方法。
2、本专利技术的技术方案如下：
3、一种hbase与hdfs之间的数据抽取转换方法，其特征在于，包括以下步骤：
4、(1)获取待处理的数据表名及处理参数；根据待处理的数据表名及处理参数对待处理的数据表进行处理；将经过处理
5、(2)根据待处理的数据表名及处理参数对待处理的数据表进行抽取或转换；抽取参数或者合并参数；
6、(3根据待处理的数据表名及抽取参数利用map函数进行抽取,并将抽取得到的数据表存入系统中；
7、(4)将抽取的数据表利用map函数进行切分，得到多个数据库块将所有数据块传递给函数reduce进行合并处理，得到合并数据库块。
8、本专利技术可以将历史的数据抽取保存到hdfs分布式文件系统当中，当需要历史数据的时候，又可以把hdfs中的数据恢复到hbase中，根据环境的不同通过配置的修改来实现数据的抽取备份保存，同时还不影响到生成hbase的正常使用。
本文档来自技高网...【技术保护点】
1.一种Hbase与Hdfs之间的数据抽取转换方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种hbase与hdfs之间的数据抽...
【专利技术属性】
技术研发人员：文永，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。