Hbase数据库的数据写入方法、Hbase终端及存储介质技术

技术编号:16346091 阅读:60 留言:0更新日期:2017-10-03 22:23
本发明专利技术公开了一种Hbase数据库的数据写入方法、Hbase终端及存储介质,所述Hbase数据库的数据写入方法包括:获取需要写入到Hbase数据库中的待写入业务数据;将所述待写入业务数据存储到Hbase终端的缓存区中;在预设时间周期到达且所述缓存区中当前存储有待写入业务数据时,将所述缓存区中当前存储的待写入业务数据刷写到Hbase数据库。通过定时地检测write buffer中是否存在数据,如果存在则直接将该数据刷写到服务器以存储到Hbase表中,以尽可能及时地将待写入业务数据刷写到服务器,避免了通过write buffer设置阈值的方式导致的业务上的数据丢失、无法获取的问题。

【技术实现步骤摘要】
Hbase数据库的数据写入方法、Hbase终端及存储介质
本专利技术涉及计算机
,更具体地说,涉及一种Hbase数据库的数据写入方法、Hbase终端及存储介质。
技术介绍
随着互联网、云计算等信息技术在内的通信行业的迅速发展,对数据信息进行有效应用和管理成为企业发展的挑战和机遇,现代社会进入了大数据发展时代。Hbase(HadoopDatabase)数据库属于Hadoop的数据库,是一个具有高可靠性、高性能、面向列、可伸缩的分布式开源数据库。基于Hadoop分布式文件系统(HadoopDistributedFileSystem,HDFS)的Hbase,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。通过HBase可以实现在普通的PCServer上搭建起大规模结构化存储集群,进而实现对庞大的数据表格的信息处理,达到采用普通的PC处理超过十亿行的、数百万列元素组成的数据表。用户通过客户端将数据存储到Hbase表时,每一次数据写入(put操作)都需要客户端调用一次RPC(RemoteProcedureCallProtocol,远程过程调用协议)操作,以将相应的本文档来自技高网...
Hbase数据库的数据写入方法、Hbase终端及存储介质

【技术保护点】
一种Hbase数据库的数据写入方法,其特征在于,包括:获取需要写入到Hbase数据库中的待写入业务数据;将所述待写入业务数据存储到Hbase终端的缓存区中;在预设时间周期到达且所述缓存区中当前存储有待写入业务数据时,将所述缓存区中当前存储的待写入业务数据刷写到Hbase数据库。

【技术特征摘要】
1.一种Hbase数据库的数据写入方法,其特征在于,包括:获取需要写入到Hbase数据库中的待写入业务数据;将所述待写入业务数据存储到Hbase终端的缓存区中;在预设时间周期到达且所述缓存区中当前存储有待写入业务数据时,将所述缓存区中当前存储的待写入业务数据刷写到Hbase数据库。2.根据权利要求1所述的Hbase数据库的数据写入方法,其特征在于,所述预设时间周期根据产生所述待写入业务数据的业务所允许的业务数据时延进行设置。3.根据权利要求1或2所述的Hbase数据库的数据写入方法,其特征在于,在所述预设时间周期达到之前,还包括:判断所述缓存区中当前存储的待写入业务数据的数据量是否达到预设数据量门限,如是,将所述当前存储的待写入业务数据刷写到所述Hbase数据库;或,判断是否接收到数据刷写控制指令,如是,将所述当前存储的待写入业务数据刷写到所述Hbase数据库。4.根据权利要求3所述的Hbase数据库的数据写入方法,其特征在于,在所述预设时间周期达到之前,将所述当前存储的待写入业务数据刷写到所述Hbase数据库后,还包括:将当前计时时间清零重新开始计时。5.根据权利要求3所述的Hbase数据库的数据写入方法,其特征在于,所述预设数据量门限根据预设时间周期内Hbase终端待写入业务数据的平均数据量大小设置;或,根据所述Hbase终端待写入业务数据的业务数据之最大实时业务数据量大小设置。6.一种Hbase终端,其特征在于,所述Hbase终端包括处理器、存储器及通信总线;所述通信总线用于实现处理器和存储器之间的连接通信;所述处理器用于执行存储器中存储的数据写入程序,以实...

【专利技术属性】
技术研发人员:陈金添
申请(专利权)人:努比亚技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1