一种写入数据方法和装置制造方法及图纸

技术编号:18138682 阅读:43 留言:0更新日期:2018-06-06 11:59
本发明专利技术实施例提供了一种写入数据方法和装置,应用于客户端,上述方法包括:当预设暂存区满足预设发送条件时,通过第一线程将预设暂存区中预先暂存的预设数量个写指令发送至服务器,并将预设数量个写指令从预设暂存区中删除,在通过第一线程将预设暂存区中预先暂存的预设数量个写指令发送至服务器时,通过第二线程接收新的写指令,将所接收到的新的写指令发送至预设暂存区。利用本发明专利技术实施例提供的写入数据方法,在通过第一线程将预设数量个写指令发送至服务器时,可以通过第二线程继续接收新的写指令,能够提高写入数据的效率。

【技术实现步骤摘要】
一种写入数据方法和装置
本专利技术涉及计算机应用
,特别是涉及一种写入数据方法和装置。
技术介绍
HBase(Hadoopdatabase,海杜普数据库)是一个分布式的、面向列的开源数据库,目前已被广泛应用于海量数据存储和分析中。利用HBase技术可在服务器组上搭建起大规模结构化存储集群,其中,该服务器组可称为Hbase集群。HBase在每个服务器中以表的形式存储数据,每个服务器中有很多张表,称之为Hbase表。Hbase作为一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,配备有Hbase集群对应的Hbase客户端及其写缓冲区,其中,写缓冲区用于收集Hbase客户端发送的写指令,写指令是指使用Hbase客户端的管理员输入的、针对Hbase表的数据的增加、删除和修改等操作指令,例如在某张HBase表中写入某某数据等。然而,专利技术人在实现本专利技术的过程中发现,现有技术至少存在如下问题:现有的写入数据步骤包括:Hbase客户端可以将接收到的写指令发送至写缓冲区。当写缓冲区中的写指令满足预设的条件时,Hbase客户端可以将写缓冲区中的写指令发送至服务器。服务器接收到写指令后,会执行各写指令,向服务器中的Hbase表中写入数据,并生成对应的写入成功或写入失败的写入结果。然而,Hbase客户端将写指令从写缓冲区发送至服务器后,需要等待获取服务器生成的写入结果,才可以继续接收写指令并发送至服务器,使得写入数据的效率低。
技术实现思路
本专利技术实施例的目的在于提供一种写入数据方法和装置。具体技术方案如下:为达到上述目的,本专利技术实施例公开了一种写入数据方法,应用于客户端,方法包括:当预设暂存区满足预设发送条件时,通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器,并将所述预设数量个写指令从所述预设暂存区中删除,其中,所述预设数量是根据所述预设发送条件确定的;在所述通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器时,通过第二线程接收新的写指令,将所接收到的新的写指令发送至所述预设暂存区。可选的,在所述通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器之后,所述方法还包括:获取对应所述预设数量个写指令的写入结果;根据所述写入结果,确定所述预设数量个写指令的写入状态。可选的,所述写入结果为写入成功或写入失败;所述根据所述写入结果,确定所述预设数量个写指令的写入状态,包括:当所述写入结果为写入成功时,确定所述预设数量个写指令写入成功;或者,当所述写入结果为写入失败时,确定所述预设数量个写指令写入失败。可选的,在所述确定所述预设数量个写指令写入失败之后,所述方法还包括:将所述预设数量个写指令发送至所述预设暂存区。可选的,所述预设暂存区满足预设发送条件,包括:所述预设暂存区中预先暂存的写指令的个数达到所述预设数量;或者,所述预设暂存区中预先暂存的写指令的大小达到预设阈值;或者,距离所述预设暂存区上一次满足所述发送条件达到第一预设时长;或者,在第二预设时长内,所述预设暂存区中的写指令的个数不再增加。为达到上述目的,本专利技术实施例公开了一种写入数据装置,应用于客户端,装置包括:收发模块,用于当预设暂存区满足预设发送条件时,通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器;在所述通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器时,通过第二线程接收新的写指令,将所接收到的新的写指令发送至所述预设暂存区;处理模块,用于将所述预设数量个写指令从所述预设暂存区中删除,其中,所述预设数量是根据所述预设发送条件确定的。可选的,所述收发模块,还用于获取对应所述预设数量个写指令的写入结果;所述处理模块,还用于根据所述写入结果,确定所述预设数量个写指令的写入状态。可选的,所述写入结果为写入成功或写入失败;所述处理模块,还用于当所述写入结果为写入成功时,确定所述预设数量个写指令写入成功;或者,当所述写入结果为写入失败时,确定所述预设数量个写指令写入失败。可选的,所述收发模块,还用于将所述预设数量个写指令发送至所述预设暂存区。可选的,所述预设暂存区满足预设发送条件,包括:所述预设暂存区中预先暂存的写指令的个数达到所述预设数量;或者,所述预设暂存区中预先暂存的写指令的大小达到预设阈值;或者,距离所述预设暂存区上一次满足所述发送条件达到第一预设时长;或者,在第二预设时长内,所述预设暂存区中的写指令的个数不再增加。为达到上述目的,本专利技术实施例公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现上述任一所述的写入数据方法步骤。在本专利技术实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的写入数据方法。在本专利技术实施的又一方面,本专利技术实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的写入数据方法。本专利技术实施例提供的一种写入数据方法和装置,应用于客户端,当预设暂存区满足预设发送条件时,客户端可以通过第一线程将预设暂存区中预先暂存的预设数量个写指令发送至服务器,并将预设数量个写指令从预设暂存区中删除。在通过第一线程将预设暂存区中预先暂存的预设数量个写指令发送至服务器时,客户端可以通过第二线程接收新的写指令,将所接收到的新的写指令发送至预设暂存区。利用本专利技术实施例的写入数据方法,客户端在通过第一线程将预设数量个写指令发送至服务器时,可以通过第二线程继续接收新的写指令,能够提高写入数据的效率。当然,实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1为本专利技术实施例提供的一种写入数据方法的应用场景图;图2为本专利技术实施例提供的一种写入数据方法的流程示意图;图3为本专利技术实施例提供的一种写入数据装置的结构示意图;图4为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行描述。现有技术中的写入数据的步骤包括:客户端根据使用客户端的管理员的指令,将接收到的写指令发送至写缓冲区,然后再将写缓冲区中的写指令发送至服务器。服务器接收到写指令并做相应写入处理,之后会产生针对接收到的写指令的写入结果。但是,客户端在将写指令发送至服务器后,会等待获取服务器生成的针对写指令的写入结果,在等待过程中,客户端无法继续接收写指令,造成写入数据效率低。为了解决现有技术存在的写入数据效率低的问题,本专利技术提供了一种写入数据方法和装置,上述方法可以应用于客户端,当预设暂存区满足预设发送条件时,客户端可以通过第一线程将预设暂存区中预先暂存的预设数量个写指令发送至服务器,并将预设数量个写指令从预设暂存区中删除。在通过第一线程将预设暂存区中预先暂存的预设数量个写指令发送至服务器时,客户端可以通过第二线程接收新的写指令,将所接收到的新的写指令发送至预设暂存区。应本文档来自技高网...
一种写入数据方法和装置

【技术保护点】
一种写入数据方法,其特征在于,应用于客户端,所述方法包括:当预设暂存区满足预设发送条件时,通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器,并将所述预设数量个写指令从所述预设暂存区中删除,其中,所述预设数量是根据所述预设发送条件确定的;在所述通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器时,通过第二线程接收新的写指令,将所接收到的新的写指令发送至所述预设暂存区。

【技术特征摘要】
1.一种写入数据方法,其特征在于,应用于客户端,所述方法包括:当预设暂存区满足预设发送条件时,通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器,并将所述预设数量个写指令从所述预设暂存区中删除,其中,所述预设数量是根据所述预设发送条件确定的;在所述通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器时,通过第二线程接收新的写指令,将所接收到的新的写指令发送至所述预设暂存区。2.根据权利要求1所述的方法,其特征在于,在所述通过第一线程将所述预设暂存区中预先暂存的预设数量个写指令发送至服务器之后,所述方法还包括:获取对应所述预设数量个写指令的写入结果;根据所述写入结果,确定所述预设数量个写指令的写入状态。3.根据权利要求2所述的方法,其特征在于,所述写入结果为写入成功或写入失败;所述根据所述写入结果,确定所述预设数量个写指令的写入状态,包括:当所述写入结果为写入成功时,确定所述预设数量个写指令写入成功;或者,当所述写入结果为写入失败时,确定所述预设数量个写指令写入失败。4.根据权利要求3所述的方法,其特征在于,在所述确定所述预设数量个写指令写入失败之后,所述方法还包括:将所述预设数量个写指令发送至所述预设暂存区。5.根据权利要求1所述的方法,其特征在于,所述预设暂存区满足预设发送条件,包括:所述预设暂存区中预先暂存的写指令的个数达到所述预设数量;或者,所述预设暂存区中预先暂存的写指令的大小达到预设阈值;或者,距离所述预设暂存区上一次满足所述发送条件达到第一预设时长;或者,在第二预设时长内,所述预设暂存区中的写指令的个数不再增加。6.一种写入数据装置,其特征在于,应用于客户端,所述装置包括:收发模块,用于...

【专利技术属性】
技术研发人员:王志远罗华林单学成唐锦阳
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1