数据处理的方法、装置、设备及计算机存储介质制造方法及图纸

技术编号:42541356 阅读:21 留言:0更新日期:2024-08-27 19:45
本申请公开了一种数据处理的方法、装置、设备及计算机存储介质,应用于计算机领域。获取数据库内存中的待存储数据;将待存储数据写入数据库磁盘的第一层级存储空间中的第一组件;在第一组件存储的数据大于第一阈值的情况下,检测第一层级存储空间中的第二组件的存储数据大小,得到检测结果;在检测结果表征第二组件的存储数据为空的情况下,将第一组件中存储的数据写入数据库磁盘的第二层级存储空间,并与第二层级存储空间的数据合并,得到合并后的数据。本公开通过利用第一层级存储空间中的第一组件中的数据与第二层级存储空间的数据合并,能够减少待合并文件的数量,提升了系统的吞吐量并提高了系统处理数据的效率。

【技术实现步骤摘要】

本领域涉及计算机领域,尤其涉及一种数据处理的方法、装置、设备、计算机存储介质及计算机程序产品。


技术介绍

1、随着信息技术的发展,企业需要处理的业务数据量逐渐增大。为了适应海量数据的访问和存储需求,企业通常采用非关系型数据库例如leveldb数据库来存储数据。

2、但是,leveldb数据库在磁盘中合并数据文件的时候,会产生多余的读写操作,使系统消耗了带宽和并且出现延迟问题,降低了系统的吞吐量,导致系统处理数据的效率不高。


技术实现思路

1、本公开实施例提供一种数据处理的方法、装置、设备、计算机存储介质及计算机程序产品,能够提高系统处理数据的效率。

2、第一方面,本公开实施例提供一种数据处理的方法,方法包括:

3、获取数据库内存中的待存储数据;

4、将待存储数据写入数据库磁盘的第一层级存储空间中的第一组件;

5、在第一组件存储的数据大于第一阈值的情况下,检测第一层级存储空间中的第二组件的存储数据大小,得到检测结果;

6、在检测结果表征第二本文档来自技高网...

【技术保护点】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述待存储数据包括第一数据,所述获取数据库内存中的待存储数据,包括:

3.根据权利要求1所述的方法,其特征在于,在所述将所述第一组件中存储的数据写入所述数据库磁盘的第二层级存储空间,并与所述第二层级存储空间的数据合并,得到合并后的数据之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,在所述将所述第一组件中存储的数据写入所述数据库磁盘的第二层级存储空间,并与所述第二层级存储空间的数据合并,得到合并后的数据之后,所述方法还包括:

5.根据权利要...

【技术特征摘要】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述待存储数据包括第一数据,所述获取数据库内存中的待存储数据,包括:

3.根据权利要求1所述的方法,其特征在于,在所述将所述第一组件中存储的数据写入所述数据库磁盘的第二层级存储空间,并与所述第二层级存储空间的数据合并,得到合并后的数据之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,在所述将所述第一组件中存储的数据写入所述数据库磁盘的第二层级存储空间,并与所述第二层级存储空间的数据合并,得到合并后的数据之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,在所述将所述第二组件中存储的数据写入所述第二层级存储空间,并与所述第二层级存储空间的数据合并,得到合并后的目标数据之前,所...

【专利技术属性】
技术研发人员:胡永超
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1