数据处理方法、装置以及存储引擎装置制造方法及图纸

本公开提供了一种数据处理方法、装置以及存储引擎装置、电子设备、存储介质以及计算机程序产品。本公开涉及数据库、数据存储领域。本公开提供的数据处理方法包括：确定待回收数据块；确定待回收数据块的当前空洞率；至少基于当前读写负载确定当前回收空洞率；确定所回收数据块的当前空洞率是否低于当前回收空洞率；以及响应于待回收数据块的当前空洞率不低于当前回收空洞率，对待回收数据块进行回收。利用本公开提供的方法，可以基于当前读写负载适应性地对数据块的回收空洞率进行调整，使得能够实现动态的数据回收策略。够实现动态的数据回收策略。够实现动态的数据回收策略。

【技术实现步骤摘要】
数据处理方法、装置以及存储引擎装置


[0001]本公开涉及数据库、数据存储领域，具体涉及一种数据处理方法、装置以及存储引擎装置、电子设备、存储介质以及计算机程序产品。

技术介绍

[0002]为了充分利用存储介质的顺序写性能，可以通过追加写的方式实现数据存储，从而提高存储引擎的写性能。在写入过程中，可以采用压实(Compaction)机制对存储介质中的无效数据进行回收。

技术实现思路

[0003]本公开提供了一种数据处理方法、装置以及存储引擎装置、电子设备、存储介质以及计算机程序产品。
[0004]根据本公开的一方面，提供了一种数据处理方法，包括：确定待回收数据块；确定所述待回收数据块的当前空洞率；至少基于当前读写负载确定当前回收空洞率；确定所述待回收数据块的当前空洞率是否低于所述当前回收空洞率；以及响应于所述待回收数据块的当前空洞率不低于所述当前回收空洞率，对所述待回收数据块进行回收。
[0005]根据本公开的另一方面，提供了一种数据处理装置，包括：待回收数据块确定单元，配置成确定待回收数据块；空洞率确定单元，配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：确定待回收数据块；确定所述待回收数据块的当前空洞率；至少基于当前读写负载确定当前回收空洞率；确定所述待回收数据块的当前空洞率是否低于所述当前回收空洞率；以及响应于所述待回收数据块的当前空洞率不低于所述当前回收空洞率，对所述待回收数据块进行回收。2.如权利要求1所述的数据处理方法，其中，确定待回收数据块包括：响应于确定索引层触发索引压实操作，确定所述索引压实操作中淘汰的索引；将所述索引压实操作中淘汰的索引对应的数据所在的数据块确定为所述待回收数据块。3.如权利要求2所述的数据处理方法，其中，所述索引层包括基于LSM树结构的多个索引项，其中每个索引项包括数据键和值索引，所述值索引包括与所述数据键对应的数据值所在的数据块的标识以及所述数据在数据块中的偏移量。4.如权利要求1所述的数据处理方法，其中，确定所述待回收数据块的当前空洞率包括：利用用于所述待回收数据块的空洞率计数器确定所述待回收数据块的真实空洞率；至少基于所述当前读写负载对所述真实空洞率进行调整，以得到所述当前空洞率。5.如权利要求4所述的数据处理方法，其中所述当前读写负载越高，所述当前空洞率越低。6.如权利要求4所述的数据处理方法，其中，至少基于所述当前读写负载对所述真实空洞率进行调整，以得到所述当前空洞率包括：至少基于所述当前读写负载以及所述待回收数据块中存储的数据的生存时间信息对所述真实空洞率进行调整，以得到所述当前空洞率。7.如权利要求6所述的数据处理方法，其中所述待回收数据块中存储的数据的生存时间信息指示所存储的数据的生存时间越长，所述当前空洞率越高。8.如权利要求6所述的数据处理方法，其中，至少基于所述当前读写负载以及所述待回收数据块中存储的数据的生存时间信息对所述真实空洞率进行调整，以得到所述当前空洞率包括：基于所述当前读写负载、所述待回收数据块中存储的数据的生存时间信息以及所述待回收数据块的存储层级对所述真实空洞率进行调整，以得到所述当前空洞率。9.如权利要求8所述的数据处理方法，其中，所述待回收数据块的存储层级越高，所述当前空洞率越高。10.如权利要求9所述的数据处理方法，其中，所述当前空洞率是基于下式确定的：P
current
＝P
actual
+(α*level
block
+β*TTL
block
)*γ，其中P
current
是所述当前空洞率，P
actual
是所述真实空洞率，level
block
是指示所述存储层级，TTL
block
是所述生存时间信息，α、β是预先确定的系数，γ是基于当前读写负载确定的参数。11.如权利要求10所述的数据处理方法，其中...

【专利技术属性】
技术研发人员：杨振宇，朱学敏，汪瑫，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：