本申请提供一种数据处理方法、装置、设备及存储介质。该方法包括：确定数据集中的待删除数据、以及待删除数据的删除标签，删除标签包括待删除数据的数据标签；将待删除数据的删除标签插入delete表；根据delete表中待删除数据的删除标签，对待删除数据进行删除处理；在待删除数据删除后，删除delete表中待删除数据的删除标签。本申请的方法，提高了数据删除效率，有效降低了删除操作对系统的影响，同时，也提高了LevelDB的系统性能。
1、布隆过滤器是一个二进制向量和一系列随机映射函数，可以用于检索一个元素是否在一个集合中，当一个元素被加入集合时，通过哈希函数将这个元素映射成一个位数组中的k个点，把它们置为1。检索时，如果这些点有任何一个0，则被检元素一定不在。
2、现有技术在leveldb中进行数据删除操作时，通常在存储中按层次一层一层查找目标数据，对于目标数据生成一个删除标记(delete marker)，然后将这个删除标记插入到数据库中。在后台进行数据合并操作时，删除标记会覆盖原有的数据，实现删除。在调用系统数据合并命令之前，用户在进行查询已删除的数据时，已删除的数据会以删除标记的形式出现。
>7、在本申请中，数据集为leveldb数据库中的数据集。8、在本申请中，确定数据集中的待删除数据、以及待删除数据的删除标签，包括：
9、确定数据集中的待删除数据、以及待删除数据的数据标签；
10、根据待删除数据的数据标签，确定待删除数据的删除标签。
11、在本申请中，根据待删除数据的数据标签，确定待删除数据的删除标签，包括：
12、确定预设的哈希表，哈希表中包括待赋值标签；
13、根据待删除数据的数据标签，确定待删除数据的删除标签，其中，删除标签为哈希表中处于未赋值状态的目标待赋值标签。
14、在本申请中，将待删除数据的删除标签插入delete表，包括：
15、确定目标物理磁盘中用于存放待删除数据的delete表；
16、将待删除数据的删除标签插入delete表。
17、在本申请中，在将待删除数据的删除标签插入delete表之后，根据delete表中待删除数据的删除标签，对待删除数据进行删除处理之前，方法还包括：
18、确定数据集中目标查询数据的数据查询标签；
19、根据数据查询标签，对哈希表进行查询处理，得到第一查询结果；
20、根据数据查询标签，对delete表进行查询处理，得到第二查询结果；
21、若第一查询结果、以及第二查询结果均表征为命中，则确定目标查询数据已删除；
22、若第一查询结果或第二查询结果表征为未命中，则确定目标查询数据在存储系统中的位置，存储系统为存储数据集的系统。
23、在本申请中，根据delete表中待删除数据的删除标签，对待删除数据进行删除处理，包括：
24、确定delete表中待删除数据的清理条件，清理条件至少包括时间条件和数量条件中的一种条件；
25、根据delete表中待删除数据的清理条件和删除标签，对待删除数据进行删除处理。
26、在本申请中，当清理条件为数量条件时，根据delete表中待删除数据的清理条件和删除标签，对待删除数据进行删除处理，包括：
27、确定哈希表中目标待赋值标签的数量；
28、若哈希表中目标待赋值标签的数量满足数量条件，则根据delete表中待删除数据的删除标签，对待删除数据进行删除处理。
29、在本申请中，在待删除数据删除后，删除delete表中待删除数据的删除标签之后，方法还包括：
30、根据delete表中待删除数据的删除标签，确定哈希表中的目标待赋值标签；
31、将哈希表中的目标待赋值标签的标签状态由已赋值状态改为未赋值状态。
32、第二方面，本申请提供一种数据处理装置，包括：
33、确定模块，用于确定数据集中的待删除数据、以及待删除数据的删除标签，删除标签包括待删除数据的数据标签；
34、插入模块，用于将待删除数据的删除标签插入delete表；
35、第一删除模块，用于根据delete表中待删除数据的删除标签，对待删除数据进行删除处理；
36、第二删除模块，用于在待删除数据删除后，删除delete表中待删除数据的删除标签。
37、第三方面，本申请提供一种电子设备，包括：处理器、以及与处理器通信连接的存储器；
38、存储器存储计算机执行指令；
39、处理器执行存储器存储的计算机执行指令，以实现本申请的方法。
40、第四方面，本申请提供一种计算机可读存储介质，包括：计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本申请的方法。
41、本申请提供的一种数据处理方法、装置、设备及存储介质，通过确定数据集中的待删除数据、以及待删除数据的删除标签，删除标签包括待删除数据的数据标签；将待删除数据的删除标签插入delete表；根据delete表中待删除数据的删除标签，对待删除数据进行删除处理；在待删除数据删除后，删除delete表中待删除数据的删除标签的手段，通过建立二层存储的delete table，存放标记删除标签的数据和标记删除标签的key，降低了对leveldb内存的需求，避免了在删除后进行查询时打标数据还会出现的问题，同时通过使用布隆过滤器，在查询时系统基本无感知，提高在内存和磁盘的查询效率，提高了leveldb的系统性能。
本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据集为LevelDB数据库中的数据集。
3.根据权利要求1所述的方法，其特征在于，所述确定数据集中的待删除数据、以及所述待删除数据的删除标签，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述待删除数据的数据标签，确定所述待删除数据的删除标签，包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述待删除数据的删除标签插入delete表，包括：
6.根据权利要求1所述的方法，其特征在于，在所述将所述待删除数据的删除标签插入delete表之后，所述根据所述delete表中所述待删除数据的删除标签，对所述待删除数据进行删除处理之前，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述delete表中所述待删除数据的删除标签，对所述待删除数据进行删除处理，包括：
8.根据权利要求7所述的方法，其特征在于，当所述清理条件为数量条件时，所述根据所述delete表中所述待删除数据的清理条件和删除标签，对所述待删除数据进行删除处理，包括：
9.根据权利要求1所述的方法，其特征在于，在所述待删除数据删除后，删除所述delete表中所述待删除数据的删除标签之后，所述方法还包括：
10.一种数据处理装置，其特征在于，包括：
11.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的方法。
...
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据集为leveldb数据库中的数据集。
3.根据权利要求1所述的方法，其特征在于，所述确定数据集中的待删除数据、以及所述待删除数据的删除标签，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述待删除数据的数据标签，确定所述待删除数据的删除标签，包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述待删除数据的删除标签插入delete表，包括：
6.根据权利要求1所述的方法，其特征在于，在所述将所述待删除数据的删除标签插入delete表之后，所述根据所述delete表中所述待删除数据的删除标签，对所述待删除数据进行删除处理之前，所述方法还包括：
7.根据权利要求1所述的方法，其...
【专利技术属性】
技术研发人员：王飞，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。