一种数据记录方法及装置制造方法及图纸

本发明专利技术公开了一种数据记录方法及装置，包括：获取待记录数据；确定待记录数据在第i布谷鸟过滤器中的第一待记录位置和第二待记录位置；根据第一待记录位置对应的第一数组的重定位次数和第二待记录位置对应的第二数组的重定位次数，在第一待记录位置和第二待记录位置中确定待记录数据的记录位置；重定位次数用于指示数组中记录的数据发生替换的次数；第一数组和第二数组为第i布谷鸟过滤器中不同维的数组；将待记录数据的指纹信息记录至记录位置。以此提高布谷鸟过滤器记录数据的均衡性，控制布谷鸟过滤器中重定位操作的次数，提高数据记录效率。录效率。录效率。

【技术实现步骤摘要】
一种数据记录方法及装置


[0001]本专利技术涉及数据处理领域，尤其涉及一种数据记录方法及装置。

技术介绍

[0002]随着大数据应用的蓬勃发展，数据集合表示(Set Representation)成为一个重要的问题。其中，数据集合表示是指通过某种数据结构将集合中的元素存储起来，以使在进行元素判定时，确定待判定元素是否记录在该数据集合中。
[0003]现有技术中，数据记录方法一般包括一下三种方法：
[0004]1、哈希编码：通过键值对的方式，将各待记录数据的完整信息进行记录；
[0005]2、BF(Bloom Filter，布隆过滤器)：通过布隆过滤器中各数组值记录待记录数据；
[0006]3、DCF(Dynamic Cuckoo Filter，动态布谷鸟过滤器)：通过布谷鸟过滤器中各数组值记录待记录数据。
[0007]但上述方法1中需要记录各待记录数据的完整信息，空间开销大，空间效率低；上述方法2中不支持将已记录的数据删除，无法实现动态应用数据集合表示；上述方法3中，布谷鸟过滤器的任一数组位置无法记录多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据记录方法，其特征在于，包括：获取待记录数据；确定所述待记录数据在第i布谷鸟过滤器中的第一待记录位置和第二待记录位置；根据所述第一待记录位置对应的第一数组的重定位次数和所述第二待记录位置对应的第二数组的重定位次数，在所述第一待记录位置和所述第二待记录位置中确定所述待记录数据的记录位置；所述重定位次数用于指示数组中记录的数据发生替换的次数；所述第一数组和所述第二数组为所述第i布谷鸟过滤器中不同维的数组；将所述待记录数据的指纹信息记录至所述记录位置。2.如权利要求1所述的方法，其特征在于，确定所述待记录数据在第i布谷鸟过滤器中的第一待记录位置和第二待记录位置之后，在所述第一待记录位置和所述第二待记录位置中确定所述待记录数据的记录位置之前，还包括：确定在所述第一待记录位置和所述第二待记录位置中均已记录数据。3.如权利要求2所述的方法，其特征在于，根据所述第一待记录位置对应的第一数组的重定位次数和所述第二待记录位置对应的第二数组的重定位次数，在所述第一待记录位置和所述第二待记录位置中确定所述待记录数据的记录位置，包括：对比所述第一数组的重定位次数和所述第二数组的重定位次数，在所述第一待记录位置和所述第二待记录位置中，将重定位次数最小的数组对应的待记录位置确定为所述待记录数据的记录位置。4.如权利要求2所述的方法，其特征在于，还包括：若所述第一待记录位置或所述第二待记录位置未记录数据，则在所述第一待记录位置和所述第二待记录位置中，将未记录数据的待记录位置确定为所述待记录数据的记录位置。5.如权利要求2所述的方法，其特征在于，还包括：若所述第一待记录位置和所述第二待记录位置均未记录数据，则对比所述第一数组的重定位次数和所述第二数组的重定位次数，在所述第一待记录位置和所述第二待记录位置中，将重定位次数最小的数组对应的待记录位置确定为所述待记录数据的记录位置。6.如权利...

【专利技术属性】
技术研发人员：王飞越，李丽，周自飞，郑文龙，徐水根，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：