一种数据处理方法及装置制造方法及图纸

本申请涉及一种数据处理方法及装置，其方法包括：获待查询元素的元素标识；确定第一布隆过滤器以及第二布隆过滤器；将所述元素标识输入第一布隆过滤器得到第一反馈结果，将所述元素标识输入第二布隆过滤器得到第二反馈结果；根据所述第一反馈结果和所述第二反馈结果确定所述待查询元素的查询结果。这样通过两个布隆过滤器同时进行双写得到的两个反馈结果确定待查询元素是否存在，可以提高查询结果的可靠性，以解决传统布隆过滤器在随着数据处理量过大时错误率上升的问题。

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及计算机
，尤其涉及一种数据处理方法及装置。
技术介绍
在个性化推荐业务中，需要对用户已经曝光过的内容进行过滤，防止推出重复的内容，内容量、用户量都较大的情况下，存储的已推荐历史也会非常多，此时需要解决在大规模数据下的数据过滤问题。在数据过滤、去重等需要判断一个元素是否存在的场景中，通常使用数组、链表、树、哈希表等常规数据结构，此类数据结构在数据量不大的情况下(百万级)，不会有性能或资源问题。当数据规模上升到亿级，常规数据结构消耗的内存会呈现线性增长，导致资源占用较大、查询速度较慢。而传统的布隆过滤器在数据处理量过大时容易出现错误率逐渐增加，从而影响布隆过滤的正常使用。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据处理方法及装置。第一方面，本申请实施例提供了一种数据处理方法，包括：获取待查询元素的元素标识；确定第一布隆过滤器以及第二布隆过滤器；将所述元素标识输入第一布隆过滤器得到第一反馈结果，将所述元素标识输入第二布隆过滤器得到第二反馈结果；根据所述第一反馈结果和所述第二反馈结果确定所述待查询元素的查询结果。可选的，所述确定第一布隆过滤器以及第二布隆过滤，包括：获取配置参数；根据所述配置参数配置比特位的分布不同的第一布隆过滤器和第二布隆过滤器。可选的，所述将所述元素标识输入第一布隆过滤器得到第一反馈结果，包括：确定所述第一布隆过滤器的第一数组标识，根据所述元素标识与所述第一数组标识生成第一输入信息；将所述第一输入信息输入所述第一布隆过滤器，由所述第一布隆过滤器利用K个不同的哈希函数对所述第一输入信息分别进行哈希计算，得到K个哈希值；根据所述K个哈希值计算得到K个地址；确定第一布隆过滤器中与所述K个地址关联的第一比特位，读取所述第一比特位的第一参数值；根据所述第一参数值确定所述第一反馈结果；所述将所述元素标识输入第二布隆过滤器得到第二反馈结果，包括：确定所述第二布隆过滤器的第二数组标识，根据所述元素标识与所述第二数组标识生成第二输入信息；将所述第二输入信息输入所述第二布隆过滤器，由所述第二布隆过滤器利用K个不同的哈希函数对所述第二输入信息分别进行哈希计算，得到K个哈希值；根据所述K个哈希值计算得到K个地址；确定第二布隆过滤器中与所述K个地址关联的第二比特位，读取所述第二比特位的第二参数值；根据所述第二参数值确定所述第二反馈结果；其中，所述K为大于等于1的整数。可选的，所述根据所述第一反馈结果和所述第二反馈结果确定所述待查询元素的查询结果，包括：当所述第一反馈结果和/或第二反馈结果为所述待查询元素存在时，则确定所述待查询元素存在；当所述第一反馈结果与第二反馈结果均为所述待查询元素不存在时，则确定所述待查询元素不存在。可选的，所述配置参数包括：元素过期时间；所述方法还包括：根据所述元素过期时间确定所述第一布隆过滤器的第一清空时间，以及所述第二布隆过滤器的第二清空时间，所述第一清空时间和所述第二清空时间不同；根据所述第一清空时间和所述第二清空时间清空所述第一布隆过滤器和所述第二布隆过滤器中存储的元素。第二方面，本申请实施例还提供了一种数据处理装置，包括：获取模块，用于获取待查询元素的元素标识；确定模块，用于确定第一布隆过滤器以及第二布隆过滤器；处理模块，用于将所述元素标识输入第一布隆过滤器得到第一反馈结果，将所述元素标识输入第二布隆过滤器得到第二反馈结果；分析模块，用于根据所述第一反馈结果和所述第二反馈结果确定所述待查询元素的查询结果。可选的，所述确定模块，具体用于获取配置参数；将所述配置参数发送至管理器，由所述管理器根据所述配置参数配置第一布隆过滤器和第二布隆过滤器；其中，所述第一布隆过滤器与所述第二布隆过滤器中比特位的分布不同。可选的，所述处理模块包括：第一处理模块和第二处理模块；所述第一处理模块，用于确定所述第一布隆过滤器的第一数组标识，根据所述元素标识与所述第一数组标识生成第一输入信息；将所述第一输入信息输入所述第一布隆过滤器，由所述第一布隆过滤器利用K个不同的哈希函数对所述第一输入信息分别进行哈希计算，得到K个哈希值；根据所述K个哈希值计算得到K个地址；确定第一布隆过滤器中与所述K个地址关联的第一比特位，读取所述第一比特位的第一参数值；根据所述第一参数值确定所述第一反馈结果；所述第二处理模块，用于确定所述第二布隆过滤器的第二数组标识，根据所述元素标识与所述第二数组标识生成第二输入信息；将所述第二输入信息输入所述第二布隆过滤器，由所述第二布隆过滤器利用K个不同的哈希函数对所述第二输入信息分别进行哈希计算，得到K个哈希值；根据所述K个哈希值计算得到K个地址；确定第二布隆过滤器中与所述K个地址关联的第二比特位，读取所述第二比特位的第二参数值；根据所述第二参数值确定所述第二反馈结果；其中，所述K为大于等于1的整数。可选的，所述分析模块，具体用于当所述第一反馈结果和/或第二反馈结果为所述待查询元素存在时，则确定所述待查询元素存在；当所述第一反馈结果与第二反馈结果均为所述待查询元素不存在时，则确定所述待查询元素不存在。可选的，所述配置参数包括：元素过期时间；所述装置还包括：元素清空模块，用于根据所述元素过期时间确定所述第一布隆过滤器的第一清空时间，以及所述第二布隆过滤器的第二清空时间，所述第一清空时间与所述第二清空时间不同；根据所述第一清空时间和所述第二清空时间清空所述第一布隆过滤器和所述第二布隆过滤中存储的元素。第三方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行计算机程序时，实现上述方法步骤。第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的数据处理方法及装置，通过两个布隆过滤器同时进行双写得到的两个反馈结果确定待查询元素是否存在，可以提高查询结果的可靠性，能够解决传统布隆过滤器在随着数据处理量过大时错误率上升的问题。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取待查询元素的元素标识；/n确定第一布隆过滤器以及第二布隆过滤器；/n将所述元素标识输入第一布隆过滤器得到第一反馈结果，将所述元素标识输入第二布隆过滤器得到第二反馈结果；/n根据所述第一反馈结果和所述第二反馈结果确定所述待查询元素的查询结果。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取待查询元素的元素标识；
确定第一布隆过滤器以及第二布隆过滤器；
将所述元素标识输入第一布隆过滤器得到第一反馈结果，将所述元素标识输入第二布隆过滤器得到第二反馈结果；
根据所述第一反馈结果和所述第二反馈结果确定所述待查询元素的查询结果。


2.根据权利要求1所述的方法，其特征在于，所述确定第一布隆过滤器以及第二布隆过滤，包括：
获取配置参数；
根据所述配置参数配置比特位的分布不同的第一布隆过滤器和第二布隆过滤器。


3.根据权利要求1所述的方法，其特征在于，所述将所述元素标识输入第一布隆过滤器得到第一反馈结果，包括：
确定所述第一布隆过滤器的第一数组标识，根据所述元素标识与所述第一数组标识生成第一输入信息；
将所述第一输入信息输入所述第一布隆过滤器，由所述第一布隆过滤器利用K个不同的哈希函数对所述第一输入信息分别进行哈希计算，得到K个哈希值；
根据所述K个哈希值计算得到K个地址；
确定第一布隆过滤器中与所述K个地址关联的第一比特位，读取所述第一比特位的第一参数值；
根据所述第一参数值确定所述第一反馈结果；
所述将所述元素标识输入第二布隆过滤器得到第二反馈结果，包括：
确定所述第二布隆过滤器的第二数组标识，根据所述元素标识与所述第二数组标识生成第二输入信息；
将所述第二输入信息输入所述第二布隆过滤器，由所述第二布隆过滤器利用K个不同的哈希函数对所述第二输入信息分别进行哈希计算，得到K个哈希值；
根据所述K个哈希值计算得到K个地址；
确定第二布隆过滤器中与所述K个地址关联的第二比特位，读取所述第二比特位的第二参数值；
根据所述第二参数值确定所述第二反馈结果；
其中，所述K为大于等于1的整数。


4.根据权利要求1所述的方法，其特征在于，所述根据所述第一反馈结果和所述第二反馈结果确定所述待查询元素的查询结果，包括：
当所述第一反馈结果和/或第二反馈结果为所述待查询元素存在时，则确定所述待查询元素存在；
当所述第一反馈结果与第二反馈结果均为所述待查询元素不存在时，则确定所述待查询元素不存在。


5.根据权利要求2所述的方法，其特征在于，所述配置参数包括：元素过期时间；
所述方法还包括：
根据所述元素过期时间确定所述第一布隆过滤器的第一清空时间，以及所述第二布隆过滤器的第二清空时间，所述第一清空时间与所述第二清空时间不同；
根据所述第一清空时间和所述第二清空时间清空所述第一布隆过滤器和...

【专利技术属性】
技术研发人员：葛亚鲁，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11