一种基于布谷鸟过滤器关联数据的方法、装置制造方法及图纸

本申请实施例提供了一种基于布谷鸟过滤器关联数据的方法、装置，涉及大数据领域。其中，该方法应用于终端，该终端配置有布谷鸟过滤器，通过布谷鸟过滤器对获取的待关联数据的待关联标识进行处理，得到待关联指纹；通过布谷鸟过滤器将待关联指纹与当前指纹集进行匹配，其中，当前指纹集与目标数据集相关联；根据匹配的结果，确定待关联数据与目标数据集的关联关系。本申请实施例提供的方法，既可以避免出现过高的内存资源需求量的情形，又可以提升在外部数据库中查询实时数据的命中率。在外部数据库中查询实时数据的命中率。在外部数据库中查询实时数据的命中率。

【技术实现步骤摘要】
一种基于布谷鸟过滤器关联数据的方法、装置


[0001]本申请涉及大数据
，具体而言，本申请涉及基于布谷鸟过滤器关联数据的方法、装置、设备及存储介质。

技术介绍

[0002]传统的实时数据处理过程中，当需要将实时数据与一个外部数据进行关联时(例如，外部数据是存储在关系数据库上的一张数据表)，有2种解决方案：内存关联方案和外部中间件关联方案。
[0003]然而，在实际应用中，内存关联方案，在面对较大的外部数据表时会对内存产生巨大需求，从而导致计算资源大量的暂用和浪费；外部中间件关联方案应用在实时营销场景中时，容易产生大量的无效的网络访问和数据查询。
[0004]因此，现有的方案不能高效利用内存，而且还容易产生大量的无效的网络访问和数据查询。

技术实现思路

[0005]本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有的方案不能高效利用内存，而且还容易产生大量的无效的网络访问和数据查询的技术缺陷。
[0006]根据本申请的一个方面，提供了一种基于布谷鸟过滤器关联数据的方法，该方法应用于终端，终端配置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于布谷鸟过滤器关联数据的方法，其特征在于，应用于终端，所述终端配置有布谷鸟过滤器，所述方法包括：通过所述布谷鸟过滤器对获取的待关联数据的待关联标识进行处理，得到待关联指纹；通过所述布谷鸟过滤器将所述待关联指纹与当前指纹集进行匹配，其中，所述当前指纹集与目标数据集相关联；根据匹配的结果，确定所述待关联数据与所述目标数据集的关联关系。2.根据权利要求1所述的方法，其特征在于，在获取所述待关联数据之前，还包括：加载外部数据库中的状态变更队列，其中，所述状态变更队列中包括所述目标数据集中每条数据的标识；通过所述布谷鸟过滤器根据所述状态变更队列构建所述当前指纹集。3.根据权利要求2所述的方法，其特征在于，还包括：向所述外部数据库发送订阅请求，以请求订阅所述状态变更队列。4.根据权利要求3所述的方法，其特征在于，还包括：当接收到所述外部数据库发送的订阅消息时，重新加载更新后的所述状态变更队列，并通过所述布谷鸟过滤器根据更新后的所述状态变更队列更新所述当前指纹集，其中，所述订阅消息为所述外部数据库在确定所述目标数据集更新时，更新所述状态变更队列后发送的。5.根据权利要求2
‑
4任一所述的方法，其特征在于，所述外部数据库还包括根据目标数据集生成的数据表，所述根据匹配的结果，确定所述待关联数据与所述目标数据集的关联关系，包括：当匹配成功时，向所述外部数据库发送携带所述待关联标识的验证请求，以指示所述外部数据库根据所述数据表对所述待关联标识进行验证；当接收到所述外部数据库反馈的验证结果为...

【专利技术属性】
技术研发人员：刘睿，梅珂夫，薛高飞，李鹏，肖奇，刘舟，
申请(专利权)人：湖南亚信安慧科技有限公司，
类型：发明
国别省市：