数据查询方法技术

本申请涉及一种数据查询方法

【技术实现步骤摘要】
数据查询方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据查询方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]目前，在广告投放场景中，媒体主为广告主筛选出合适的流量，流量的必要信息通过
RTA(Real Time API
，实时接口
)
同步给广告主，广告主根据自己的数据和模型决定是否参与竞价，在做出判断后反馈给媒体主，媒体主再根据广告设置的策略去竞价，以竞得展示广告
。
[0003]如此媒体主与广告主之间的交互会产生较大流量，通常
QPS(Queries per second
，每秒查询率
)
例如在百万级别以上，并且要求低延迟
(
例如
50ms
以内响应
)。
此外广告投放场景中广告主数据量较大，因此对于广告投放场景，通常需要存储介质存储海量数据
。
[0004]目前，对于海量数据，存在一种业务需求，即需要在海量数据中查询某个数据是否存在
。
为此，通常的做法是基于布隆过滤器的思想，在海量数据中查询某个数据是否存在
。
但随着数据量的增大，查询错误率会显著增加，不能满足业务需求
。

技术实现思路

[0005]为了解决上述随着数据量的增大，查询错误率会显著增加，不能满足业务需求的技术问题，本申请提供了一种数据查询方法/>、
装置
、
电子设备及存储介质
。
具体技术方案如下：
[0006]第一方面，本申请提供了一种数据查询方法，所述方法包括：
[0007]响应于数据查询请求，获取待查询数据，并对所述待查询数据进行哈希处理，得到所述待查询数据对应的第一哈希值；
[0008]确定预设位图数组集合，其中，所述预设位图数组集合中包括多个位图数组；
[0009]根据所述第一哈希值，从所述预设位图数组集合的多个所述位图数组中，确定第一位图数组；
[0010]在所述第一位图数组中，查询是否存在所述待查询数据，并返回所述待查询数据的查询结果
。
[0011]在一个可选的实施方式中，所述根据所述第一哈希值，从所述预设位图数组集合的多个所述位图数组中，确定第一位图数组，包括：
[0012]提取所述第一哈希值中第一字符，其中，所述第一哈希值为固定长度的字符串；
[0013]根据所述第一字符，从所述预设位图数组集合的多个所述位图数组中，确定第一位图数组
。
[0014]在一个可选的实施方式中，所述提取所述第一哈希值中第一字符，包括：
[0015]提取所述第一哈希值中前
M
位字符作为第一字符，所述
M
为正整数
。
[0016]在一个可选的实施方式中，所述根据所述第一字符，从所述预设位图数组集合的多个所述位图数组中，确定第一位图数组，包括：
[0017]获取预设的字符分类集合，其中，所述预设的字符分类集合中包括
N
个字符分类，所述
N
为正整数；
[0018]从所述预设的字符分类集合的
N
个所述字符分类中，查找所述第一字符所属的第一字符分类；
[0019]获取预设的字符分类与位图数组的对应关系；
[0020]根据所述对应关系，从所述预设位图数组集合的多个所述位图数组中，查找所述第一字符分类对应的第一位图数组
。
[0021]在一个可选的实施方式中，在执行所述方法之前，还包括：
[0022]根据并发量以及查询准确率，确定字符分类的数量，所述数量为
N
；
[0023]确定所述第一字符对应的字符范围，将所述字符范围内的字符划分为
N
个字符分类，由
N
个所述字符分类组成预设的字符分类集合；
[0024]确定
N
个位图数组，由
N
个所述位图数组组成预设位图数组集合；
[0025]针对任一所述字符分类，从所述预设位图数组集合中确定所述字符分类对应的所述位图数组；
[0026]建立所述位图数组与所述字符分类的对应关系
。
[0027]在一个可选的实施方式中，所述在所述第一位图数组中，查询是否存在所述待查询数据，包括：
[0028]对所述待查询数据进行哈希处理，得到所述待查询数据对应的第二哈希值，其中，所述第二哈希值为正整数；
[0029]确定所述第一位图数组的第一数组长度；
[0030]根据所述第二哈希值以及所述第一数组长度，在所述第一位图数组中，查询是否存在所述待查询数据
。
[0031]在一个可选的实施方式中，所述根据所述第二哈希值以及所述第一数组长度，在所述第一位图数组中，查询是否存在所述待查询数据，包括：
[0032]对所述第二哈希值与所述第一数组长度进行取模运算，得到第一取模结果，所述第一取模结果表征所述第一位图数组中的第一存储位置；
[0033]获取所述第一位图数组中所述第一存储位置的第一数组下标对应的第一数值；
[0034]根据所述第一数组下标对应的所述第一数值，在所述第一位图数组中，查询是否存在所述待查询数据
。
[0035]在一个可选的实施方式中，所述根据所述第一数组下标对应的所述第一数值，在所述第一位图数组中，查询是否存在所述待查询数据，包括：
[0036]在所述第一数组下标对应的所述第一数值为预设阈值的情况下，确定所述第一位图数组中存在所述待查询数据；
[0037]在所述第一数组下标对应的所述第一数值不是所述预设阈值的情况下，确定所述第一位图数组中不存在所述待查询数据
。
[0038]在一个可选的实施方式中，在执行所述方法之前，还包括：
[0039]响应于数据存储请求，获取待存储数据，并对所述待存储数据进行哈希处理，得到
所述待存储数据对应的第三哈希值；
[0040]确定预设位图数组集合，其中，所述预设位图数组集合中包括多个位图数组；
[0041]根据所述第三哈希值，从所述预设位图数组集合的多个所述位图数组中，确定第二位图数组；
[0042]在所述第二位图数组中，存储所述待存储数据，并返回所述待存储数据的存储结果
。
[0043]在一个可选的实施方式中，所述根据所述第三哈希值，从所述预设位图数组集合的多个所述位图数组中，确定第二位图数组，包括：
[0044]提取所述第三哈希值中第二字符，其中，所述第二字符为固定长度的字符串；
[0045]根据所述第二字符，从所述预设位图数组集合的多个所述位图数组中，确定第二位图数组
。
[0046]在一个可选的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据查询方法，其特征在于，所述方法包括：响应于数据查询请求，获取待查询数据，并对所述待查询数据进行哈希处理，得到所述待查询数据对应的第一哈希值；确定预设位图数组集合，其中，所述预设位图数组集合中包括多个位图数组；根据所述第一哈希值，从所述预设位图数组集合的多个所述位图数组中，确定第一位图数组；在所述第一位图数组中，查询是否存在所述待查询数据，并返回所述待查询数据的查询结果
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述第一哈希值，从所述预设位图数组集合的多个所述位图数组中，确定第一位图数组，包括：提取所述第一哈希值中第一字符，其中，所述第一哈希值为固定长度的字符串；根据所述第一字符，从所述预设位图数组集合的多个所述位图数组中，确定第一位图数组
。3.
根据权利要求2所述的方法，其特征在于，所述提取所述第一哈希值中第一字符，包括：提取所述第一哈希值中前
M
位字符作为第一字符，所述
M
为正整数
。4.
根据权利要求2所述的方法，其特征在于，所述根据所述第一字符，从所述预设位图数组集合的多个所述位图数组中，确定第一位图数组，包括：获取预设的字符分类集合，其中，所述预设的字符分类集合中包括
N
个字符分类，所述
N
为正整数；从所述预设的字符分类集合的
N
个所述字符分类中，查找所述第一字符所属的第一字符分类；获取预设的字符分类与位图数组的对应关系；根据所述对应关系，从所述预设位图数组集合的多个所述位图数组中，查找所述第一字符分类对应的第一位图数组
。5.
根据权利要求4所述的方法，其特征在于，在执行所述方法之前，还包括：根据并发量以及查询准确率，确定字符分类的数量，所述数量为
N
；确定所述第一字符对应的字符范围，将所述字符范围内的字符划分为
N
个字符分类，由
N
个所述字符分类组成预设的字符分类集合；确定
N
个位图数组，由
N
个所述位图数组组成预设位图数组集合；针对任一所述字符分类，从所述预设位图数组集合中确定所述字符分类对应的所述位图数组；建立所述位图数组与所述字符分类的对应关系
。6.
根据权利要求1所述的方法，其特征在于，所述在所述第一位图数组中，查询是否存在所述待查询数据，包括：对所述待查询数据进行哈希处理，得到所述待查询数据对应的第二哈希值，其中，所述第二哈希值为正整数；确定所述第一位图数组的第一数组长度；根据所述第二哈希值以及所述第一数组长度，在所述第一位图数组中，查询是否存在
所述待查询数据
。7.
根据权利要求6所述的方法，其特征在于，所述根据所述第二哈希值以及所述第一数组长度，在所述第一位图数组中，查询是否存在所述待查询数据，包括：对所述第二哈希值与所述第一数组长度进行取模运算，得到第一取模结果，所述第一取模结果表征所述第一位图数组中的第一存储位置；获取所述第一位图数组中所述第一存储位置的第一数组下标对应的第一数值；根据所述第一数组下标对应的所述第一数值，在所述第一位图数组中，查询是否存在所述待查询数据
。8.
根据权利要求7所述的方法，其特征在于，所述根据所述第一数组下标对应的所述第一数值，在所述第一位图数组中，查询是否存在所述待查询数据，包括：在所述第一数组下标对应的所述第一数值为预设阈值的情况下，确定所述第一位图数组中存在所述待查询数据；在所述第一数组下标对应的所述第一数值不是所述预设阈值的情况下，确定所述第一位图数组中不存在所述待查询数据
。9.
根据权利要求1所述的方法，其特征在于，在执行...

【专利技术属性】
技术研发人员：刘佳，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：