数据查询方法和装置制造方法及图纸

技术编号:29964648 阅读:12 留言:0更新日期:2021-09-08 09:30
本申请公开了数据查询方法和装置,涉及数据处理技术领域。方法的一具体实施方式包括:获取用户的查询请求;在预设的标签位图数据库中,查找与至少一个标签中每一个标签相对应的目标标签位图,得到目标标签位图集合;基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及预设的映射关系表,确定出满足查询请求的用户数据。该实施方式有效提升了数据查询效率。效率。效率。

【技术实现步骤摘要】
数据查询方法和装置


[0001]本申请涉及计算机
,具体涉及数据处理
,尤其涉及一种数据查询方法和装置。

技术介绍

[0002]现有的用户运营平台的一个重要功能是广告主和采销等可以利用运营平台圈选出自己关注的人群,并对这部分人群进行分析或者广告投放等操作,以实现自己品牌业务增长。
[0003]现有技术中通常采用离线计算方式来圈选人群,底层依赖hadoop,spark等离线计算框架。系统会将用户输入的圈人条件转化为能在离线计算框架上执行的sql语句,并进行提交,计算框架负责进行计算和输出结果。这种方案运行起来十分稳定,但时效性较差。通常一个人群生成需要15

30分钟,在任务量激增的的大促期间会超过1小时。

技术实现思路

[0004]本申请实施例提供了一种数据查询方法、装置、设备以及存储介质。
[0005]根据第一方面,本申请实施例提供了一种数据查询方法,该方法包括:获取用户的查询请求,查询请求包括至少一个标签及至少一个标签之间的逻辑运算关系;在预设的标签位图数据库中,查找与至少一个标签中每一个标签相对应的目标标签位图,得到目标标签位图集合,其中,标签位图中的每一位数据用于表示一个用户是否具有该标签;基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及预设的映射关系表,确定出满足查询请求的用户数据,映射关系表用于表征用户标识与标签位图中各位数据的映射关系。
[0006]在一些实施例中,基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及预设的映射关系表,确定出满足查询请求的用户数据,包括:基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及长期加载在内存中的预设的映射关系表,确定出满足查询请求的用户数据。
[0007]在一些实施例中,基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及长期加载在内存中的预设的映射关系表,确定出满足查询请求的用户数据,包括:基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及采用流数据处理方式长期加载在内存中的预设的映射关系表,确定出满足查询请求的用户数据。
[0008]在一些实施例中,基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及采用流数据处理方式长期加载在内存中的预设的映射关系表,确定出满足查询请求的用户数据,包括:基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及采用Spark Streaming流数据处理方式长期加载在内存中的预设的映射关系表,确定出满足查询请求的用户数据。
[0009]在一些实施例中,标签位图采用Roaring Bitmap压缩算法存储在预设的标签位图数据库中。
[0010]根据第二方面,本申请实施例提供了一种数据查询装置,该装置包括:获取模块,被配置成获取用户的查询请求,查询请求包括至少一个标签及至少一个标签之间的逻辑运算关系;查找模块,被配置成在预设的标签位图数据库中,查找与至少一个标签中每一个标签相对应的目标标签位图,得到目标标签位图集合,其中,标签位图中的每一位数据用于表示一个用户是否具有该标签;确定模块,被配置基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及预设的映射关系表,确定出满足所述查询请求的用户数据,映射关系表用于表征用户标识与标签位图中各位数据的映射关系。
[0011]在一些实施例中,确定模块进一步被配置成:基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及长期加载在内存中的预设的映射关系表,确定出满足查询请求的用户数据。
[0012]在一些实施例中,确定模块进一步被配置成:基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及采用流数据处理方式长期加载在内存中的预设的映射关系表,确定出满足所述查询请求的用户数据。
[0013]在一些实施例中,确定模块进一步被配置成:基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及采用Spark Streaming流数据处理方式长期加载在内存中的预设的映射关系表,确定出满足查询请求的用户数据。
[0014]在一些实施例中,标签位图采用Roaring Bitmap压缩算法存储在预设的标签位图数据库中。
[0015]根据第三方面,本申请实施例提供了一种电子设备,该电子设备包括一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被该一个或多个处理器执行,使得一个或多个处理器实现如第一方面的任一实施例的数据查询方法。
[0016]根据第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面的任一实施例的数据查询方法。
[0017]本申请通过获取用户的查询请求,查询请求包括至少一个标签及至少一个标签之间的逻辑运算关系;在预设的标签位图数据库中,查找与至少一个标签中每一个标签相对应的目标标签位图,得到目标标签位图集合,其中,标签位图中的每一位数据用于表示一个用户是否具有该标签;基于目标标签位图集合、至少一个标签之间的逻辑运算关系以及预设的映射关系表,确定出满足查询请求的用户数据,映射关系表用于表征用户标识与标签位图中各位数据的映射关系,使得整个查询过程只是简单的匹配操作,可在短时间内完成,有效提升了数据查询效率。
[0018]应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。
附图说明
[0019]图1是本申请可以应用于其中的示例性系统架构图;
[0020]图2是根据本申请的数据查询方法的一个实施例的流程图;
[0021]图3是根据本申请的数据查询方法的一个应用场景的示意图;
[0022]图4是根据本申请的数据查询方法的另一个实施例的流程图;
[0023]图5是根据本申请的数据查询装置的一个实施例的示意图;
[0024]图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
[0025]以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0026]需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0027]图1示出了可以应用本申请的数据查询方法的实施例的示例性系统架构100。
[0028]如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据查询方法,所述方法包括:获取用户的查询请求,所述查询请求包括至少一个标签及所述至少一个标签之间的逻辑运算关系;在预设的标签位图数据库中,查找与所述至少一个标签中每一个标签相对应的目标标签位图,得到目标标签位图集合,其中,所述标签位图中的每一位数据用于表示一个用户是否具有该标签;基于所述目标标签位图集合、所述至少一个标签之间的逻辑运算关系以及预设的映射关系表,确定出满足所述查询请求的用户数据,所述映射关系表用于表征用户标识与标签位图中各位数据的映射关系。2.根据权利要求1所述的方法,其中,所述基于所述目标标签位图集合、所述至少一个标签之间的逻辑运算关系以及预设的映射关系表,确定出满足所述查询请求的用户数据,包括:基于所述目标标签位图集合、所述至少一个标签之间的逻辑运算关系以及长期加载在内存中的预设的映射关系表,确定出满足所述查询请求的用户数据。3.根据权利要求2所述的方法,其中,所述基于所述目标标签位图集合、所述至少一个标签之间的逻辑运算关系以及长期加载在内存中的预设的映射关系表,确定出满足所述查询请求的用户数据,包括:基于所述目标标签位图集合、所述至少一个标签之间的逻辑运算关系以及采用流数据处理方式长期加载在内存中的预设的映射关系表,确定出满足所述查询请求的用户数据。4.根据权利要求3所述的方法,其中,所述基于所述目标标签位图集合、所述至少一个标签之间的逻辑运算关系以及采用流数据处理方式长期加载在内存中的预设的映射关系表,确定出满足所述查询请求的用户数据,包括:基于所述目标标签位图集合、所述至少一个标签之间的逻辑运算关系以及采用Spark Streaming流数据处理方式长期加载在内存中的预设的映射关系表,确定出满足所述查询请求的用户数据。5.根据权利要求1

4任一所述的方法,其中,所述标签位图采用Roaring Bitmap压缩算法存储在所述预设的标签位图数据库中。6.一种数据查询装置,所述装置包括:获取模块,被配置成获取用户的查...

【专利技术属性】
技术研发人员:董哲
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1