全局字典的构建方法、装置、电子设备及存储介质制造方法及图纸

技术编号:34496280 阅读:20 留言:0更新日期:2022-08-10 09:16
本发明专利技术实施例涉及一种全局字典的构建方法、装置、电子设备及存储介质,所述方法包括:在接收到针对分布式数据库中的字符串的查询请求的情况下,从分布式数据库对应的局部字典集合中,确定包括目标字段的局部字典子集;其中,局部字典包括字符串集合;目标字段为查询请求的查询对象所属的字段。基于局部字典子集中的局部字典包括的字符串集合,构建分布式数据库的全局字典。以此相较于现有技术中,在数据导入时,就构建全局字典,节省了数据库的存储空间和计算资源,进而利用全局字典提高了查询效率。询效率。询效率。

【技术实现步骤摘要】
全局字典的构建方法、装置、电子设备及存储介质


[0001]本专利技术涉及信息检索领域,尤其涉及一种全局字典的构建方法、装置、电子设备及存储介质。

技术介绍

[0002]目前,随着用户进行分析查询时,在各类数据库中查询的过程较为复杂,使得查询结果获取较慢,以StarRocks(新一代极速全场景MPP(massivelyparallelprocessing,大规模数据并行))数据库,这一分布式数据库为例,在该数据库的StarRocks BE(查询组件)中进行查询时,可在分布式数据库中的多个节点进行查询,以提升查询速率。
[0003]然而在进行查询时,可能会因数据的字符串所占空间较大,在数据库中的计算操作比较耗时或者是向数据库中导入数据时,就构建了关于字符串的待查询数据集(例如全局字典),浪费数据库的存储空间和计算资源,同时影响了数据库进行查询的处理效率。

技术实现思路

[0004]针对数据的字符串所占空间较大、计算操作比较耗时以及向数据库中导入数据时,就构建了关于字符串的待查询数据集,浪费数据库的存储空间和计算资源,以影响数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全局字典的构建方法,其特征在于,所述方法包括:在接收到针对分布式数据库中的字符串的查询请求的情况下,从所述分布式数据库对应的局部字典集合中,确定包括目标字段的局部字典子集;其中,局部字典包括字符串集合;所述目标字段为所述查询请求的查询对象所属的字段;基于所述局部字典子集中的局部字典包括的字符串集合,构建所述分布式数据库的全局字典。2.根据权利要求1所述的方法,其特征在于,所述在接收到针对分布式数据库中的字符串的查询请求的情况下,从所述分布式数据库对应的局部字典集合中,确定包括目标字段的局部字典子集,包括:在接收到针对分布式数据库中的字符串的查询请求的情况下,确定所述查询请求的查询对象包括的字符串的数量,得到第一数量;在所述第一数量小于或等于第一数量阈值的情况下,从所述分布式数据库对应的局部字典集合中,确定包括目标字段的局部字典子集。3.根据权利要求1所述的方法,其特征在于,所述分布式数据库包括多个网络节点,所述多个网络节点中的每个网络节点对应多个局部字典;以及所述基于所述局部字典子集中的局部字典包括的字符串集合,构建所述分布式数据库的全局字典,包括:针对所述多个网络节点中的每个网络节点,确定该网络节点对应的各个局部字典分别包括的每个字符串集合的基数,得到该字符串集合对应的第一基数;在该字符串集合对应的第一基数小于或等于第二数量阈值的情况下,将该字符串集合确定为目标字符串集合;基于所确定的各个目标字符串集合,构建所述分布式数据库的全局字典。4.根据权利要求3所述的方法,其特征在于,所述基于所确定的各个目标字符串集合,构建所述分布式数据库的全局字典,包括:针对所述多个网络节点中的每个网络节点,确定该网络节点对应的各个目标字符串集合的并集,得到该网络节点对应的第一并集;将该网络节点对应的第一并集的基数,确定为该网络节点对应的第二基数;在该网络节点对应的第二基数小于或等于所述第二数量阈值的情况下,将该网络节点对应的第一并集确定为目标第一并集;基于所确定的各个目标第一并集,构建所述分布式数据库的全局字典。5.根据权利要求4所述的方法其特征在于,所述基于所确定的各个目标第一并集,构建所述分布式...

【专利技术属性】
技术研发人员:康凯森
申请(专利权)人:北京星河信舟科技有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1