数据表的处理方法、设备及存储介质技术

技术编号:38898794 阅读:24 留言:0更新日期:2023-09-22 14:18
本公开实施例提供一种数据表的处理方法、设备及存储介质,通过采用哈希连接的方式对待连接的两个数据表中左表和右表进行等值连接,获取左表和右表之间关联的第一关联数据;根据预设非等值过滤条件对第一关联数据进行过滤,确定第一关联数据中满足预设非等值过滤条件的第二关联数据;根据所述两个数据表的目标连接类型在预设数据结构中标识第二关联数据在左表中对应的位置信息、和/或第二关联数据在右表对应的哈希表中对应的位置信息;根据两个数据表的目标连接类型以及预设数据结构,对左表和/或右表进行处理,生成目标连接表。基于预设数据结构的辅助,可以在哈希连接的基础上实现非等值连接,支持不同的目标连接类型,并且处理效率较高。处理效率较高。处理效率较高。

【技术实现步骤摘要】
数据表的处理方法、设备及存储介质


[0001]本公开实施例涉及计算机与网络通信
,尤其涉及一种数据表的处理方法、设备及存储介质。

技术介绍

[0002]数据表的连接(Join)操作是指将两张有一定关联关系的数据表合并成一张数据表的操作,而对于关联上和未关联上的数据会存在不同的处理方式,因此数据表的连接操作又会被细分为不同的连接类型,包括交叉连接、内连接、外连接、全连接、半连接、反连接等。
[0003]然而在现有技术中,对数据表基于等值条件的连接操作较容易实现,而非等值条件相对较为复杂,而等值条件和非等值条件结合的情况更为复杂,现有技术中无法支持不同的连接类型的等值条件和非等值条件结合的情况。

技术实现思路

[0004]本公开实施例提供一种数据表的处理方法、设备及存储介质,以提供一种新的数据表连接方式。
[0005]第一方面,本公开实施例提供一种数据表的处理方法,包括:
[0006]采用哈希连接的方式对待连接的两个数据表中的左表和右表进行等值连接,获取所述左表和所述右表之间关联的第一关联数据;
...

【技术保护点】

【技术特征摘要】
1.一种数据表的处理方法,其特征在于,包括:采用哈希连接的方式对待连接的两个数据表中的左表和右表进行等值连接,获取所述左表和所述右表之间关联的第一关联数据;根据预设非等值过滤条件对所述第一关联数据进行过滤,确定所述第一关联数据中满足所述预设非等值过滤条件的第二关联数据;根据所述两个数据表的目标连接类型在预设数据结构中标识所述第二关联数据在所述左表中对应的位置信息和/或所述第二关联数据在所述右表对应的哈希表中对应的位置信息;根据所述两个数据表的目标连接类型以及所述预设数据结构,对所述左表和/或所述右表进行处理,生成目标连接表。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:构建所述哈希表对应的数据结构,用于记录所述哈希表各偏移位置中包括的各元素使用状态信息,其中所述哈希表任一偏移位置处包括至少一种元素,一个所述元素与所述右表中的一行数据对应;在预设数据结构中标识所述第二关联数据在所述右表对应的哈希表中对应的位置信息后,还包括:根据所述第二关联数据在所述哈希表中对应的位置信息,在所述哈希表对应的数据结构中修改所述第二关联数据对应元素的使用状态信息。3.根据权利要求2所述的方法,其特征在于,所述根据所述两个数据表的目标连接类型以及所述预设数据结构,对所述左表和/或所述右表进行处理,生成目标连接表,包括:若所述目标连接类型为全连接,则根据所述预设数据结构中所述第二关联数据在所述左表中对应的位置信息,将所述左表中除所述第二关联数据之外的数据确定为所述左表中的待补充数据;根据所述哈希表对应的数据结构,确定所述右表中的待补充数据;基于所述第二关联数据、所述左表中的待补充数据以及所述右表中的待补充数据,生成目标连接表。4.根据权利要求3所述的方法,其特征在于,所述左表包括至少两个数据块;相应的,所述根据所述预设数据结构中所述第二关联数据在所述左表中对应的位置信息,将所述左表中除所述第二关联数据之外的数据确定为所述左表中的待补充数据,包括:针对于对所述左表任一数据块完成等值连接和预设非等值过滤条件的过滤后得到的预设数据结构,根据所述预设数据结构中所述第二关联数据在所述左表中对应的位置信息,将该数据块中除所述第二关联数据之外的数据确定为所述左表中的待补充数据;所述根据所述哈希表对应的数据结构,确定所述右表中的待补充数据,包括:针对于对所述左表所有数据块完成等值连接和预设非等值过滤条件的过滤后得到的所述哈希表对应的数据结构,根据所述哈希表对应的数据结构确定所述右表中的待补充数据。5.根据权利要求1所述的方法,其特征在于,所述根据所述两个数据表的目标连接类型以及所述预设数据结构,对所述左表和/或所述右表进行处理,生成目标连接表,包括:若所述目标连接类型为左外连接,则根据所述预设数据结构中所述第二关联数据在所
述左表中对应的位置信息,将所述左表中除所述第二关联数据之外的数据确定为所述左表中的待补充数据;基于所述第二关联数据以及所述左表中的待补充数据,生成目标连接表;或者若所述目标连接类型为左反连接,则根据所述预设数据结构中所述第二关联数据在所述左表中对应的位置信息,确定所述左表中除所述第二关联数据之外的数据,根据所述左表中除所述第二关联数据之外的数据生成目标连接表;或者若所述目标连接类型为左半连接,则从所述预设数据结构中所述第二关联数据在所述左表中对应的位置信息中获取每一首次出现的位置信息,根据所述左表中与所述每一首次出现的位置信息对应的数据生成目标连接表。6.根据权利要求5所述的方法,其特征在于,所述左表包括至少两个数据块;相应的,若所述目标连接类型为左外连接、左反连接或左半连接,所述预设数据结构为针对于对所述左表任一数据块完成等值连接和预设非等值过滤条件的过滤后得到的预设数据结构。7.根据权利要求2所述的方法,其特征在于,所述根据所述两个数据表的目标连接类型以及所述预设数据结构,对所述左表和/或所述右表进行处理,生成目标连接表,包括:若所述目标连接类型为右外连接,则根据所述哈希表对应的数据结构,确定所述右表中的待补充数据;基于所述第二关联数据以及所述右表中的待补充数据,生成目标连接表;或者若所述目标连接类型为右反连接,则根据所述哈希表对应的数据结构,确定所述右表中除所述第二关联数据之外的数据,根据所述右表中除所述第二关联数据之外的数据生成目标连接表;或者若所述目标连接类型为右半连接,则确定所述哈希表对应的数据结构中首次修改使用状态信息的元素,根据所述右表中与所述首次修改...

【专利技术属性】
技术研发人员:杨晔萌陈恒师锐陈建军
申请(专利权)人:北京火山引擎科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1