数据处理方法、装置、电子设备和存储介质制造方法及图纸

技术编号:43355487 阅读:15 留言:0更新日期:2024-11-19 17:42
本公开提供了一种数据处理方法、装置、电子设备和存储介质,可以应用于大数据技术领域。该方法包括:接收数据处理请求,其中,数据处理请求包括目标字段和与目标字段相关的数据集;在确定缓存中存在目标字段的主键的情况下,基于目标字段的主键,从缓存中获取第一前缀树;基于第一前缀树和数据集,确定新增数据集和失效数据集;以及分别基于新增数据集和失效数据集,对与缓存关联的数据库进行数据更新。

【技术实现步骤摘要】

本公开涉及大数据,更具体地,涉及一种数据处理方法、装置、电子设备和存储介质


技术介绍

1、随着信息技术的快速发展,各个业务场景中改变业务覆盖数据的情况日趋频繁。在对数据库中的数据进行更新时,服务器可以从数据库中查出对应的数据并和用户输入的数据做比较,以筛选出新增数据和失效数据,最后分别执行数据插入和更新操作。

2、相关技术中对数据库进行数据更新时,常使用哈希表来完成数据的比较和筛选,但在大数据场景下,数据库中的数据有较大可能会发生哈希冲突,哈希冲突耗时的不确定性会使得数据更新的处理效率较低。


技术实现思路

1、有鉴于此,本公开提供了一种数据处理方法、装置、电子设备、可读存储介质和计算机程序产品。

2、本公开的一个方面提供了一种数据处理方法,包括:接收数据处理请求,其中,上述数据处理请求包括目标字段和与上述目标字段相关的数据集;在确定缓存中存在上述目标字段的主键的情况下,基于上述目标字段的主键,从上述缓存中获取第一前缀树;基于上述第一前缀树和上述数据集,确定新增数据集和失效数据集;以及本文档来自技高网...

【技术保护点】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述数据集包括多条入参数据;

3.根据权利要求2所述的方法,其中,所述第一前缀树包括多个节点层,所述第一前缀树的根节点属于所述第一前缀树的第1个节点层,每个所述节点层包括至少一个节点;

4.根据权利要求3所述的方法,其中,所述在所述入参数据的最后一个字符与所述第一前缀树的第三节点匹配的情况下,基于与所述第三节点连接的子节点,得到所述第一匹配结果,包括:

5.根据权利要求2所述的方法,其中,所述基于所述第一前缀树中多个叶节点各自的值,从所述第一前缀树中确定所述失效数据集,包括:...

【技术特征摘要】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述数据集包括多条入参数据;

3.根据权利要求2所述的方法,其中,所述第一前缀树包括多个节点层,所述第一前缀树的根节点属于所述第一前缀树的第1个节点层,每个所述节点层包括至少一个节点;

4.根据权利要求3所述的方法,其中,所述在所述入参数据的最后一个字符与所述第一前缀树的第三节点匹配的情况下,基于与所述第三节点连接的子节点,得到所述第一匹配结果,包括:

5.根据权利要求2所述的方法,其中,所述基于所述第一前缀树中多个叶节点各自的值,从所述第一前缀树中确定所述失效数据集,包括:

6.根据权利要求2所述的方法,还包括:

7.根据权利要求6...

【专利技术属性】
技术研发人员:李良杰
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1