数据处理方法和装置、电子设备及存储介质制造方法及图纸

技术编号:46062690 阅读:7 留言:0更新日期:2025-08-11 15:48
本申请实施例提供了一种数据处理方法和装置、电子设备及存储介质,属于数据处理技术领域,适用于金融科技场景。该方法包括:获取数据表扫描请求,以及确定业务场景,其中,数据表扫描请求用于对目标数据库中的至少一个数据表进行扫描;根据业务场景在缓存池中创建临时缓存队列;其中,临时缓存队列包括临时热缓存区、临时冷缓存区;基于数据表扫描请求从目标数据库加载目标数据页,并将目标数据页加载至临时冷缓存区;响应于临时冷缓存区中的目标数据页符合预定访问条件,将目标数据页转移至临时热缓存区;其中,临时热缓存区禁止数据页替换。本申请实施例能够提高数据处理的效率。

【技术实现步骤摘要】

本申请涉及数据处理,适用于金融科技场景,尤其涉及一种数据处理方法和装置、电子设备及存储介质


技术介绍

1、数据处理是一种数据管理技术,通过从海量数据中提取目标信息并进行分析,为业务决策提供支持。数据处理可以应用于多种应用场景,例如在金融科技场景中,可以用于对车险产品、财险产品、银行产品等进行数据处理,满足金融业务决策的需求。

2、目前,数据处理时主要采用动态分区的缓冲区管理策略,将缓冲区划分为冷数据分区和热数据分区,比如冷热占比为37:63,并引入innodb_old_blocks_time(默认1秒)延迟冷数据晋升。然而在实际应用场景中,执行全表扫描操作时需要将数据表存入冷数据分区中,占用热数据分区的存储空间,导致部分热数据被淘汰,当需要使用这些被淘汰的热数据时还需重新获取,影响了数据处理的整体效率。

3、因此,如何提高数据处理的效率,成为了亟待解决的技术问题。


技术实现思路

1、本申请实施例的主要目的在于提出一种数据处理方法和装置、电子设备及存储介质,旨在提高数据处理的效率。...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述响应于所述临时冷缓存区中的所述目标数据页符合预定访问条件,将所述目标数据页转移至所述临时热缓存区之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述业务场景在缓存池中创建临时缓存队列,包括:

4.根据权利要求3所述的方法,其特征在于,所述临时缓存队列还包括临时未分配缓存区,所述根据所述临时队列内存占比对所述缓存池进行内存分配,得到所述临时缓存队列,包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述目标数据页加...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述响应于所述临时冷缓存区中的所述目标数据页符合预定访问条件,将所述目标数据页转移至所述临时热缓存区之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述业务场景在缓存池中创建临时缓存队列,包括:

4.根据权利要求3所述的方法,其特征在于,所述临时缓存队列还包括临时未分配缓存区,所述根据所述临时队列内存占比对所述缓存池进行内存分配,得到所述临时缓存队列,包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述目标数据页加载至所述临时冷缓存区,包括:

【专利技术属性】
技术研发人员:张志凌云
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1