数据处理方法、装置、电子设备及可读存储介质和程序产品制造方法及图纸

技术编号:43137766 阅读:24 留言:0更新日期:2024-10-29 17:42
本公开提供了一种数据处理方法、装置、电子设备及可读存储介质和程序产品,涉及大数据技术领域,该方法包括:响应于数据查询请求,生成数据查询任务,数据查询任务包括N个数据查询子任务;在确定数据查询任务需要调用字典表的情况下,将N个数据查询子任务分配至第一计算节点集群中的N个第一计算节点,其中,各第一计算节点被配置有副本节点;监听N个第一计算节点的工作状态;在N个第一计算节点中的目标第一计算节点工作状态为宕机的情况下,将目标第一计算节点工作拟执行的目标数据查询子任务分配至与目标第一计算节点对应的目标副本节点。

【技术实现步骤摘要】

本公开涉及大数据,更具体地,涉及一种数据处理方法、装置、电子设备及可读存储介质和程序产品


技术介绍

1、对于无服务架构(serverless)下的数据库,一种情况是数据库中的各个节点均保存全量元数据,各个节点彼此互为副本。另一种情况是各个节点仅保存部分元数据,各个节点协同提供服务。

2、在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下问题:对于各个节点均保存全量元数据信息的情况,单一节点的内存大小会限制全量元数据信息的存储;对于各个节点保存部分元数据的情况,当其中某一个节点宕机之后,需要重新加载大量数据,因此会耗费大量恢复时间。


技术实现思路

1、有鉴于此,本公开提供了一种数据处理方法、装置、电子设备及可读存储介质和程序产品。

2、本公开的一个方面提供了一种数据处理方法,包括:响应于数据查询请求,生成数据查询任务,数据查询任务包括n个数据查询子任务;在确定数据查询任务需要调用字典表的情况下,将n个数据查询子任务分配至第一计算节点集群中的n个第一计算节点,其中,各第一计算本文档来自技高网...

【技术保护点】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,各所述第一计算节点的内存中存储有与所述数据查询子任务对应的字典表和元数据,所述方法还包括:

3.根据权利要求2所述的方法,其中,各所述副本节点的内存中存储有与所述数据查询子任务对应的字典表副本和元数据副本,所述方法还包括:

4.根据权利要求3所述的方法,其中,所述方法还包括:

5.根据权利要求1所述的方法,其中,所述方法还包括:

6.根据权利要求5所述的方法,其中,所述方法还包括:

7.根据权利要求5所述的方法,其中,所述方法还包括

8....

【技术特征摘要】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,各所述第一计算节点的内存中存储有与所述数据查询子任务对应的字典表和元数据,所述方法还包括:

3.根据权利要求2所述的方法,其中,各所述副本节点的内存中存储有与所述数据查询子任务对应的字典表副本和元数据副本,所述方法还包括:

4.根据权利要求3所述的方法,其中,所述方法还包括:

5.根据权利要求1所述的方法,其中,所述方法还包括:

6.根据权利要求5所述的方法,其中...

【专利技术属性】
技术研发人员:王学伟
申请(专利权)人:京东科技信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1