【技术实现步骤摘要】
本公开涉及大数据,更具体地,涉及一种数据处理方法、装置、电子设备及可读存储介质和程序产品。
技术介绍
1、对于无服务架构(serverless)下的数据库,一种情况是数据库中的各个节点均保存全量元数据,各个节点彼此互为副本。另一种情况是各个节点仅保存部分元数据,各个节点协同提供服务。
2、在实现本公开构思的过程中,专利技术人发现相关技术中至少存在如下问题:对于各个节点均保存全量元数据信息的情况,单一节点的内存大小会限制全量元数据信息的存储;对于各个节点保存部分元数据的情况,当其中某一个节点宕机之后,需要重新加载大量数据,因此会耗费大量恢复时间。
技术实现思路
1、有鉴于此,本公开提供了一种数据处理方法、装置、电子设备及可读存储介质和程序产品。
2、本公开的一个方面提供了一种数据处理方法,包括:响应于数据查询请求,生成数据查询任务,数据查询任务包括n个数据查询子任务;在确定数据查询任务需要调用字典表的情况下,将n个数据查询子任务分配至第一计算节点集群中的n个第一计算节
...【技术保护点】
1.一种数据处理方法,包括:
2.根据权利要求1所述的方法,其中,各所述第一计算节点的内存中存储有与所述数据查询子任务对应的字典表和元数据,所述方法还包括:
3.根据权利要求2所述的方法,其中,各所述副本节点的内存中存储有与所述数据查询子任务对应的字典表副本和元数据副本,所述方法还包括:
4.根据权利要求3所述的方法,其中,所述方法还包括:
5.根据权利要求1所述的方法,其中,所述方法还包括:
6.根据权利要求5所述的方法,其中,所述方法还包括:
7.根据权利要求5所述的方法,其中,所述方法还包括
8....
【技术特征摘要】
1.一种数据处理方法,包括:
2.根据权利要求1所述的方法,其中,各所述第一计算节点的内存中存储有与所述数据查询子任务对应的字典表和元数据,所述方法还包括:
3.根据权利要求2所述的方法,其中,各所述副本节点的内存中存储有与所述数据查询子任务对应的字典表副本和元数据副本,所述方法还包括:
4.根据权利要求3所述的方法,其中,所述方法还包括:
5.根据权利要求1所述的方法,其中,所述方法还包括:
6.根据权利要求5所述的方法,其中...
【专利技术属性】
技术研发人员:王学伟,
申请(专利权)人:京东科技信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。