【技术实现步骤摘要】
本专利技术涉及数据库，具体地涉及一种数据处理方法、装置、设备和存储介质。
技术介绍
1、在集群数据库中，传统的并行分组聚集操作依赖于数据采样进而确定数据切分方式。对于包含去重算子 （distinct）的结构化化查询语句，系统目前仅支持基于哈希算法的数据分区策略。在业务表中不同分组之间的数据值差距较大并且去重算子所绑定的字段相对唯一的情况下，基于哈希算法的数据分区策略会导致数据在集群节点间的不均匀分布。由于数据可能会集中在少数几个节点上，而其他节点未能充分利用，少数节点计算负载的增加，会导致其他节点的资源闲置，影响了集群服务器查询的并行处理能力和系统的整体吞吐量。
技术实现思路
1、鉴于上述问题，本专利技术提供了一种数据处理方法、装置、设备和存储介质。
2、根据本专利技术的第一个方面，提供了一种数据处理方法，包括：
3、对与业务总表有关的数据去重任务进行识别，得到识别结果；在识别结果包含去重算子的情况下，对数据去重任务进行转换，生成不包含去重算子的数据查询任务，其中，...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据去重任务中还包括绑定有与参考字段信息对应的去重结果的聚合算子、绑定有所述参考字段信息的平均算子，所述聚合算子用于对所述参考字段信息的所述去重结果进行聚合操作，所述平均算子用于对所述参考字段信息进行平均操作，所述数据查询任务包括数据查询子任务、数据第一聚合子任务、数据第二聚合子任务和数据平均子任务；
3.根据权利要求2所述的方法，其特征在于， 执行所述数据第一聚合子任务，对所述多个查询结果进行聚合，得到中间聚合结果，包括：
4.根据权利...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据去重任务中还包括绑定有与参考字段信息对应的去重结果的聚合算子、绑定有所述参考字段信息的平均算子，所述聚合算子用于对所述参考字段信息的所述去重结果进行聚合操作，所述平均算子用于对所述参考字段信息进行平均操作，所述数据查询任务包括数据查询子任务、数据第一聚合子任务、数据第二聚合子任务和数据平均子任务；
3.根据权利要求2所述的方法，其特征在于， 执行所述数据第一聚合子任务，对所述多个查询结果进行聚合，得到中间聚合结果，包括：
4.根据权利要求3所述的方法，其特征在于，执行所述数据第二聚合子任务，对所述中间聚合结果进行聚...
【专利技术属性】
技术研发人员：邢梦龙，
申请(专利权)人：苏州吉呗思数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。