【技术实现步骤摘要】
本申请涉及数据库查询优化领域,具体涉及一种基于深度学习的分布式节点基数估计方法、装置及设备。
技术介绍
1、基数估计在数据库查询优化领域扮演着至关重要的角色,其根本目的是为了提高查询处理的效率。通过精确预测查询执行计划中各个操作节点所返回的行数,基数估计可以让查询优化器评估和比较不同查询执行策略的资源消耗,进而选出最优的查询执行计划。一个准确的基数估计可以使查询优化器能够有效地选择索引,确定最佳的连接顺序和连接算子以及恰当的数据扫描方式。因此,基数估计的精度直接影响到查询优化器的决策质量,进而影响到查询执行的效率和系统资源的有效利用。然而,基数估计的挑战在于数据分布的复杂性和不确定性,现实世界中的数据往往不满足独立性和均匀分布的简单统计假设,而是展现出丰富的关联性和依赖性。这种数据偏斜和数据关联使得基于统计的基数估计方法难以准确反映真实的数据分布,从而影响估计的准确性。
2、此外,在分布式数据库系统中,数据表可能会被分割(分区)并存储在不同的物理节点上,执行计划可以在多个节点上并行执行。然而,传统的分布式查询优化器可能仅仅预
...【技术保护点】
1.一种基于深度学习的分布式节点基数估计方法,其特征在于,所述基于深度学习的分布式节点基数估计方法包括:
2.如权利要求1所述的一种基于深度学习的分布式节点基数估计方法,其特征在于,所述获取分布式执行计划,并对表的统计信息、TableSchema信息、物理分布信息进行编码,并生成数据分布的特征向量,具体包括:
3.如权利要求1所述的一种基于深度学习的分布式节点基数估计方法,其特征在于,所述对分布式执行计划各个节点进行编码,对物理操作符特征、表特征、列特征、连接条件特征和选择条件特征分别生成特征向量,具体包括:
4.如权利要求3所述的
...【技术特征摘要】
1.一种基于深度学习的分布式节点基数估计方法,其特征在于,所述基于深度学习的分布式节点基数估计方法包括:
2.如权利要求1所述的一种基于深度学习的分布式节点基数估计方法,其特征在于,所述获取分布式执行计划,并对表的统计信息、tableschema信息、物理分布信息进行编码,并生成数据分布的特征向量,具体包括:
3.如权利要求1所述的一种基于深度学习的分布式节点基数估计方法,其特征在于,所述对分布式执行计划各个节点进行编码,对物理操作符特征、表特征、列特征、连接条件特征和选择条件特征分别生成特征向量,具体包括:
4.如权利要求3所述的一种基于深度学习的分布式节点基数估计方法,其特征在于:
5.如权利要求1所述的一种基于深度学习的分布式节点基数估计方法,其特征在于,所述将生成的特征向量整合,输入至tree-lstm中以预测分布式执行计划在各个分布式物理节点的基数,具体包括:
6.如权利要求5所述的一种基于深度学习的分布式节点基数估计方法,其特征在于,所述根据损失函数计算估计的基数和真实的基...
【专利技术属性】
技术研发人员:王黎维,刘轩宇,穆晓彬,袁来,李岩,丛兴柏,李文豪,
申请(专利权)人:武汉大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。