数据重分布方式的确定方法、装置、服务器及存储介质制造方法及图纸

技术编号:22022150 阅读:29 留言:0更新日期:2019-09-04 01:15
本发明专利技术实施例公开了一种数据重分布方式的确定方法、装置、服务器及存储介质。该方法包括:遍历执行二叉树,确定执行二叉树的叶节点、中间节点以及叶节点和中间节点所在的层级信息,按照由下至上的顺序,依次确定所述叶节点和所述中间节点的分布属性,根据叶节点和中间节点的分布属性,分别确定叶节点和中间节点的数据动态重分布方式。与现有技术相比,本发明专利技术实施例按照由下至上的顺序,依次确定叶节点和中间节点的分布属性,进而根据分布属性确定对应的数据重分布方式,解决了现有技术中数据重分布资源消耗较多的问题,提高了系统的执行效率。

Method, Device, Server and Storage Medium for Determining Data Redistribution Mode

【技术实现步骤摘要】
数据重分布方式的确定方法、装置、服务器及存储介质
本专利技术实施例涉及数据库
,尤其涉及一种数据重分布方式的确定方法、装置、服务器及存储介质。
技术介绍
MPP(MassivelyParallelProcessing)即大规模并行处理,在非共享数据库集群中,每个节点都有独立磁盘存储系统和内存系统,各节点之间的数据通过网络相互连接,彼此协调计算。简单来说,MPP是将任务并行的分散到多个服务器和节点上,每个节点计算完成后,将各自部分的结果汇总在一起得到最终的执行结果。当数据表进行连接等操作时,如果操作涉及非分布列,各个节点的计算还需要本节点以外即其他节点的数据才能完成,此时需要对本节点的数据进行重分布。随着数据库处理的数据量越来越大,数据库集群的节点数越来越多,由于数据重分布过程是各节点间交叉连接,当节点数很多时,资源消耗严重,系统的执行效率也较低。
技术实现思路
本专利技术实施例提供一种数据重分布方式的确定方法、装置、服务器及存储介质,以解决现有技术中进行数据重分布时资源消耗严重的问题。第一方面,本专利技术实施例提供一种数据重分布方式的确定方法,包括:遍历执行二叉树,确定所述执行二叉本文档来自技高网...

【技术保护点】
1.一种数据重分布方式的确定方法,其特征在于,包括:遍历执行二叉树,确定所述执行二叉树的叶节点、中间节点以及所述叶节点和所述中间节点所在的层级信息,所述执行二叉树通过对用户所输入查询语句的解析生成,所述中间节点为非叶节点;按照由下至上的顺序,依次确定所述叶节点和所述中间节点的分布属性;根据所述叶节点和所述中间节点的分布属性,分别确定所述叶节点和所述中间节点的数据重分布方式。

【技术特征摘要】
1.一种数据重分布方式的确定方法,其特征在于,包括:遍历执行二叉树,确定所述执行二叉树的叶节点、中间节点以及所述叶节点和所述中间节点所在的层级信息,所述执行二叉树通过对用户所输入查询语句的解析生成,所述中间节点为非叶节点;按照由下至上的顺序,依次确定所述叶节点和所述中间节点的分布属性;根据所述叶节点和所述中间节点的分布属性,分别确定所述叶节点和所述中间节点的数据重分布方式。2.根据权利要求1所述的方法,其特征在于,所述依次确定所述叶节点和所述中间节点的分布属性,包括:查找数据字典,获取所述叶节点的分布属性,所述数据字典用于存储所述执行二叉树上各个叶节点的分布属性;根据所述中间节点所包含子节点的分布属性确定所述中间节点的分布属性。3.根据权利要求2所述的方法,其特征在于,所述根据所述叶节点和所述中间节点的分布属性,分别确定所述叶节点和所述中间节点的数据重分布方式,包括:分别计算所述叶节点的父节点和所述中间节点的父节点在重分布方式下对应的代价值,所述重分布方式包括:分发重分布方式和收集重分布方式;根据所述叶节点的父节点在所述分发重分布方式和收集重分布方式下对应的代价值确定所述叶节点的数据重分布方式;根据所述中间节点的父节点在所述分发重分布方式和收集重分布方式下对应的代价值确定所述中间节点的数据重分布方式。4.根据权利要求3所述的方法,其特征在于,所述查询语句包括连接查询语句和非连接查询语句。5.根据权利要求4所述的方法,其特征在于,当所述查询语句为连接查询语句时,所述分别计算所述叶节点的父节点和所述中间节点的父节点在重分布方式下对应的代价值,包括:根据所述叶节点和所对应的兄弟节点的连接关系以及代价计算规则确定所述叶节点的父节点在所述分发重分布方式下对应的代价值;根据所述叶节点、所对应的兄弟节点以及代价计算规则确定所述叶节点的父节点在所述收集重分布方式下对应的代价值;根据所述中间节点和所对应的兄弟节点的连接关系以及代价计算规则确定所述中间节点的父节点在所述分发重分布方式下对应的代价值;根据所述中间节点、所对应的兄弟节点以及代价计算规则确定所述中间节点的父节点在所述收集重分布方式下对应的代价值。6.根据权利要求5所述的方法,其特征在于,所述根据所述叶节点和所对应的兄弟节点的连接关系以及代价计算规则确定所述叶节点的父节点在所述分发重分布方式下对应的代价值,包括:根据所述连接关系对应的连接条件确定所述分发重分布方式的重分布项,所述重分布项包括所述叶节点和所对应兄弟节点的目标分布属性;根据所述叶节点和所对应的兄弟节点的目标分布属性以及代价计算规则确定所述叶节点的父节点在所述分发重分布方式下对应的代价值;相应的,所述根据所述中间节点和所对应的兄弟节点的连接关系以及代价计算规则确定所述中间节点的父节点在所述分发重分布方式下对应的代价值,包括:根据所述连接关系对应的连接条件确定所述分发重分布方式的重分布项,所述重分布项包括所述中间节点和所对应的兄弟节点的目标分布属性;根据所述中间节点和所对应的兄弟节点的目标分布属性以及代价计算规则确定所述中间节点的父节点在所述分发重分布方式下对应的代价值。7.根据权利要求6所述的方法,其特征在于,所述根据所述叶节点、所对应的兄弟节点以及代价计算规则确定所述叶节点的父节点在所述收集重分布方式下对应的代价值,包括:将所述叶节点作为执行目标,根据所述执行目标的分布属性和代价计算规则确定所述叶节点的父节点在所述收集重分布方式下对应的代价值;相应的,所述根据所述中间节点、所对应的兄弟节点以及代价计算规则确定所述中间节点的父节点在所述收集重分布方式下对应的代价值,包括:将所述中间节点作为执行目标,根据所述执行目标的分布属性和代价计算规则确定所述中间节点的父节点在所述收集重分布方式下对应的代价值。8.根据权利要求4所述的方法,其特征在于,当所述查询语句为非连接查询语句时,所述分别计算所述叶节点的父节点和所述中间节点的父节点在重分布方式下对应的代价值,包括:根据所述叶节点以及代价计算规则分别确定所述叶节点的父节点在所述分发重分布方式...

【专利技术属性】
技术研发人员:张钦朱仲颖
申请(专利权)人:上海达梦数据库有限公司
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1