一种分布式数据库并行查询方法、系统、装置及存储介质制造方法及图纸

技术编号:38677283 阅读:14 留言:0更新日期:2023-09-02 22:51
本发明专利技术公开了一种分布式数据库并行查询方法、系统、装置及存储介质,本发明专利技术实施例通过获取用户输入的查询语句,并对所述查询语句进行预处理,得到预处理后的查询语句,根据预处理后的查询语句确定连接顺序空间,并在连接顺序空间内采用遗传算法对所有个体进行编码,对编码后的所有个体进行初始化,并采用遗传算法进行动态规划,得到最优连接路径,根据得到的最优连接路径确定对应的查询计划,并根据查询计划得到查询结果;通过上述方法可减少查询代价,提高查询效率,提升查询速度,本发明专利技术实施例可广泛应用于数据库数据查询技术领域。可广泛应用于数据库数据查询技术领域。可广泛应用于数据库数据查询技术领域。

【技术实现步骤摘要】
一种分布式数据库并行查询方法、系统、装置及存储介质


[0001]本专利技术涉及数据库数据查询
,尤其涉及一种分布式数据库并行查询方法、系统、装置及存储介质。

技术介绍

[0002]分布式数据库的广泛应用,查询执行代价描述的复杂程度不断提升,在数据库数据冗余较小时,常见以最小通信代价为目标获取查询最优方案。随着信息规模的不断扩大,数据库数据冗余不断增多,用于处理局部数据的站点也越来越多;由于不同的站点的处理能力不同,在数据冗余与站点的影响下,常见以最小通信代价为目标难以获取查询最优方案。
[0003]目前以冗余分配为依据的算法在研究分布式数据库分配算法中较为常用,但在面对一个复杂大体量的查询事件时,以冗余分配为依据的算法会导致一些不必要的额外操作、或某些操作被额外地重复了很多次、某些执行得操作得太慢,导致查询代价高、查询效率低、查询速度慢。

技术实现思路

[0004]有鉴于此,本专利技术实施例的目的是提供一种分布式数据库并行查询方法、系统、装置及存储介质,可以筛选最优连接路径,减少查询代价,提高查询效率,提升查询速度。
[0005]第一方面,本专利技术实施例提供了一种分布式数据库并行查询方法,包括以下步骤:获取用户输入的查询语句,并对所述查询语句进行预处理,得到预处理后的查询语句;根据所述预处理后的查询语句确定连接顺序空间,并在所述连接顺序空间内对所有个体进行编码;对编码后的所有个体进行初始化,将个体的检索更新总代价作为所述个体的适应度,并根据所述适应度、自调节交叉因子以及自调节变异因子进行动态规划,得到最优连接路径;根据所述最优连接路径确定对应的查询计划,并根据所述查询计划得到查询结果。
[0006]进一步,所述对所述查询语句进行预处理,具体包括:获取所述查询语句的子连接、子查询以及外连接;将所述子连接中满足预设条件的子连接转化为半连接,对所述子查询进行提升,将所述外连接转换为内连接或者反连接。
[0007]进一步,所述根据所述适应度、自调节交叉因子以及自调节变异因子进行动态规划,具体包括:根据所述适应度与预设的选择策略对若干个所述个体进行选择,得到若干个选择个体与若干个未选择个体;其中,所述个体包括数据库中的站点、事务集、数据段集;
对若干个选择个体分别采用自调节交叉因子进行交叉操作与采用自调节变异因子进行变异操作,得到若干个更新个体;计算若干个所述更新个体的适应度,根据所述适应度与预设评价策略对若干个所述个体进行评价,根据若干个所述更新个体的评价结果和终止条件直至选择出最优的更新个体,并根据所述最优的更新个体确定最优连接路径。
[0008]进一步,所述对编码后的所有个体进行初始化,具体包括:计算所有所述个体的更新访问量与检索访问量,并根据所述更新访问量与所述检索访问量确定更新访问量与检索访问量之比;若所述更新访问量与检索访问量之比大于1,则增加所述个体的副本设置;若所述更新访问量与检索访问量之比小于1,则减少所述个体的副本设置。
[0009]进一步,通过以下公式对若干个所述选择个体进行交叉操作:,其中,为交叉概率,为上一代个体中的适应度极大值,,分别为预设固定值,为个体交叉值大的适应度,为上一代所有个体的适应度均值。
[0010]进一步,通过以下公式对若干个所述选择个体进行变异操作:,其中,为变异概率,为上一代个体中的适应度极大值,,分别为预设固定值,为个体变异值大的适应度,为上一代所有个体的适应度均值。
[0011]进一步,所述计算若干个所述更新个体的适应度,具体包括:计算所述个体的总检索数据量,计算所述个体的总更新数据量;将所述总检索数据量与所述总更新数据量之和作为所述个体的查询代价,并作为所述更新个体的适应度。
[0012]第二方面,本专利技术实施例提供了一种分布式数据库并行查询系统,包括:第一模块,用于获取用户输入的查询语句,并对所述查询语句进行预处理,得到预处理后的查询语句;第二模块,用于根据所述预处理后的查询语句确定连接顺序空间,并在所述连接顺序空间内对所有个体进行编码;第三模块,用于对编码后的所有个体进行初始化,并采用遗传算法进行动态规划,得到最优连接路径;第四模块,用于根据所述最优连接路径确定对应的查询计划,并根据所述查询计划得到查询结果。
[0013]第三方面,本专利技术实施例提供了一种分布式数据库并行查询装置,包括:至少一个处理器;
至少一个存储器,用于存储至少一个程序;当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如上述方法实施例所述的方法。
[0014]第四方面,本专利技术实施例提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行如上述方法实施例所述的方法。
[0015]实施本专利技术实施例包括以下有益效果:本实施例首先获取用户输入的查询语句,并对查询语句进行预处理,得到预处理后的查询语句,然后根据预处理后的查询语句确定连接顺序空间,并在连接顺序空间内对遗传算法的种群中的若干个个体进行编码,然后对遗传算法进行初始化,并设置迭代次数阈值,然后对编码后的种群采用遗传算法进行动态规划,得到最优连接路径,然后根据得到的最优连接路径确定对应的查询计划,并根据得到的查询计划得到查询结果;对查询语句进行预处理,将查询代价高的查询操作转换成查询代价低的查询操作,以减少查询代价,采用遗传算法进行动态规划,减少查询操作中的无用连接,确定最优连接路径,通过最优连接路径得到查询计划,提高查询速度和查询效率。
附图说明
[0016]图1是本专利技术实施例提供的一种分布式数据库并行查询方法的步骤流程示意图;图2是本专利技术实施例提供的一种分布式数据库并行查询方法中进行预处理的步骤流程示意图;图3是本专利技术实施例提供的一种分布式数据库并行查询方法中进行动态规划的步骤流程示意图;图4是本专利技术实施例提供的一种分布式数据库并行查询方法中进行种群初始化的步骤流程示意图;图5是本专利技术实施例提供的一种分布式数据库并行查询方法中计算查询代价的步骤流程示意图;图6是本专利技术实施例提供的一种分布式数据库并行查询系统的结构框图;图7是本专利技术实施例提供的一种分布式数据库并行查询装置的结构框图。
具体实施方式
[0017]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0018]在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
[0019]在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本专利技术实施例能够以除了在这里图示或描述的以外的顺序本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种分布式数据库并行查询方法,其特征在于,包括以下步骤:获取用户输入的查询语句,并对所述查询语句进行预处理,得到预处理后的查询语句;根据所述预处理后的查询语句确定连接顺序空间,并在所述连接顺序空间内对所有个体进行编码;对编码后的所有个体进行初始化,将个体的检索更新总代价作为所述个体的适应度,并根据所述适应度、自调节交叉因子以及自调节变异因子进行动态规划,得到最优连接路径;根据所述最优连接路径确定对应的查询计划,并根据所述查询计划得到查询结果。2.根据权利要求1所述的并行查询方法,其特征在于,所述对所述查询语句进行预处理,具体包括:获取所述查询语句的子连接、子查询以及外连接;将所述子连接中满足预设条件的子连接转化为半连接,对所述子查询进行提升,将所述外连接转换为内连接或者反连接。3.根据权利要求1所述的并行查询方法,其特征在于,所述根据所述适应度、自调节交叉因子以及自调节变异因子进行动态规划,具体包括:根据所述适应度与预设的选择策略对若干个所述个体进行选择,得到若干个选择个体;其中,所述个体包括数据库中的站点、事务集、数据段集;对若干个选择个体分别采用自调节交叉因子进行交叉操作与采用自调节变异因子进行变异操作,得到若干个更新个体;计算若干个所述更新个体的适应度,根据所述适应度与预设评价策略对若干个所述更新个体进行评价,根据若干个所述更新个体的评价结果和终止条件直至能够选择出最优的更新个体,并根据所述最优的更新个体确定最优连接路径。4.根据权利要求1所述的并行查询方法,其特征在于,所述对编码后的所有个体进行初始化,具体包括:计算所有所述个体的更新访问量与检索访问量,并根据所述更新访问量与所述检索访问量确定更新访问量与检索访问量之比;若所述更新访问量与检索访问量之比大于1,则增加所述个体的副本设置;若所述更新访问量与检索访问量之比小于1,则减少所述个体的副本设置。5.根据权利要求3所述的...

【专利技术属性】
技术研发人员:张越周涛何兴国
申请(专利权)人:广州图灵科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1