一种基于图神经网络的数据库查询优化方法及系统技术方案

技术编号:28978436 阅读:38 留言:0更新日期:2021-06-23 09:24
本发明专利技术公开了一种基于图神经网络的数据库查询优化方法及系统,方法包括:数据采集:根据数据的使用规律来合理的调节采样行为;基数及代价估计:利用树型图神经网络提取查询计划树的结构特征,并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系,从而建立基数及代价估计网络模型;连接顺序优化:利用图卷积算法提取查询特征和连接顺序特征,并利用强化学习算法感知数据库真实环境,从而不断优化模型,从而提升连接顺序决策的效果;通过对数据分布特征、关联关系和数据库环境特点的学习,建立基数估计模型和连接顺序优化模型,并将算法融合到分布式关系型数据库中。本发明专利技术提高在逻辑优化和物理优化阶段的算法效率,提升了查询执行速度。

【技术实现步骤摘要】
一种基于图神经网络的数据库查询优化方法及系统
本专利技术涉及数据库领域,尤其涉及一种基于图神经网络的数据库查询优化方法及系统。
技术介绍
随着互联网技术的发展,数据呈现井喷的趋势,大数据成为信息时代的主旋律。对于数据库领域而言,随之面临的难题就是如何有效的组织和管理数据。为了满足存储的需求,不断催生了许多新型架构的数据库,但是对于查询性能的优化还未能取得突破性的发展。如何提升数据库查询执行性能,一直是数据库领域的重要研究方向,传统数据库查询优化方法已经无法胜任当前大规模的数据量以及新型架构的数据库。得益于人工智能技术的成熟发展,利用深度学习强大的学习能力,可以有效的解决诸多难题。人工智能技术和数据库融合也成为当前发展的重要方向之一,有不少研究也取得了不错的进展,但依然还面临巨大的挑战。TiDB作为一个分布式关系型数据库,本身已经具备了良好的数据组织管理功能和查询优化功能,但是其中查询优化方法还是使用比较传统的方式,如基数估计方式依旧采取利用独立假设条件的概率估计计算方式,缺乏一定的灵活性和准确度;而对于查询影响较大的连接顺序优化,其主要本文档来自技高网...

【技术保护点】
1.一种基于图神经网络的数据库查询优化方法,其特征在于,包括以下步骤:/n数据采集:根据数据的使用规律来合理的调节采样的行为;/n基数及代价估计:利用树型图神经网络提取查询计划树的结构特征,并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系,从而建立基数及代价估计网络模型;/n连接顺序优化:利用图卷积算法提取查询特征和连接顺序特征,并利用强化学习算法感知数据库真实环境,以真实反馈来不断优化模型,从而提升连接顺序决策的效果;/n通过对数据分布特征、关联关系、数据库环境特点的学习,建立基数估计模型和连接顺序优化模型,并将算法融合到TiDB分布式关系型数据库中。/n

【技术特征摘要】
1.一种基于图神经网络的数据库查询优化方法,其特征在于,包括以下步骤:
数据采集:根据数据的使用规律来合理的调节采样的行为;
基数及代价估计:利用树型图神经网络提取查询计划树的结构特征,并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系,从而建立基数及代价估计网络模型;
连接顺序优化:利用图卷积算法提取查询特征和连接顺序特征,并利用强化学习算法感知数据库真实环境,以真实反馈来不断优化模型,从而提升连接顺序决策的效果;
通过对数据分布特征、关联关系、数据库环境特点的学习,建立基数估计模型和连接顺序优化模型,并将算法融合到TiDB分布式关系型数据库中。


2.根据权利要求1所述的基于图神经网络的数据库查询优化方法,其特征在于,所述数据采集包括全局性数据的采集、离线数据的采集和在线数据的采集;所述全局性数据的采集触发点为主动式触发,对修改的数据重新采样,替换旧的数据;所述离线数据的采集可以通过维护一个数据池,对相关数据进行大规模采样,也可以依据算法的效果的情况决定是否采样;所述在线数据的采集在算法主动请求数据时,根据请求从数据库环境中加载数据,然后将数据返回给算法,完成一次数据同步过程。


3.根据权利要求1所述的基于图神经网络的数据库查询优化方法,其特征在于,所述基数及代价估计网络模型利用TreeLSTM结构对查询计划数进行特征提取,并用GCN的图神经网络模型对列与列的关系进行特征提取,设计并实现列结合两种图结构的基数预估网络模型。


4.根据权利要求1所述的基于图神经网络的数据库查询优化方法,其特征在于,还包括网络远程调用,所述网络远程调用利用gRPC实现,方便接入数据库,包括以下步骤:
步骤1:定义服务的数据结构,要利用Protobuf序列化工具对服务进行定义,包括数据对象的组成结构,并对服务接口的名称,输入参数,返回值进行定义,用于具体的服务功能的调用;
步...

【专利技术属性】
技术研发人员:范淑焕侯孟书何东升廖建明周世杰
申请(专利权)人:电子科技大学
类型:发明
国别省市:四川;51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1