基于深度图压缩算法的并行查询表现预测系统及方法技术方案

本发明专利技术公开了一种基于深度图压缩算法的并行查询表现预测系统及创建和使用方法，该系统包括：查询预处理模块，用于对并行查询信息进行提取，并更新负载图的节点和边特征，以及对负载图进行合并；在线预测模块，用于利用模型计算出负载图上并行查询的执行特征；离线训练模块，用于利用历史数据训练深度图压缩模型和深度学习模型以学习模型的参数。该系统可以较准确地预测数据库中并行查询的执行表现。

【技术实现步骤摘要】
基于深度图压缩算法的并行查询表现预测系统及方法
本专利技术涉及信息检索
，特别涉及一种基于深度图压缩算法的并行查询表现预测系统及方法。
技术介绍
在数据库系统中，预测查询任务的执行表现对于满足服务等级协议(Service-LevelAgreement，SLA)有非常重要的意义，如可以应用到负载调度、参数调优、进程监控等多种优化任务中。然而，现有的预测方法主要面向串行查询，不能高效的预测并行执行的查询任务表现。一个主要原因就是他们没有考虑并行执行的查询任务之间复杂的关联关系，如数据共享、读写冲突等。这些关联关系会显著的影响查询任务实际的执行表现。尽管有一些支持并行查询预测的传统方法，他们主要面临两个问题。首先，传统方法主要通过统计查询任务执行过程中的逻辑指标(如页访问延迟等)来估计执行时间，不仅浪费较长的时间用于监控统计指标，而且忽略了资源/数据竞争(如读写冲突导致的访问锁机制)造成的执行时间差异。其次，一些方法基于数据库提供的查询计划进行表现预测，没有对目标任务和并行任务之间的潜在执行关系进行编码，导致在负载变化时预测精度变差。因此，在预测并行执行的查询表现过程中，主要面临两个方面的挑战：(1)如何对并行执行的查询任务进行建模。直观来说，为了预测执行时间等表现特征，需要对查询任务的执行过程中可能影响最终表现的因素进行建模，如物理层面的执行逻辑，物理算子的特性等。然而，现有方法，一方面不能有效的评估执行过程中并行任务可能造成的影响，如共享数据可能加速执行，抢占内存导致执行变慢等；另一方面，他们主要依赖执行计划、逻辑执行指标(如页访问延迟)等特征进行建模，难以对当前查询任务的执行进度进行有效的预测追踪。因此，对于提交到数据库的查询任务，一方面，要根据算子执行中可能存在的关联关系建立图模型；另一方面，需要根据执行进度更新图模型，更好的反映当前的执行进度。(2)如何预测并行执行的查询任务的表现。前一个问题中，需要把并行查询的执行特征建模成图模型。然而，现有预测方法很难应用在图模型上。一方面，现有方法基于线性回归等算法，预测过程中将查询本身的特性和查询间的关系用相同的方式进行处理，没能区别算子特性和关联关系对执行表现的影响；另一方面，图模型中包含大量的结构特征，将图模型线性的分割成线性的特征序列会造成较大的信息丢失，导致预测结果不准确。因此，需要利用更加高效的图压缩算法，首先能够根据原始图模型捕获每个节点邻居子图的结构特征，其次将图的结构特征进行有效的压缩，映射到和表现特征强关联的抽象特征空间中。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度图压缩算法的并行查询表现预测系统，该系统可以较准确地预测数据库中并行查询的执行表现。本专利技术的另一个目的在于提出一种基于深度图压缩算法的并行查询表现预测系统的创建方法。本专利技术的再一个目的在于提出一种基于深度图压缩算法的并行查询表现预测系统的使用方法。为达到上述目的，本专利技术一方面实施例提出了一种基于深度图压缩算法的并行查询表现预测系统，包括：查询预处理模块、在线预测模块和离线训练模块；所述查询预处理模块，用于对并行查询信息进行提取，并更新负载图的节点和边特征，以及对负载图进行合并；所述在线预测模块，用于利用模型计算出负载图上并行查询的执行特征；所述离线训练模块，用于利用历史数据训练深度图压缩模型和深度学习模型以学习模型的参数。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度图压缩算法的并行查询表现预测系统的创建方法，包括以下步骤：S101，定义查询表现、物理算子的执行指标，物理算子间的执行关系；S102，基于给定的数据库系统实现查询预处理模块中的查询编码模块，图更新模块和图合并模块；S103，建立深度图压缩模型，用于提取每个算子节点的自身特征和邻接子图结构信息，表示为节点的结构信息；S104，建立深度学习模型，用于预测并行查询的执行时间表现特征；S105，收集历史数据训练所述深度图压缩模型和所述深度学习模型；S106，将训练后的所述深度图压缩模型和所述深度学习模型部署到系统中，通过所述系统并行查询表现预测。为达到上述目的，本专利技术再一方面实施例提出了一种基于深度图压缩算法的并行查询表现预测系统的使用方法，包括以下步骤：S201，获取多个并行查询语句组成的工作负载，利用查询编码模块抽取工作负载特征并更新到负载图模型中；S202，利用部署的图更新模块删除已经完成的节点，更新正在执行的节点；S203，利用部署的图合并模块将存在时间重叠且没有边关系的节点合并，得到合并后的负载图；S204，利用部署的深度图压缩模型提取每个节点的算子特性和邻接子图特征，表示为节点的结构信息；S205，利用部署的深度学习模型从历史数据中学习节点的结构信息到执行表现特征的映射函数；S206，将预测结果展示给用户，并存储到数据库中。本专利技术的有益效果为：根据算子执行中可能存在的关联关系建立图模型，根据执行进度更新图模型，更好的反映当前的执行进度；利用更加高效的图压缩算法，能够根据原始图模型捕获每个节点邻居子图的结构特征，将图的结构特征进行有效的压缩，映射到和表现特征强关联的抽象特征空间中。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于深度图压缩算法的并行查询表现预测系统结构示意图；图2为根据本专利技术一个实施例的基于深度图压缩算法的并行查询表现预测系统的整体框架示意图；图3为根据本专利技术一个实施例的负载图构建的实例图；图4为根据本专利技术一个实施例的负载图的更新及合并算法的示意图；图5为根据本专利技术一个实施例的深度图压缩模型的相关框架图；图6为根据本专利技术一个实施例的基于深度图压缩算法的并行查询表现预测系统的创建方法流程图；图7为根据本专利技术一个实施例的基于深度图压缩算法的并行查询表现预测系统的使用方法流程图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于深度图压缩算法的并行查询表现预测系统创建和使用方法。图1为根据本专利技术一个实施例的基于深度图压缩算法的并行查询表现预测系统结构示意图。查询表现是数据库中的专有术语，指的是查询语句在数据库中从作业提交到结果返回过程中的执行情况，如执行时间、CPU利用率等。查询表现本文档来自技高网...

【技术保护点】
1.一种基于深度图压缩算法的并行查询表现预测系统，其特征在于，包括：查询预处理模块、在线预测模块和离线训练模块；/n所述查询预处理模块，用于对并行查询信息进行提取，并更新负载图的节点和边特征，以及对负载图进行合并；/n所述在线预测模块，用于利用模型计算出负载图上并行查询的执行特征；/n所述离线训练模块，用于利用历史数据训练深度图压缩模型和深度学习模型以学习模型的参数。/n

【技术特征摘要】
1.一种基于深度图压缩算法的并行查询表现预测系统，其特征在于，包括：查询预处理模块、在线预测模块和离线训练模块；
所述查询预处理模块，用于对并行查询信息进行提取，并更新负载图的节点和边特征，以及对负载图进行合并；
所述在线预测模块，用于利用模型计算出负载图上并行查询的执行特征；
所述离线训练模块，用于利用历史数据训练深度图压缩模型和深度学习模型以学习模型的参数。


2.根据权利要求1所述的基于深度图压缩算法的并行查询表现预测系统，其特征在于，所述在线预测模块和所述离线训练模块为基于深度图压缩算法和深度神经网络的表现预测器。


3.根据权利要求1所述的基于深度图压缩算法的并行查询表现预测系统，其特征在于，所述查询预处理模块进一步包括：查询编码模块、图更新模块和图合并模块；
所述查询编码模块，用于从给定的并行查询信息中提取执行计划中的有用信息；具体为使用数据库优化器将原查询语句解析成执行计划树，将所述执行计划树上的每个算子节点信息编码成特征向量；
所述图更新模块，用于使用当前的查询信息更新负载图上的节点和边特征；具体为根据先负载图上节点的结束时间更新或删除执行中或执行完毕的节点，然后添加新提交的算子节点和相应的边关系；
所述图合并模块，用于通过合并存在时间重叠的节点以减小负载图的规模，具体为先根据每个节点的执行时间范围将存在时间重叠的节点进行聚类，再通过最少完全连接子图划分，在各个类内将没有边关系的节点合并为一个节点。


4.根据权利要求1所述的基于深度图压缩算法的并行查询表现预测系统，其特征在于，所述在线预测模块进一步包括：图特征压缩模块和表现预测模块；
所述图特征压缩模块，用于将原始图解析成每个节点的特征集合，具体为利用深度图压缩模型针对每个节点的k跳内子图结构进行特征选择和压缩，通过前向传播将k跳子图结构信息映射到低维特征向量；
所述表现预测模块，用于根据每个节点的子图特征预测执行表现，具体为利用深度学习模型从历史数据中学习从节点的子图特征映射到执行表现的拟合函数。


5.根据权利要求1所述的基于深度图压缩算法的并行查询表现预测系统，其特征在于，
所述深度图压缩模型指的是利用图卷积网络，提取每个节点上的k跳内邻居信息，利用图卷积技术将节点和邻居特征映射到表示执行性能的抽象空间中，学习的过程指的是根据每张负载图上部分的节点信息更新图网络的参数...

【专利技术属性】
技术研发人员：李国良，周煊赫，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11