【技术实现步骤摘要】
本申请涉及分布式数据库，尤其涉及一种分布式数据库分析能力的优化方法、装置、设备及介质。
技术介绍
1、大数据包括结构化、半结构化和非结构化等多类数据，其中海量结构化数据存储在分布式数据库系统中。
2、“云网融合”作为云公司的整体发展方向，也指导着数据库存储的未来发展方向。在众多业务与企业上云的过程中，对支持实时数据分析的需求越来越迫切，但在海量数据的背景中支持实时数据分析查询对分布式融合数据库仍是一个挑战。因此，如何提高分布式融合数据库实时分析能力成为了亟待解决的技术问题。
技术实现思路
1、本申请提供了一种分布式数据库分析能力的优化方法、装置、设备及介质，以提高分布式融合数据库实时分析能力。
2、第一方面，本申请提供了一种分布式数据库分析能力的优化方法，所述方法包括：
3、在初始查询结果为select查询指令未在缓存调度模块中命中缓存的情况下，将所述初始查询结果反馈至所述缓存调度模块，并通过所述缓存调度模块将所述初始查询结果及对应的资源消耗发送至缓存线程模块；
4、基于所述资源消耗，通过所述缓存线程模块新建查询结果缓存以缓存所述初始查询结果；
5、通过所述缓存线程模块创建数据变更监控模块以监测所述初始查询结果是否发生变更；
6、在所述数据变更监控模块监测到所述初始查询结果发生变更时，通过预设有向无环图对发生变更的数据重新计算，将重新计算后的查询结果在所述查询结果缓存中更新。
7、进一步地，在所述数
8、基于所述select查询指令，通过所述数据变更监控模块建立有向无环图；
9、将所述初始查询结果记录在所述有向无环图中；
10、其中，所述数据变更监控模块与分布式数据库中其他数据变更监控模块共享所述有向无环图。
11、进一步地，分布式数据库分析能力的优化方法还包括：
12、在接收到来自客户端的所述select查询指令的情况下，查询所述select查询指令是否在所述缓存调度模块中命中缓存，生成初始查询结果；
13、基于所述初始查询结果，通过分布式键值存储系统etcd将所述select查询指令对应的缓存进行全局共享。
14、进一步地，在接收到来自客户端的所述select查询指令的情况下，查询所述select查询指令是否在所述缓存调度模块中命中缓存，生成初始查询结果，包括：
15、在所述select查询指令到达行存节点时，将所述select查询指令对应的数据表转换为至少一条流水线，并配置至少一条线程处理各所述流水线其中，各所述线程为并行线程；
16、通过各所述线程对比所述资源消耗，查询所述select查询指令是否在所述缓存调度模块中命中缓存，生成所述初始查询结果。
17、进一步地，在所述select查询指令到达行存节点时，将所述select查询指令对应的数据表转换为至少一条流水线，并配置至少一条线程处理各所述流水线其中，各所述线程为并行线程，包括：
18、当至少一条所述流水线对应的数据为新增数据时，将所述新增数据合并至所述缓存调度模块的缓存中。
19、进一步地，在所述select查询指令到达行存节点时，将所述select查询指令对应的数据表转换为至少一条流水线，并配置至少一条线程处理各所述流水线其中，各所述线程为并行线程，包括：
20、当至少一条所述流水线对应的数据为所述缓存调度模块中的现有数据时，则放弃所述现有数据，并标注所述现有数据为过期数据。
21、进一步地，通过所述缓存线程模块创建数据变更监控模块以监测所述初始查询结果是否发生变更之前，包括：
22、获取所述select查询指令的开始时刻；
23、基于所述开始时刻的时间戳，创建所述数据变更监控模块。
24、第二方面，本申请还提供了一种分布式数据库分析能力的优化装置，所述装置包括：
25、初始查询结果反馈模块，用于在初始查询结果为select查询指令未在缓存调度模块中命中缓存的情况下，将所述初始查询结果反馈至所述缓存调度模块，并通过所述缓存调度模块将所述初始查询结果及对应的资源消耗发送至缓存线程模块；
26、查询结果缓存新建模块，用于基于所述资源消耗，通过所述缓存线程模块新建查询结果缓存以缓存所述初始查询结果；
27、数据变更监控模块，用于基于所述资源消耗，通过所述缓存线程模块新建查询结果缓存以缓存所述初始查询结果；
28、查询结果更新模块，用于在所述数据变更监控模块监测到所述初始查询结果发生变更时，通过预设有向无环图对发生变更的数据重新计算，将重新计算后的查询结果在所述查询结果缓存中更新。
29、第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的分布式数据库分析能力的优化方法。
30、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的分布式数据库分析能力的优化方法。
31、本申请公开了一种分布式数据库分析能力的优化方法、装置、设备及介质，所述分布式数据库分析能力的优化方法包括在初始查询结果为select查询指令未在缓存调度模块中命中缓存的情况下，将所述初始查询结果反馈至所述缓存调度模块，并通过所述缓存调度模块将所述初始查询结果及对应的资源消耗发送至缓存线程模块；基于所述资源消耗，通过所述缓存线程模块新建查询结果缓存以缓存所述初始查询结果；通过所述缓存线程模块创建数据变更监控模块以监测所述初始查询结果是否发生变更；在所述数据变更监控模块监测到所述初始查询结果发生变更时，通过预设有向无环图对发生变更的数据重新计算，将重新计算后的查询结果在所述查询结果缓存中更新。通过上述方式，本申请通过为分布式融合数据库提供对用户透明且无感知的内置缓存能力，内置多个与原来的查询引擎完全解耦的模块实现智能评估查询结果是否需要缓存，从而达到提升实时数据分析的能力。
本文档来自技高网...【技术保护点】
1.一种分布式数据库分析能力的优化方法，其特征在于，包括：
2.根据权利要求1所述的分布式数据库分析能力的优化方法，其特征在于，所述在所述数据变更监控模块监测到所述初始查询结果发生变更时，通过预设有向无环图对发生变更的数据重新计算，将重新计算后的查询结果在所述查询结果缓存中更新之前，包括：
3.根据权利要求1所述的分布式数据库分析能力的优化方法，其特征在于，所述分布式数据库分析能力的优化方法还包括：
4.根据权利要求3所述的分布式数据库分析能力的优化方法，其特征在于，所述在接收到来自客户端的所述Select查询指令的情况下，查询所述Select查询指令是否在所述缓存调度模块中命中缓存，生成初始查询结果，包括：
5.根据权利要求4所述的分布式数据库分析能力的优化方法，其特征在于，所述在所述Select查询指令到达行存节点时，将所述Select查询指令对应的数据表转换为至少一条流水线，并配置至少一条线程处理各所述流水线其中，各所述线程为并行线程，包括：
6.根据权利要求5所述的分布式数据库分析能力的优化方法，其特征在于，所述
7.根据权利要求1至6中任一项所述的分布式数据库分析能力的优化方法，其特征在于，所述通过所述缓存线程模块创建数据变更监控模块以监测所述初始查询结果是否发生变更之前，包括：
8.一种分布式数据库分析能力的优化装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的分布式数据库分析能力的优化方法。
...【技术特征摘要】
1.一种分布式数据库分析能力的优化方法，其特征在于，包括：
2.根据权利要求1所述的分布式数据库分析能力的优化方法，其特征在于，所述在所述数据变更监控模块监测到所述初始查询结果发生变更时，通过预设有向无环图对发生变更的数据重新计算，将重新计算后的查询结果在所述查询结果缓存中更新之前，包括：
3.根据权利要求1所述的分布式数据库分析能力的优化方法，其特征在于，所述分布式数据库分析能力的优化方法还包括：
4.根据权利要求3所述的分布式数据库分析能力的优化方法，其特征在于，所述在接收到来自客户端的所述select查询指令的情况下，查询所述select查询指令是否在所述缓存调度模块中命中缓存，生成初始查询结果，包括：
5.根据权利要求4所述的分布式数据库分析能力的优化方法，其特征在于，所述在所述select查询指令到达行存节点时，将所述select查询指令对应的数据表转换为至少一条流水线，并配置至少一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。