基于预计算的数据库负载趋势展示系统及方法技术方案

本发明专利技术公开了基于预计算的数据库负载趋势展示系统及方法，属于数据库技术领域，要解决的技术问题为如何在提高趋势展示的效率

【技术实现步骤摘要】
基于预计算的数据库负载趋势展示系统及方法


[0001]本专利技术涉及数据库
，具体地说是基于预计算的数据库负载趋势展示系统及方法
。

技术介绍

[0002]DBA
需要关注数据库系统的状态，以能够及时发现数据库系统中存在的性能下降或资源分配问题
。
随着数据量的不断增长和业务模式不断复杂化，面对如此庞大与复杂的现代数据库系统，数据库管理员难以很好的关注集群的分配状态和每一个工作负载的执行情况
。
在不同的应用负载中，关于数据库运行状态是不同的
。
为了帮助
DBA
快速定位和分析问题出现的原因，需通过可视化图表等形象的方式展示负载历史使用资源趋势
、SQL
运行状况等
。
[0003]由于数据库负载在运行过程中会不断产生可观测的数据，并且这些数据需按照不同的级别存储到不同的表中，获取所需数据需聚合多张表
。
随着各个表中的数据不断扩大，趋势展示获取数据会变得非常耗时，降低了查询的效率和响应时间
。
随着数据量的不断增加，前端趋势展示图表的绘制效率会不断降低
。
[0004]如何在提高趋势展示的效率
、
并确保查询的效率和响应时间，需要解决的技术问题
。

技术实现思路

[0005]本专利技术的技术任务是针对以上不足，提供基于预计算的数据库负载趋势展示系统及方法，来解决如何在提高趋势展示的效率
、
并确保查询的效率和响应时间的技术问题
。
[0006]第一方面，本专利技术一种基于预计算的数据库负载趋势展示系统，包括数据采集模块
、
预计算模块
、
后端数据处理模块以及前端趋势展示模块；
[0007]所述数据采集模块用于采集
DBA
监控数据库内应用负载运行过程中的数据，将采集的数据进行缓存异步进行持久化存储，按照应用负载中不同
SQL
执行阶段
、
将数据存储到多张数据表中；
[0008]所述预计算模块用于构建物化视图，聚合多张数据表中数据到物化视图中，并按照预定时间间隔对物化视图进行刷新，使得物化视图表中数据与数据表中数据一致；
[0009]所述后端数据处理模块配置有不同的数据接口，用于接收前端趋势展示模块传入的数据获取请求，并根据数据获取请求的
URL
调用相关的数据接口从物理视图表上获取所需的数据，将数数据封装为
<
时间戳，值
>
的形式，并且需按照时间戳升序排序；
[0010]所述前端趋势展示模块用于基于数据接口获取的数据
、
对应用负载的趋势图进行展示
。
[0011]作为优选，所述数据采集模块用于从
SQL
来源
、
执行情况
、
计划内容
、
资源使用情况收集应用负载的数据
。
[0012]作为优选，按照预定时间间隔对物化视图进行刷新时，如果数据库支持物化视图
自动更新，设置定时任务自动刷新物化视图，如果数据库不支持物化视图自动更新，通过操作系统的
crontab
定时器去触发物化视图刷新
。
[0013]作为优选，获取请求中指定有时间范围，对应的，所述后端数据处理模块用于根据数据获取请求的
URL
调用相关的数据接口
、
并基于获取请求中指定的数据范围从物理视图表上获取相应时间范围内所需的数据
。
[0014]作为优选，趋势图包括
SQL
类型分布趋势图
、SQL
执行次数趋势图
、
应用负载资源趋势图；
[0015]其中，对于
SQL
类型分布趋势图，用户能够查看应用负载中的
SQL
类型分布随时间变化的趋势；
[0016]SQL
执行次数趋势图为不同类型的
SQL
执行次数变化图；
[0017]应用负载资源趋势图中用于展示包括字段
、CPU、Memory、
网络
、IO
的资源变化趋势；
[0018]对于趋势图，当趋势图中展示曲线在数据量远大于像素点时，通过降采样策略优化趋势图中图表，降采样策略包括取过滤点的平均值
、
取过滤点的最大值
、
取过滤点的最小值
、
以及取过滤点的和
。
[0019]第二方面，本专利技术一种基于预计算的数据库负载趋势展示方法，通过如第一方面任一项所述的一种基于预计算的数据库负载趋势展示系统实现数据库负载趋势展示，所述方法包括如下步骤：
[0020]数据采集：采集
DBA
监控数据库内应用负载运行过程中的数据，将采集的数据进行缓存异步进行持久化存储，按照应用负载中不同
SQL
执行阶段
、
将数据存储到多张数据表中；
[0021]预计算：构建物化视图，聚合多张数据表中数据到物化视图中，并按照预定时间间隔对物化视图进行刷新，使得物化视图表中数据与数据表中数据一致；
[0022]后端数据处理：接收数据获取请求，并根据数据获取请求的
URL
调用相关的数据接口从物理视图表上获取所需的数据，将数数据封装为
<
时间戳，值
>
的形式，并且需按照时间戳升序排序；
[0023]前端趋势展示：基于数据接口获取的数据
、
对应用负载的趋势图进行展示
。
[0024]作为优选，数据采集时从
SQL
来源
、
执行情况
、
计划内容
、
资源使用情况收集应用负载的数据
。
[0025]作为优选，按照预定时间间隔对物化视图进行刷新时，如果数据库支持物化视图自动更新，设置定时任务自动刷新物化视图，如果数据库不支持物化视图自动更新，通过操作系统的
crontab
定时器去触发物化视图刷新
。
[0026]作为优选，获取请求中指定有时间范围，对应的，后端数据处理时，根据数据获取请求的
URL
调用相关的数据接口
、
并基于获取请求中指定的数据范围从物理视图表上获取相应时间范围内所需的数据
。
[0027]作为优选，趋势图包括
SQL
类型分布趋势图
、SQL
执行次数趋势图
、
应用负载资源趋势图；
[0028]其中，对于
SQL
类型分布趋势图，用户能够查看应用负载中的
SQL...

【技术保护点】

【技术特征摘要】
1.
一种基于预计算的数据库负载趋势展示系统，其特征在于，包括数据采集模块
、
预计算模块
、
后端数据处理模块以及前端趋势展示模块；所述数据采集模块用于采集
DBA
监控数据库内应用负载运行过程中的数据，将采集的数据进行缓存异步进行持久化存储，按照应用负载中不同
SQL
执行阶段
、
将数据存储到多张数据表中；所述预计算模块用于构建物化视图，聚合多张数据表中数据到物化视图中，并按照预定时间间隔对物化视图进行刷新，使得物化视图表中数据与数据表中数据一致；所述后端数据处理模块配置有不同的数据接口，用于接收前端趋势展示模块传入的数据获取请求，并根据数据获取请求的
URL
调用相关的数据接口从物理视图表上获取所需的数据，将数数据封装为
<
时间戳，值
>
的形式，并且需按照时间戳升序排序；所述前端趋势展示模块用于基于数据接口获取的数据
、
对应用负载的趋势图进行展示
。2.
根据权利要求1所述的基于预计算的数据库负载趋势展示系统，其特征在于，所述数据采集模块用于从
SQL
来源
、
执行情况
、
计划内容
、
资源使用情况收集应用负载的数据
。3.
根据权利要求1所述的基于预计算的数据库负载趋势展示系统，其特征在于，按照预定时间间隔对物化视图进行刷新时，如果数据库支持物化视图自动更新，设置定时任务自动刷新物化视图，如果数据库不支持物化视图自动更新，通过操作系统的
crontab
定时器去触发物化视图刷新
。4.
根据权利要求1所述的基于预计算的数据库负载趋势展示系统，其特征在于，获取请求中指定有时间范围，对应的，所述后端数据处理模块用于根据数据获取请求的
URL
调用相关的数据接口
、
并基于获取请求中指定的数据范围从物理视图表上获取相应时间范围内所需的数据
。5.
根据权利要求1所述的基于预计算的数据库负载趋势展示系统，其特征在于，趋势图包括
SQL
类型分布趋势图
、SQL
执行次数趋势图
、
应用负载资源趋势图；其中，对于
SQL
类型分布趋势图，用户能够查看应用负载中的
SQL
类型分布随时间变化的趋势；
SQL
执行次数趋势图为不同类型的
SQL
执行次数变化图；应用负载资源趋势图中用于展示包括字段
、CPU、Memory、
网络
、IO
的资源变化趋势；对于趋势图，当趋势图中展示曲线在数据量远大于像素点时，通过降采样策略优化趋势图中图表，降采样策略包括取过滤点的平均值
、
取过滤点的最大值
、
取过滤点的最小值
、

【专利技术属性】
技术研发人员：容兴兴，冷友方，孙路明，赵衎衎，魏可伟，张晖，
申请(专利权)人：上海沄熹科技有限公司，
类型：发明
国别省市：