一种分布式数据库应用负载画像方法及系统技术方案

本发明专利技术公开一种分布式数据库应用负载画像方法及系统，涉及数据库运维技术领域，其实现内容包括：获取并存储分布式数据库中的运行数据，根据不同执行SQL语句类型的数目和执行次数对应用进行动态分类；针对某个应用，分析用户查询的当前时间段和上个时间段环比的语句增量和数据增量情况，同时，根据该应用的执行信息判断SQL语句健康状况，根据SQL语句的健康状况及在应用中的重要程度判断该应用的健康状况；根据应用分类结果、语句增量和数据增量情况、SQL语句在应用中的重要程度，量化查询应用和SQL语句的各种详细信息；根据量化结果，展示应用概况、应用细节和SQL语句细节。本发明专利技术可以建立数据库应用画像并监控数据库，保证数据库的健康运行。据库的健康运行。据库的健康运行。

【技术实现步骤摘要】
一种分布式数据库应用负载画像方法及系统


[0001]本专利技术涉及数据库运维
，具体的说是一种分布式数据库应用负载画像方法及系统。

技术介绍

[0002]现代数据库应用的特点是负载类型多、变化大。分布式集群数据库上的复杂工作负载使得在问题出现时预防或修复问题变得特别困难。不同的工作负载对系统资源的分配有着不同的要求，如果不及时干预和处理，可能会导致系统宕机等不同程度的问题出现。
[0003]现有技术中，对分布式数据库负载监控指标的选择颗粒度过高、监控不够智能，导致不能够准确的反映数据库系统中运行的应用的状况。同时，仅仅只是对采集的日志、数据等行为信息的展示，缺乏对应用的特性和行为的分析，需要数据库管理员(DBA)结合自身经验进一步分析，并在必要时采取预防性或反应性步骤来保持其健康，导致数据库管理员不能准确把握应用的负载情况和行为特征。另外，缺乏对应用对数据库系统的使用和访问时间段的分析，导致用户无法感知应用随时间可能出现的一定程度的变化。此外，缺乏对应用健康程度的评估，使得数据库管理员无法直观的判断应用或语句是否存在潜在问题，继而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据库应用负载画像方法，其特征在于,包括如下步骤：获取并存储分布式数据库中的运行数据，所述运行数据包括监控指标、数据库日志、应用信息；基于获取的运行数据，根据不同执行SQL语句类型的数目和执行次数对应用进行动态分类；随后，针对某个应用，分析用户查询的当前时间段和上个时间段环比的语句增量和数据增量情况，同时，根据该应用的执行信息判断SQL语句健康状况，显示出潜在的不健康SQL语句，并根据SQL语句的健康状况及在应用中的重要程度判断该应用的健康状况；根据应用分类结果、语句增量和数据增量情况、SQL语句在应用中的重要程度，量化查询应用和SQL语句的各种详细信息；根据量化结果，展示应用概况、应用细节和SQL语句细节，其中，应用概况包括当前监控的应用信息，应用细节包括当前某一应用的具体信息，SQL语句细节包括SQL的统计信息。2.根据权利要求1所述的一种分布式数据库应用负载画像方法，其特征在于，所述执行SQL语句类型包括增、删、改、查；所述语句增量为应用针对某些特殊场景季度性触发某些查询服务，导致查询数量变化或查询种类变化，语句增量具体通过SQL语句的新增数量来体现；所述数据增量为应用访问的表数据增量变化，数据增量具体通过SQL语句执行次数的变化来体现。3.根据权利要求2所述的一种分布式数据库应用负载画像方法，其特征在于，应用的执行信息包括执行时间偏差、执行行数偏差、执行延时占比、重试次数，其中，(a)执行时间偏差指SQL语句每次物理计划的实际执行时间和SQL语句平均执行时间的差值，判断执行时间偏差是否正常的操作如下：首先计算同一条SQL语句执行物理计划的平均执行时间mean和标准差str，由此得到置信区间(mean
‑
n*str,mean+n*str)，n取1、2、3，随后，查看差值是否在置信区间内，若在，则认为执行时间偏差正常，否则认为执行时间偏差异常；(b)执行行数偏差指执行SQL语句的物理计划算子实际返回行数和逻辑计划算子预估行数的差值，判断执行行数偏差是否正常的操作如下：取执行行数偏差的绝对值的倒数，对比该倒数与设定参数限值，若该倒数大于设定参数限值，则认为执行行数偏差正常，否则认为执行行数偏差异常；(c)执行延时占比指contention时间与整体SQL语句执行时间的比值，判断执行延时占比是否正常的操作如下：对比执行延时占比与设定时间阈值，若执行延时占比小于设定时间阈值，则认为执行延时占比正常，否则认为执行延时占比异常；(d)重试次数指同一SQL语句在应用中的retry次数，判断重试次数是否正常的操作如下：设定阈值，对比同一SQL语句的retry次数是否超过设定的阈值，若未超过，则认为该SQL语句执行重试的次数正常，否则认为该SQL语句执行重试的次数异常；根据SQL语句的执行次数、平均执行时间、总执行时间、平均网络花费时间、总网络花费时间、平均CPU执行时间、总CPU执行时间判定SQL语句在应用中的重要程度；根据该应用的执行时间偏差、执行行数偏差、执行延时占比、重试次数判断SQL语句健康状况，显示出SQL语句的不健康原因，并根据SQL语句的不健康原因、及SQL语句在应用中
的重要程度判断该应用的健康状况。4.根据权利要求3所述的一种分布式数据库应用负载画像方法，其特征在于，量化查询应用和SQL语句的各种详细信息包括：应用总数量、应用列表、应用健康状况、应用类型，应用的持续时间、分析时间，SQL语句的执行次数、平均执行时间、总执行时间、平均网络花费时间、总网络花费时间、平均CPU执行时间、总CPU执行时间。5.根据权利要求4所述的一种分布式数据库应用负载画像方法，其特征在于，当前监控的应用信息包括应用名称、持续时间、健康状况、SQL总数量、分析时间、SQL类型分布；当前某一应用的具体信息指的是该应用的所有SQL语句执行信息；SQL的统计信息包括SQL语句的健康状况、执行成功率、总执行次数、总执行时间、平均执行时间、平均CPU时间、平均网络花费时间、平均服务延迟。6.一种分布式数据库应用负载画像系统，其特征在于,包括：自治数据仓库，用于收集和存储分布式数据库中的运行数...

【专利技术属性】
技术研发人员：邹彤，赵阳，任鲲鹏，陈原野，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：