一种自动化MYSQL性能采集分析方法技术

本发明专利技术公开了一种自动化MYSQL性能采集分析方法，包括如下步骤：S1、连接数据库；S2、收集重要参数；S3、数据的存储；S4、数据清洗处理；S5、采集频率监控；S6、建议值取值范围算法。本发明专利技术提供的自动化MYSQL性能采集分析方法，定期采集数据状态的值，对后续的数据库优化提升有明显效果；当业务在峰值期间，如对数据库采集很容易实现针对性参数配置不合适的情况，减少运维人员工作量，还能随时监控数据参数的状态；当对MYSQL做数据库底层优化的时候，将一段时间的数据与数据清洗工具运行，即可发现整个状态的参数设置，后续对数据库建设性优化和性能优化相对容易。

【技术实现步骤摘要】
一种自动化MYSQL性能采集分析方法
本专利技术涉及一种数据库性能采集分析方法，尤其涉及一种自动化MYSQL性能采集分析方法。
技术介绍
在使用MYSQL数据库过程中，运维或者DBA经常会遇到调优数据库参数问题，而且不同业务需求参数配置也是不尽相同，常出现以下两种情况：1、MYSQL配置文件配置的合理性，默认的基本参数配置是否已经符合目前业务对数据库性能要求。2、如若业务的需求的变动，数据库性能的处于业务高峰是否会有性能瓶颈。目前业界一般采用以下方法进行避免：1、业务上线前测试机上测试数据库配置性能信息，但后续业务修改造成不一致性。2、业务上线后运行瓶颈后直接修改数据库配置不合理参数，但业务峰值数据波动较大。目前的方式存在以下不足：1、数据库所有运行状态数据是全局数据存储，但仅需要某个时间段数据库启动运行点开始数据。2、数据库运行期间，峰值时期的运行数据的不确定性。3、业务运行期间，如果需求对部分参数调整，统计期间的状态数据全部就变动，需要临时保存。为此，有必要提出一种自动化MYSQL性能采集分析工具及其使用方法，以解决上述
技术介绍
中提到的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种自动化MYSQL性能采集分析方法，能够随时监控数据参数的状态，便于后续更好地对数据库建设和性能进行优化。本专利技术为解决上述技术问题而采用的技术方案是提供一种自动化MYSQL性能采集分析方法，包括如下步骤：S1)连接数据库：预安装驱动包Mysql-python，并对MYSQL数据库进行连接；S2)收集参数：通过对数据库查询，收集对应参数，存放于self.variables[cache]；S3)数据的存储：将采集后的数据保存于数据目录下，并对数据进行持久化处理；S4)数据清洗处理：包括检查数据一致性，处理无效值和缺失值；S5)采集频率监控：将采集数据定时写入到log日志文件；S6)建议值取值范围算法：在清洗超过阀值的数据后，选取建议值并反馈到客户端，建议值＝((VRATIO-FLAG)*NOWVALUE+VALUE)；VRATIO为最大值和最小值之间的倍数，FLAG为配置文件的值，NOWVALUE为当前获取的值，VALUE为当前设置的值。上述的自动化MYSQL性能采集分析方法，其中，所述步骤S2中当前保存状态值Sn计算公式如下：Sn＝(D2-D1)/(Tt2-Tt1)；Tt1＝NowTime-T1,Tt2＝NowTime-T2；T1为工具启动时间，T2为工具执行完毕时间，D1为启动时查询值,D2为结束时查询值。上述的自动化MYSQL性能采集分析方法，其中，所述步骤S4中采用脚本工具处理采集的数据，采集时间段的数据格式如下参数名Vname、最大值Vmax、最小值Vmin、平均值Vavg和倍数Vratio。上述的自动化MYSQL性能采集分析方法，其中，所述步骤S5中数据采集间隔时间为3分钟-15分钟。本专利技术对比现有技术有如下的有益效果：本专利技术提供的自动化MYSQL性能采集分析方法，定期采集数据状态的值，对后续的数据库优化提升有明显效果；当业务在峰值期间，如对数据库采集很容易实现针对性参数配置不合适的情况，减少运维人员工作量，还能随时监控数据参数的状态；当对MYSQL做数据库底层优化的时候，将一段时间的数据与数据清洗工具运行，即可发现整个状态的参数设置，后续对数据库建设性优化和性能优化相对容易。附图说明图1为本专利技术自动化MYSQL性能采集系统架构示意图；图2为本专利技术自动化MYSQL数据采集流程示意图；图3为本专利技术自动化MYSQL性能采集分析运作流程示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的描述。图1为本专利技术自动化MYSQL性能采集系统架构示意图。请参见图1，本专利技术使用Python语言作为开发，将对数据库运行期间状态参数的全面采集并计算，以及给出调优建议。工具运行期间将定时保存指定时间段的数据库运行状态数据，由于该工具只是去查询部分运行参数，所以不会对运行业务有影响。本专利技术提供的自动化MYSQL性能采集分析方法，包括如下步骤：S1.连接数据库预安装驱动包：Mysql-python，并对MYSQL数据库进行连接S2.收集重要参数通过对数据库查询，收集对应参数，存放于self.variables[cache],数值存放时刻；若T1为工具启动时间，T2为工具执行完毕时间，D1为启动时查询值,D2为结束时查询值；时间间隔段内保存其值，公式如下：全局数据时间段为：Tt1＝NowTime-T1,Tt2＝NowTime-T2,Tt3＝NowTime-T3…Sn＝(D2-D1)/(Tt2-Tt1)；Sn为当前保存状态值。数据库的状态参数均保存在内存中，重启时会被冲洗掉，此时可能造成较大的波动，导致数据失真。该方式解决了，数据库在修改期间或者重启期间状态数据波动问题。以下为脚本数据保存和格式化：1.self.computer＝self.mysqlvariables+＝self.variables[cache].strFormat[Mysql.status]2.self.totalcomputer＝mysqlstatuscomputer+＝monitor.statuslist[cache]注:1.为瞬时状态；2.为全局状态例查询缓存相关状态参数：S3.数据的存储将采集后的数据保持于数据目录下。对处理的数据进行持久化，后续可以根据部分重要参数数据进行清理。S4.数据清洗处理根据之前采集的数据使用脚本工具处理，采集时间段的数据格式如下：参数名最大值最小值平均值倍数VnameVmaxVminVavgVratio最大值和最小值是通过脚本工具自动判断的，平均值为自动计算得出，算法如下：最大值：whileadoVmax＝VmaxL>Vmaxn？VmaxL:Vmaxn；end最小值：whilebdoVmin＝VminP<VminR？VmaxP:VmaxR；end均值：倍数：Vratio＝VMax％VMinS5.采集频率监控每间隔3分钟，在采集数据后，写入到log日志文件。数据库状态数据为：全局：DBSTATUS＝(QUERYDATA/180)瞬时：DBSTATUS＝(QUERYDATA/(ENDTIME-STARTTIME)/180)S6.建议值取值范围算法在清洗超过阀值的数据后，进行建议值算法，反馈客户端。建议值＝((VRATIO-FLAG)*NOWVALUE+VALUE)VRATIO为最大值和最小值之间的倍数，FLAG为配置文件的值，NOWVALUE为当前获取的值，VALUE为当前设置的值。该时间可以自己设定一般建议采集时间段在(3分钟到15分钟)，时间太长数据波动较大，影响最后的状态建议。图2为本专利技术自动化MYSQL数据采集流程示意图。1.由用户发起对数据库参数状态数据收集。2.数据库服务端响应请求，查询出数据，工具后台准确计算对应数据库参数数据，跟踪其变化值。3.执行工具计算对于运行参数并回写，计算执行后，标记计算过的状态数据。伪代码如下：标记了所用self的状态值，并格式化逐一显示。4.对清洗过数据判断，下表为列出的几个重要性能参数的计算和判断方法，以及建议的阈值:以上内置参数，验证过程伪代码：5.本文档来自技高网...

【技术保护点】
1.一种自动化MYSQL性能采集分析方法，其特征在于，包括如下步骤：S1)连接数据库：预安装驱动包Mysql‑python，并对MYSQL数据库进行连接；S2)收集参数：通过对数据库查询，收集对应参数，存放于self.variables[cache]；S3)数据的存储：将采集后的数据保存于数据目录下，并对数据进行持久化处理；S4)数据清洗处理：包括检查数据一致性，处理无效值和缺失值；S5)采集频率监控：将采集数据定时写入到log日志文件；S6)建议值取值范围算法：在清洗超过阀值的数据后，选取建议值并反馈到客户端，建议值＝((VRATIO‑FLAG)*NOWVALUE+VALUE)；VRATIO为最大值和最小值之间的倍数，FLAG为配置文件的值，NOWVALUE为当前获取的值，VALUE为当前设置的值。

【技术特征摘要】
1.一种自动化MYSQL性能采集分析方法，其特征在于，包括如下步骤：S1)连接数据库：预安装驱动包Mysql-python，并对MYSQL数据库进行连接；S2)收集参数：通过对数据库查询，收集对应参数，存放于self.variables[cache]；S3)数据的存储：将采集后的数据保存于数据目录下，并对数据进行持久化处理；S4)数据清洗处理：包括检查数据一致性，处理无效值和缺失值；S5)采集频率监控：将采集数据定时写入到log日志文件；S6)建议值取值范围算法：在清洗超过阀值的数据后，选取建议值并反馈到客户端，建议值＝((VRATIO-FLAG)*NOWVALUE+VALUE)；VRATIO为最大值和最小值之间的倍数，FLAG为配置文件的值，NOWVALUE为当...

【专利技术属性】
技术研发人员：程永新，孙玉颖，
申请(专利权)人：上海新炬网络信息技术股份有限公司，
类型：发明
国别省市：上海,31