一种数据库性能数据采集方法和系统技术方案

本发明专利技术涉及一种数据库性能数据采集方法和系统，方法包括数据采集：从生产数据库中采集快照数据，存放至快照数据库；数据加工：获取并根据上一轮加工作业的运行延迟时间，确定各数据库的数据加工规则，根据数据加工规则的加工比例和加工间隔，从快照数据库中提取快照数据，计算差值，并存放至数据库性能分析数据仓库中；数据补偿：获取降级运行的加工作业信息，根据快照数据重新进行数据加工，生成补偿数据，并将数据库性能分析数据仓库中的对应数据替换为补偿数据，删除过期快照数据。与现有技术相比，本发明专利技术能够实现采集、加工两个环节中数据量及间隔频率的自适应控制，在优先保障关键数据不缺失的情况下，尽可能采集到更完整的性能数据。性能数据。性能数据。

【技术实现步骤摘要】
一种数据库性能数据采集方法和系统


[0001]本专利技术涉及数据采集
，尤其是涉及一种数据库性能数据采集方法和系统。

技术介绍

[0002]参考图1所示，现有技术的数据库性能数据采集方法，按照固定的采样频率和采样比例采集性能数据，并将性能数据存放至快照数据库中，再按照固定的加工频率，计算最近两个快照间的性能数据，计算差值，即得到该时段的增量值。
[0003]性能数据主要包括SQL语句的运行信息、执行计划运行信息等，数据量大且变化快，在业务高峰时经常因数据加工作业无法及时完成，导致后续的监控、分析数据滞后，影响关键时刻数据库问题的发现时效及处置时效，危及生产稳定。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种数据库性能数据采集方法和系统，该专利技术能够实现采集、加工两个环节中数据量及间隔频率的自适应控制，在优先保障关键数据不缺失的情况下，尽可能采集到更完整的性能数据，同时增加补偿机制，对于临时的数据缺失，进行滞后补全。
[0005]本专利技术的目的可以通过以下技术方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库性能数据采集方法，其特征在于，包括如下步骤：数据采集：从生产数据库中采集快照数据，存放至快照数据库；数据加工：获取并根据上一轮加工作业的运行延迟时间，确定各数据库的数据加工规则，根据数据加工规则的加工比例和加工间隔，从快照数据库中提取快照数据，计算差值，并存放至数据库性能分析数据仓库中；数据补偿：获取降级运行的加工作业信息，根据快照数据重新进行数据加工，生成补偿数据，并将数据库性能分析数据仓库中的对应数据替换为补偿数据，删除过期快照数据。2.根据权利要求1所述的一种数据库性能数据采集方法，其特征在于，在进行数据加工之前，确定各快照数据库的数据库星级、最高采集比例、最低采集比例、最大采集间隔、最低加工比例、最大加工间隔和补偿加工最大时限；确定各快照数据库中数据量满足最高采集比例或最低采集比例的采集比例等级，根据采集比例等级确定该等级下执行时长的条件阈值，筛选执行时长大于该条件阈值的数据，作为待加工数据。3.根据权利要求2所述的一种数据库性能数据采集方法，其特征在于，确定各数据库的数据加工规则的过程具体为：获取上一轮加工作业的运行延迟时间，判断该延迟时间是否大于延迟阈值时间；是，则进入本轮加工规则降级子流程，具体为：将各数据库的加工评分从低至高排序，分别进行数据库加工比例和加工间隔的降级，调整加工规则，当预估的延迟时间小于阈值时间或所有数据库均已降至最低等级时，完成本轮加工规则降级，将降级后的加工规则作为本轮数据加工规则；否则，进入本轮加工规则恢复子流程，具体为：将各数据库的加工评分从高至低排序，分别进行数据库加工比例等级和加工间隔等级的恢复，当预估的延迟时间大于阈值时间或所有数据库均已恢复至最高等级时，完成本轮加工规则等级恢复，将恢复后的加工规则作为本轮数据加工规则。4.根据权利要求3所述的一种数据库性能数据采集方法，其特征在于，进行数据库加工比例降级的过程具体为：取第一个加工比例等级未到最小的数据库进行降级，将该数据库的当前加工级别+1作为新等级，按该数据库的新等级需计算的数据量预估加工时长，当预估加工的延迟时间小于阈值时间时，完成当前数据库加工规则的调整，否则，继续对下一个可降级的数据库进行降级，直至完成本数据库星级的全部数据库加工比例等级的降级；当当前数据库加工比例等级已经降至最低等级，则该数据库进行加工间隔降级，加工间隔降级的过程与加工比例降级的过程一致；完成本...

【专利技术属性】
技术研发人员：沈信禕，卢强，钱程，施睿，陈天鑫，邢迎新，王珂，王晶，黄伟兰，
申请(专利权)人：中国人寿保险股份有限公司上海数据中心，
类型：发明
国别省市：