一种数据库性能数据采集方法和系统技术方案

本发明专利技术涉及一种数据库性能数据采集方法和系统，方法包括数据采集：从生产数据库中采集快照数据，存放至快照数据库；数据加工：获取并根据上一轮加工作业的运行延迟时间，确定各数据库的数据加工规则，根据数据加工规则的加工比例和加工间隔，从快照数据库中提取快照数据，计算差值，并存放至数据库性能分析数据仓库中；数据补偿：获取降级运行的加工作业信息，根据快照数据重新进行数据加工，生成补偿数据，并将数据库性能分析数据仓库中的对应数据替换为补偿数据，删除过期快照数据。与现有技术相比，本发明专利技术能够实现采集、加工两个环节中数据量及间隔频率的自适应控制，在优先保障关键数据不缺失的情况下，尽可能采集到更完整的性能数据。性能数据。性能数据。

【技术实现步骤摘要】
一种数据库性能数据采集方法和系统


[0001]本专利技术涉及数据采集
，尤其是涉及一种数据库性能数据采集方法和系统。

技术介绍

[0002]参考图1所示，现有技术的数据库性能数据采集方法，按照固定的采样频率和采样比例采集性能数据，并将性能数据存放至快照数据库中，再按照固定的加工频率，计算最近两个快照间的性能数据，计算差值，即得到该时段的增量值。
[0003]性能数据主要包括SQL语句的运行信息、执行计划运行信息等，数据量大且变化快，在业务高峰时经常因数据加工作业无法及时完成，导致后续的监控、分析数据滞后，影响关键时刻数据库问题的发现时效及处置时效，危及生产稳定。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种数据库性能数据采集方法和系统，该专利技术能够实现采集、加工两个环节中数据量及间隔频率的自适应控制，在优先保障关键数据不缺失的情况下，尽可能采集到更完整的性能数据，同时增加补偿机制，对于临时的数据缺失，进行滞后补全。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]根据本专利技术的第一个方面，本专利技术提供一种数据库性能数据采集方法，包括如下步骤：
[0007]数据采集：从生产数据库中采集快照数据，存放至快照数据库；
[0008]数据加工：获取并根据上一轮加工作业的运行延迟时间，确定各数据库的数据加工规则，根据数据加工规则的加工比例和加工间隔，从快照数据库中提取快照数据，计算差值，并存放至数据库性能分析数据仓库中；
[0009]数据补偿：获取降级运行的加工作业信息，根据快照数据重新进行数据加工，生成补偿数据，并将数据库性能分析数据仓库中的对应数据替换为补偿数据，删除过期快照数据。
[0010]优选地，在进行数据加工之前，确定各快照数据库的数据库星级、最高采集比例、最低采集比例、最大采集间隔、最低加工比例、最大加工间隔和补偿加工最大时限；
[0011]确定各快照数据库中数据量满足最高采集比例或最低采集比例的采集比例等级，根据采集比例等级确定该等级下执行时长的条件阈值，筛选执行时长大于该条件阈值的数据，作为待加工数据。
[0012]优选地，确定各数据库的数据加工规则的过程具体为：
[0013]获取上一轮加工作业的运行延迟时间，判断该延迟时间是否大于延迟阈值时间；
[0014]是，则进入本轮加工规则降级子流程，具体为：将各数据库的加工评分从低至高排序，分别进行数据库加工比例和加工间隔的降级，调整加工规则，当预估的延迟时间小于阈
值时间或所有数据库均已降至最低等级时，完成本轮加工规则降级，将降级后的加工规则作为本轮数据加工规则；
[0015]否则，进入本轮加工规则恢复子流程，具体为：将各数据库的加工评分从高至低排序，分别进行数据库加工比例等级和加工间隔等级的恢复，当预估的延迟时间大于阈值时间或所有数据库均已恢复至最高等级时，完成本轮加工规则等级恢复，将恢复后的加工规则作为本轮数据加工规则。
[0016]优选地，进行数据库加工比例降级的过程具体为：
[0017]取第一个加工比例等级未到最小的数据库进行降级，将该数据库的当前加工级别+1作为新等级，按该数据库的新等级需计算的数据量预估加工时长，当预估加工的延迟时间小于阈值时间时，完成当前数据库加工规则的调整，否则，继续对下一个可降级的数据库进行降级，直至完成本数据库星级的全部数据库加工比例等级的降级；
[0018]当当前数据库加工比例等级已经降至最低等级，则该数据库进行加工间隔降级，加工间隔降级的过程与加工比例降级的过程一致；
[0019]完成本数据库星级全部数据库的加工比例和加工间隔降级后，进行下一星级数据库的加工比例和加工间隔降级，顺序按照加工评分排序。
[0020]优选地，进行数据库加工比例等级恢复的过程具体为：
[0021]取第一个加工间隔等级未到最大的数据库进行加工间隔和加工比例等级的恢复，优先恢复加工间隔等级，将发生降级的数据库的当前级别
‑
1作为新级别，按该数据库的新等级预估加工时长，当预估加工的延迟时间小于阈值时间时，完成当前数加工规则的调整，否则，继续恢复下一个可恢复的数据库，直至完成全部数据库加工间隔和加工比例等级的恢复。
[0022]优选地，描述各数据库的加工评分的公式为：
[0023]数据库的加工评分＝|(最大加工间隔对应等级
–
当前加工间隔对应等级)|*102+|(最高加工比例对应等级
–
当前加工比例对应等级)|。
[0024]优选地，数据库加工比例降级过程中的延迟时间阈值大于数据库加工比例等级恢复过程中的延迟时间阈值。
[0025]优选地，数据采集的过程中，获取并根据生产数据库负载和快照数据库空间信息，确定各数据库的数据采集规则，根据数据采集规则的采集比例和采集间隔，从生产数据库中采集快照数据，存放至快照数据库。
[0026]根据本专利技术的第二个方面，本专利技术提供一种应用如上任一所述的数据库性能数据采集方法的数据采集系统，其特征在于，包括：
[0027]监控层：用以进行生产数据库性能数据分布、生产数据库负载、快照数据库空间信息和作业运行信息的监控及记录；
[0028]调度管理层：用以生成各数据库的数据加工规则，与所述数据加工层和所述监控层连接；
[0029]数据加工层：用以从所述数据存储层中进行数据采集、数据加工和数据补偿，根据数据加工规则进行数据加工；
[0030]数据存储层：用以存储监控、采集和加工数据，与所述监控层和所述数据加工层连接。
[0031]优选地，所述数据存储层包括生产数据库、快照数据库、作业监控数据库和数据库性能分析数据仓库，所述快照数据库用以存储从所述生产数据库中采集后的数据，所述作业监控数据库用以存储所述监控层监控和记录的数据，所述数据库性能分析数据仓库用以存储从所述快照数据库中加工后的数据。
[0032]与现有技术相比，本专利技术具有以如下有益效果：
[0033](1)本专利技术提供的一种数据库性能数据采集方法和系统，通过根据数据加工过程中的作业延迟情况，动态降低或恢复数据的加工频率和加工数据比例，同时设置补偿机制，对于临时的数据缺失，进行滞后补全，解决了现有技术中因按照固定的采样频率和采样比例采集性能数据而导致的在业务高峰时经常因数据加工作业无法及时完成，危及生产稳定的问题。
[0034](2)本专利技术提供的一种数据库性能数据采集方法和系统，根据生产数据库负载和快照数据库空间信息，动态降低或恢复数据的采集频率和采集数据比例，避免了生产数据库负载或快照数据库空间超负荷存储的情况。
附图说明
[0035]图1为现有技术的数据库性能数据采集方法的流程示意图。
[0036]图2为本实施例提供的一种数据库性能数据采集方法的流程示意图。
[0037]图3为图2所示实施例中确定各数据库的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库性能数据采集方法，其特征在于，包括如下步骤：数据采集：从生产数据库中采集快照数据，存放至快照数据库；数据加工：获取并根据上一轮加工作业的运行延迟时间，确定各数据库的数据加工规则，根据数据加工规则的加工比例和加工间隔，从快照数据库中提取快照数据，计算差值，并存放至数据库性能分析数据仓库中；数据补偿：获取降级运行的加工作业信息，根据快照数据重新进行数据加工，生成补偿数据，并将数据库性能分析数据仓库中的对应数据替换为补偿数据，删除过期快照数据。2.根据权利要求1所述的一种数据库性能数据采集方法，其特征在于，在进行数据加工之前，确定各快照数据库的数据库星级、最高采集比例、最低采集比例、最大采集间隔、最低加工比例、最大加工间隔和补偿加工最大时限；确定各快照数据库中数据量满足最高采集比例或最低采集比例的采集比例等级，根据采集比例等级确定该等级下执行时长的条件阈值，筛选执行时长大于该条件阈值的数据，作为待加工数据。3.根据权利要求2所述的一种数据库性能数据采集方法，其特征在于，确定各数据库的数据加工规则的过程具体为：获取上一轮加工作业的运行延迟时间，判断该延迟时间是否大于延迟阈值时间；是，则进入本轮加工规则降级子流程，具体为：将各数据库的加工评分从低至高排序，分别进行数据库加工比例和加工间隔的降级，调整加工规则，当预估的延迟时间小于阈值时间或所有数据库均已降至最低等级时，完成本轮加工规则降级，将降级后的加工规则作为本轮数据加工规则；否则，进入本轮加工规则恢复子流程，具体为：将各数据库的加工评分从高至低排序，分别进行数据库加工比例等级和加工间隔等级的恢复，当预估的延迟时间大于阈值时间或所有数据库均已恢复至最高等级时，完成本轮加工规则等级恢复，将恢复后的加工规则作为本轮数据加工规则。4.根据权利要求3所述的一种数据库性能数据采集方法，其特征在于，进行数据库加工比例降级的过程具体为：取第一个加工比例等级未到最小的数据库进行降级，将该数据库的当前加工级别+1作为新等级，按该数据库的新等级需计算的数据量预估加工时长，当预估加工的延迟时间小于阈值时间时，完成当前数据库加工规则的调整，否则，继续对下一个可降级的数据库进行降级，直至完成本数据库星级的全部数据库加工比例等级的降级；当当前数据库加工比例等级已经降至最低等级，则该数据库进行加工间隔降级，加工间隔降级的过程与加工比例降级的过程一致；完成本...

【专利技术属性】
技术研发人员：沈信禕，卢强，钱程，施睿，陈天鑫，邢迎新，王珂，王晶，黄伟兰，
申请(专利权)人：中国人寿保险股份有限公司上海数据中心，
类型：发明
国别省市：