数据库性能监控方法、系统、设备及计算机可读存储介质技术方案

本发明专利技术实施例提供了一种数据库性能监控方法、系统、计算机设备及计算机可读存储介质，其中，该方法包括：实时采集数据库的日志数据和所述数据库所在服务器的硬件信息；将所述日志数据和所述硬件信息实时输入预警监测模型，所述预警监测模型输出所述数据库的预警监测结果，其中，所述预警监测模型是采用所述数据库的历史日志数据和所述数据库所在服务器的历史硬件信息作为输入数据训练得到的。该方案实现了结合数据库的日志数据和服务器的硬件信息来监测数据库的状态，有利于避免基于单一因素监控数据库导致的虚警率高的问题，有利于更准确的监控数据库的状态，降低虚警率。

Database performance monitoring method, system, device and computer readable storage medium

The embodiment of the invention provides a database performance monitoring method, system, computer equipment and computer readable storage medium, wherein the method comprises: collecting the log data of the database in real time and hardware information of the server where the database is located; and inputting the log data and the hardware information into the early warning monitoring in real time. The early warning monitoring model outputs the early warning monitoring results of the database, wherein the early warning monitoring model is trained with the historical log data of the database and the historical hardware information of the server where the database is located as input data. The scheme realizes monitoring the state of the database by combining the log data of the database and the hardware information of the server. It is helpful to avoid the problem of high false alarm rate caused by monitoring the database based on a single factor. It is also helpful to monitor the state of the database more accurately and reduce the false alarm rate.

【技术实现步骤摘要】
数据库性能监控方法、系统、设备及计算机可读存储介质
本专利技术涉及数据库
，特别涉及一种数据库性能监控方法、系统、设备及计算机可读存储介质。
技术介绍
目前数据库监控主要是在出现问题之后进行警报，根据简单的判断规则，对数据库的几个运行参数进行判断报警，因为是硬性的判断规则，往往会产生误报，增加运维成本。目前使用的数据库监控软件有Qmonintor，Qmonintor是一款针对Oracle和MySQL的专业数据库监控平台软件。根据用户设置及时有效地将数据库的异常进行报警，方便用户查看各种实时状态曲线指标，并且对监控、性能数据进行统计分析，从运维者到决策者多个层面的视角生成相关报表。但是，该软件只是对数据库的各项参数进行展示和简单的判断，报警规则过于单一，然而数据库出现性能问题往往不是一个因素造成的，而是由多种因素或者多种因素相互作用造成的，有可能某个指标的增加是因为其他因素造成的。因此，观测单一因素并不能真实反映数据库的性能状况。例如，案例数据中的数据库报警邮件报警产生的原因就是耗时过长(22s)。目前使用的数据库监控工具还有SpotlightonOracle，SpotlightonOracle是业内比较主流的工具，在监控预警方面备受欢迎。Spotlightonoracle是通过获得操作系统自带的计数器数据，然后通过图形工具图形化。采用客户端、服务端监控的方式均可。既可以在客户端安装，由可以在服务端安装。但SpotlightonOracle不支持AWR日志数据，AWR是Oracle10g之后新提供的自动收集数据库统计数据的内置工具，它是oracle数据库整体运行状况的全面展示，可以为数据库性能调优和故障诊断提供有力的帮助。通过上述现有的传统工具监控数据库，每天触发很多警报，其中大多数是虚警情况，虚警率太高，使得增加了很多运维成本，消耗了大量运维资源。
技术实现思路
本专利技术实施例提供了一种数据库性能监控方法，以解决现有技术中数据库监控过程中虚警率高的技术问题。该方法包括：实时采集数据库的日志数据和所述数据库所在服务器的硬件信息；将所述日志数据和所述硬件信息实时输入预警监测模型，所述预警监测模型输出所述数据库的预警监测结果，其中，所述预警监测模型是采用所述数据库的历史日志数据和所述数据库所在服务器的历史硬件信息作为输入数据训练得到的。本专利技术实施例还提供了一种计算机设备，以解决现有技术中数据库监控过程中虚警率高的技术问题。该计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的数据库性能监控方法。本专利技术实施例还提供了一种计算机可读存储介质，以解决现有技术中数据库监控过程中虚警率高的技术问题。所述计算机可读存储介质存储有执行上述任意的数据库性能监控方法的计算机程序。本专利技术实施例还提供了一种数据库性能监控系统，以解决现有技术中数据库监控过程中虚警率高的技术问题。该系统包括：数据采集装置，用于实时采集数据库的日志数据和所述数据库所在服务器的硬件信息；监测装置，用于将所述日志数据和所述硬件信息实时输入预警监测模型，所述预警监测模型输出所述数据库的预警监测结果，其中，所述预警监测模型是采用所述数据库的历史日志数据和所述数据库所在服务器的历史硬件信息作为输入数据训练得到的。在本专利技术实施例中，实时将数据库的日志数据和数据库所在的服务器的硬件信息输入预警监测模型，预警监测模型实时输出数据库的预警监测结果。实现了结合数据库的日志数据和服务器的硬件信息来监测数据库的性能状态，有利于避免基于单一因素监控数据库导致的虚警率高的问题，有利于更准确的监控数据库的性能状态，降低虚警率。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。在附图中：图1是本专利技术实施例提供的一种数据库性能监控方法的流程图；图2是本专利技术实施例提供的一种数据库报警原理示意图；图3是本专利技术实施例提供的一种获取预警监测模型的方案示意图；图4是本专利技术实施例提供的一种数据采集的流程示意图；图5是本专利技术实施例提供的一种训练预警监测模型的流程示意图；图6是本专利技术实施例提供的一种预警监测模型输出数据示意图；图7是本专利技术实施例提供的一种应用预警监测模型监控数据库的流程示意图；图8是本专利技术实施例提供的一种数据库性能监控系统的结构框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本专利技术做进一步详细说明。在此，本专利技术的示意性实施方式及其说明用于解释本专利技术，但并不作为对本专利技术的限定。在本专利技术实施例中，提供了一种数据库性能监控方法，如图1所示，该方法包括：步骤101：实时采集数据库的日志数据和所述数据库所在服务器的硬件信息；步骤102：将所述日志数据和所述硬件信息实时输入预警监测模型，所述预警监测模型输出所述数据库的预警监测结果，其中，所述预警监测模型是采用所述数据库的历史日志数据和所述数据库所在的服务器的历史硬件信息作为输入数据训练得到的。由图1所示的流程可知，在本专利技术实施例中，实时将数据库的日志数据和数据库所在的服务器的硬件信息输入预警监测模型，预警监测模型实时输出数据库的预警监测结果。实现了结合数据库的日志数据和服务器的硬件信息来监测数据库的状态，有利于避免基于单一因素监控数据库导致的虚警率高的问题，有利于更准确的监控数据库的性能状态，降低虚警率。具体实施时，如图2所示，上述数据库以彩票业务数据库为例，通过以下步骤来监控数据库的报警：采集数据库系统数百的性能变量状态快照；通过数据库性能变量的状态，结合设定的预警监测模型，来判断数据库性能变量中的相关指标是否达到报警条件，如果达到，则发送报警邮件；否则，忽略。对此，本申请专利技术人发现，要想准确的对数据库进行预警，首先，需要确定采用哪些数据作为预警因素。(1)业务数据库系统监测报警主要是针对于SQL语句实时监控，局限于对于性能视图的简单查询，例如，单位采样时间内对数据库的整体SQL语句进行轮询监控，主要是基于数据库提供的动态性能变量中的CPU耗时、语句整体耗时、逻辑读次数、物理读次数、解析调用次数、IO等待时间、应用等待时间、集群等待时间、PLSQL执行时间等指标占整体SQL消耗资源的比值设定相关阈值，并对查询结果进行排序，选取前几条超出阈值的SQL语句进行报警。AWR(自动工作负载信息库)主要包含两个部分：在内存中，通过读取动态性能视图和数据字典里的数据，收集数据库工作负载的相关信息，这些信息包括数据库的基本统计信息、衡量数据库活动的各个指标值、ASH(活动会话记录)、顾问建议、快照信息；每隔一段时间，通过MMON(管理监视器)的后台进程，将内存里的数据写入到磁盘上的表空间。AWR包含了数百个表，这些表均为sysman用户所有，并存放在sysaux表空间中。自动工作负载信息库(AWR)是ORACLE自动化管理的一个重要组成部分，通过AWR生成的数据库快照报表提供了丰富的数据库运行状况信息，DBA(数据库管理员)可以通过分析AWR报表来了解数据库的性能瓶颈和可能存在的问题，及时作出调整，保障数据库平稳、高效地运行。本申请专利技术人对AWR日志数据进行了认真的分析，从中提取出389个本文档来自技高网...

【技术保护点】
1.一种数据库性能监控方法，其特征在于，包括：实时采集数据库的日志数据和所述数据库所在服务器的硬件信息；将所述日志数据和所述硬件信息实时输入预警监测模型，所述预警监测模型输出所述数据库的预警监测结果，其中，所述预警监测模型是采用所述数据库的历史日志数据和所述数据库所在服务器的历史硬件信息作为输入数据训练得到的。

【技术特征摘要】
1.一种数据库性能监控方法，其特征在于，包括：实时采集数据库的日志数据和所述数据库所在服务器的硬件信息；将所述日志数据和所述硬件信息实时输入预警监测模型，所述预警监测模型输出所述数据库的预警监测结果，其中，所述预警监测模型是采用所述数据库的历史日志数据和所述数据库所在服务器的历史硬件信息作为输入数据训练得到的。2.如权利要求1所述的数据库性能监控方法，其特征在于，采用所述数据库的历史日志数据和所述数据库所在服务器的历史硬件信息作为输入数据训练所述预警监测模型，包括：将所述数据库的历史日志数据和所述数据库所在服务器的历史硬件信息作为所述预警监测模型的输入数据；将预设时长内的所述历史日志数据和所述历史硬件信息对应的预警信息标记出为对应的预警级别，其中，所述预警信息是所述历史日志数据和所述历史硬件信息超过预设阈值时得到的；对所述预警级别设置权重值，所述预警级别与权重值相乘得到预警分数；将预警监测结果作为所述预警监测模型的输出数据，其中，所述预警监测结果包括所述预警分数和健康监测状态，不同区间段的预警分数对应不同的健康监测状态。3.如权利要求1所述的数据库性能监控方法，其特征在于，还包括：实时判断当前的所述预警监测模型对于所述数据库是否是最优预警监测模型，其中，所述最优预警监测模型是指预警准确度达到预设值的预警监测模型；若不是，则在模型库中选择所述数据库的最优预警监测模型来监测所述数据库，其中，所述模型库中包括多个预警监测模型。4.如权利要求1至3中任一项所述的数据库性能监控方法，其特征在于，所述日志数据包括磁盘I/O、用户响应时间、内存使用情况、数据库命中率以及吞吐量；所述硬件信息包括检测时间点和检测时间点内的硬件参数值。5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1...

【专利技术属性】
技术研发人员：章小文，罗春水，强华盛，沈滨，王彤，
申请(专利权)人：中体彩科技发展有限公司，
类型：发明
国别省市：北京,11