一种监控数据实时上推方法及系统技术方案

一种监控数据实时上推方法，包括：(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；(3)根据数据库的配置抽取出需要上推到监控平台的数据；(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；(5)监控客户端将接收到的数据输入到监控系统中。还有一种监控数据实时上推系统。

【技术实现步骤摘要】

本专利技术涉及数据监控的
，尤其涉及一种监控数据实时上推方法，以及监控数据实时上推系统。
技术介绍
在数据监控方面，目前一般是通过应用程序将监控数据实时上推到监控系统的客户端，或者转发给专门的服务负责集中上推。但是，存在如下缺陷：1、每个应用程序都要实现繁琐和死板的发送格式化监控数据的模块。2、应用程序需要保存原始的历史数据，因为监控系统保存的数据是格式化之后的，不便于检索。
技术实现思路
为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种监控数据实时上推方法，其省略各应用程序监控数据上推代码块，监控数据格式的配置更加灵活，实现了数据格式的集中化配置和数据的集中化上推，保证了数据上推的实时性。本专利技术的技术方案是：这种监控数据实时上推方法，该方法包括以下步骤：(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；(3)根据数据库的配置抽取出需要上推到监控平台的数据；(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；(5)监控客户端将接收到的数据输入到监控系统中。本专利技术使用通用化监控数据格式配置表，省略每个应用程序的发送格式化监控数据代码模块，只需要在数据库中配置即可；应用程序只需要把监控数据保存到数据库即可，由专门的应用程序负责检查数据库的变化，读取到变化的数据，根据监控数据配置表进行格式化后发送到监控系统的数据接收端，实现集中化的监控数据格式化和监控数据上推。还提供了一种监控数据实时上推系统，该系统包括：数据库，其配置来检查输入的参数是否合法；数据库监控服务器，其配置来将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；数据库监控客户端，其配置来检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录，并将格式化的数据上推到监控客户端；日志配置，其配置来存放数据格式化配置，对数据格式化；监控客户端，其配置来将接收到的数据输入到监控系统中。附图说明图1所示为根据本专利技术的监控数据实时上推方法的流程图。图2所示为根据本专利技术的监控数据实时上推系统的示意图。具体实施方式如图1所示，这种监控数据实时上推方法，该方法包括以下步骤：(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；(3)根据数据库的配置抽取出需要上推到监控平台的数据；(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；(5)监控客户端将接收到的数据输入到监控系统中。本专利技术使用通用化监控数据格式配置表，省略每个应用程序的发送格式化监控数据代码模块，只需要在数据库中配置即可；应用程序只需要把监控数据保存到数据库即可，由专门的应用程序负责检查数据库的变化，读取到变化的数据，根据监控数据配置表进行格式化后发送到监控系统的数据接收端，实现集中化的监控数据格式化和监控数据上推。另外，所述数据库为mysql数据库，所述数据库监控服务器为开源的canal-server工具，所述日志配置存放在mysql数据库中一张表，所述数据库监控客户端为自定义的一个基于canal-client的应用程序，所述监控客户端为open-falcon系统自带的数据接收客户端。另外，所述步骤(3)中，数据格式化配置包括：数据库、表名称、字段。另外，所述日志配置按照open-falcon的监控数据上推格式要求设计。另外，所述数据库开启主从同步功能，并且采用binlog_format＝row。另外，所述被监控的应用程序的数据是数值。另外，一条数据库记录如果包含多个数值字段，产生多条格式化的监控数据。本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本专利技术的方法相对应的，本专利技术还同时包括一种监控数据实时上推系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统包括：数据库，其配置来检查输入的参数是否合法；数据库监控服务器，其配置来将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；数据库监控客户端，其配置来检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录，并将格式化的数据上推到监控客户端；日志配置，其配置来存放数据格式化配置，对数据格式化；监控客户端，其配置来将接收到的数据输入到监控系统中。如图2所示，本专利技术包括以下部分：1application：需要被监控的应用程序。2database(数据库)：应用程序需要将数据保存到数据库，便于保存历史记录和dbmonitorserver检查数据的变化。3dbmonitorserver(数据库监控服务器)：负责检查数据库的变化，当接收到来自dbmonitorclient服务的请求时，将返回修改或添加过的记录。4logconfig(日志配置)：存放数据格式化配置。包括数据库、表名称、字段和其他信息，便于dbmonitorclient查询。5dbmonitorclient(数据库监控客户端)：定期请求dbmonitorserver，获取到数据后，如果logconfig中有关于该数据的配置项，会对数据格式化，之后再上推到monitorclient。否则不做处理。6monitorclient(监控客户端)：监控系统的数据接收端，将接受到的数据输入到监控系统中去。本专利技术实现方案的具体过程如下：1、基础框架(Framework)mysql、open-falcon2、各模块结构(Modules)●application：应用程序。●database：mysql数据库。●dbmonitorserver：开源的canal-server工具。●logconfig：存放在mysql数据库中一张表。●dbmonitorclient：自己实现的一个基于canal-client的应用程序●monitorclient：open-falcon系统自带的数据接收客户端。3、约定和规范●监控数据格式的配置表需要按照open-falcon的监控数据上推格式要求设计●database需要开启主从同步功能，并且采用binlog_format＝row●被监控项只能是数值而不能是文本或者其他非数值格式●一条数据库记录如果包含多个数值字段，可以产生多条格式化监控数据4、格式化参数(Params)●输入(in)：√record：应用程序写入数据库的记录●输出(out)：√json格式化监控数据：dbmonitorclient的输出的监控数据格式5、编码实现(Programs)●Coding：按照约定的格式和协议实现dbmonitorclien本文档来自技高网...

【技术保护点】
一种监控数据实时上推方法，其特征在于：该方法包括以下步骤：(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；(3)根据数据库的配置抽取出需要上推到监控平台的数据；(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；(5)监控客户端将接收到的数据输入到监控系统中。

【技术特征摘要】
1.一种监控数据实时上推方法，其特征在于：该方法包括以下步骤：(1)将被监控的应用程序的数据保存到数据库，以便保存历史记录和数据库监控服务器检查数据的变化；(2)数据库监控服务器检查数据库的变化，当接收到来自数据库监控客户端服务的请求时，将返回数据，数据包括修改或添加过的记录；(3)根据数据库的配置抽取出需要上推到监控平台的数据；(4)日志配置对数据格式化，之后数据库监控客户端再上推到监控客户端；(5)监控客户端将接收到的数据输入到监控系统中。2.根据权利要求1所述的监控数据实时上推方法，其特征在于：所述数据库为mysql数据库，所述数据库监控服务器为开源的canal-server工具，所述日志配置存放在mysql数据库中一张表，所述数据库监控客户端为自定义的一个基于canal-client的应用程序，所述监控客户端为open-falcon系统自带的数据接收客户端。3.根据权利要求2所述的监控数据实时上推方法，其特征在于：所述步骤(3)中，数据格式化配置包括：数据库、表名称、字段。4.根据权利要求3所述...

【专利技术属性】
技术研发人员：冯森林，温宗臣，张翼，何良均，范卫卫，
申请(专利权)人：北京集奥聚合科技有限公司，
类型：发明
国别省市：北京;11