一种面向工业大数据的异构数据库的监控系统及监控方法技术方案

本发明专利技术提出了一种面向工业大数据的异构数据库的监控系统及监控方法，包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信。本发明专利技术使用可视化的交互模式结合学习成本较低的数据解析格式，可以让管理者自行快速地接入新的数据源，降低了系统二次开发的次数，提高了线上信息的实用性和稳定性。 1

A monitoring system and monitoring method for heterogeneous databases based on industrial big data

This invention puts forward a monitoring system and monitoring method of heterogeneous database oriented to large industrial data, including heterogeneous database system, middleware server and Web monitoring platform. The heterogeneous database system and the middleware server communicate with each other. The middleware server is monitored by the database and the Web. Platform mutual data communication. The invention uses the visual interactive mode to combine the data analysis format with low learning cost, which allows the manager to quickly access the new data source, reduces the number of two times of the system development, and improves the practicality and stability of the online information. One

【技术实现步骤摘要】
一种面向工业大数据的异构数据库的监控系统及监控方法
本专利技术属于计算机软件
，特别是涉及一种面向工业大数据的异构数据库的监控系统及监控方法。
技术介绍
随着工业化和信息化的不断发展，工业领域的数据积累到一定数量级，超出了传统技术的处理能力，就需要借助大数据技术来提升处理能力和效率，因此工业大数据为工业领域的海量数据提供了技术和管理支撑。工业大数据的主要来源包括生产经营相关的业务数据、设备物联数据和外部互联网数据，因此就产生多种相互隔离的异构数据库(时序数据库，图数据库、关系型数据库和非结构化数据库等)。由于异构数据库的数据结构和数据库管理系统各不相同，造成了工业大数据下异构数据库难以通过一种的监控系统进行监控。现有的数据库监控系统有很多，例如MySQLMTOP、Lepus、RedisLive等，每种监控系统在其所在专注的领域内，还是比较受欢迎的。MySQLMTOP是针对MySQL的监控工具，具有专一性；Lepus能对MySQL、Oracle、Mongodb和Redis数据库进行监控，但是Lepus扩展性差，难以添加对其他数据类型数据库的监控；RedisLive是针对Redis的监控系统，也具有专一性。为了更好的解决工业大数据下异构数据存储和业务处理问题，当下也有不少的机构和高校自行开发高性能、高并发的数据库，这类自行开发的数据库也是需要监控系统。总之，目前存在的监控系统具有对某种或者几种特定的数据库进行监控，可扩展性差，缺少对多种异构数据库的监控系统。
技术实现思路
本专利技术为了解决现有的技术问题，提出一种面向工业大数据的异构数据库的监控系统及监控方法。本专利技术的目的通过以下技术方案实现：一种面向工业大数据的异构数据库的监控系统，包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器。进一步地，所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件。进一步地，所述消息中间件用于接收各个数据库提供的指标信息；所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；所述路由策略模块用于根据用户自定的策略决定指标数据的去向；所述第一持久化模块用于对指标数据进行存储。进一步地，所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；所述数据库注册器用于当用户在可视化图形用户界面中添加提供REST接口的数据库时，数据库注册器验证数据库信息是否完整以及数据是否解析成功，并将验证后的信息进行存储；所述定时任务模块用于周期性地对提供REST接口的数据库的数据进行主动抓取；所述第二持久化模块用于将主动抓取的数据进行存储。进一步地，所述指标信息包括指标分类信息、指标间隔和指标数值类型。本专利技术还提出一种面向工业大数据的异构数据库的监控系统的监控方法，包括以下步骤：步骤1、开始监控异构数据库；步骤2、判断每一个新加入到异构数据库系统中的数据库是否已经注册，如果已经注册，则继续步骤3；如有没有注册，则数据库发起注册，数据库将指标分类信息、指标间隔和指标数值类型发送到中间件服务器中的消息中间件，并将数据库注册信息进行存储，注册后继续步骤3；步骤3、获取数据库对应的设置信息；步骤4、按照消费策略定时获取消息队列中的指标数据；步骤5、判断数据获取是否成功，如果成功，则继续步骤6；如果不成功，则检查心跳信息，判断心跳是否超时，如果心跳超时则监控结束，如果心跳不超时则返回步骤4；步骤6、按照指标处理策略对数据进行处理；步骤7、按照路由策略将数据路由到不同的数据库；步骤8、将指标信息进行存储；步骤9、重复步骤4至步骤8，从而完成各个数据库的监控。附图说明图1为面向工业大数据的异构数据库的监控系统框图；图2为面向工业大数据的异构数据库的监控方法流程图；图3为生成监控视图流程图。具体实施方式下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。结合图1，本专利技术提出一种面向工业大数据的异构数据库的监控系统，监控系统通过异构数据库的主动推送数据和基于REST数据接口拉取数据二者结合的方式来实现，所述监控系统包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器。所述异构数据库系统是我们需要监控的目标，包含多个节点，每个节点上可能包含若干数据库实例，主要适配自行开发的异构数据库或者开放REST接口的数据库。所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件。所述消息中间件用于接收各个数据库提供的指标信息；所述指标信息包括指标分类信息、指标间隔和指标数值类型。所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；所述路由策略模块用于根据用户自定的策略决定指标数据的去向；所述第一持久化模块用于对指标数据进行存储。所述Web监控平台负责与运维人员的交互。所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；所述数据库注册器用于当用户在可视化图形用户界面中添加提供REST接口的数据库时，数据库注册器验证数据库信息是否完整以及数据是否解析成功，并将验证后的信息进行存储；所述定时任务模块用于周期性地对提供REST接口的数据库的数据进行主动抓取；所述第二持久化模块用于将主动抓取的数据进行存储。结合图2，本专利技术还提出一种面向工业大数据的异构数据库的监控系统的监控方法，包括以下步骤：步骤1、开始监控异构数据库；步骤2、判断每一个新加入到异构数据库系统中的数据库是否已经注册，如果已经注册，则继续步骤3；如有没有注册，则数据库发起注册，数据库将指标分类信息、指标间隔和指标数值类型发送到中间件服务器中的消息中间件，并将数据库注册信息进行存储，注册后继续步骤3；步骤3、获取数据库对应的设置信息；步骤4、按照消费策略定时获取消息队列中的指标数据；步骤5、判断数据获取是否成功，如果成功，则继续步骤6；如果不成功，则检查心跳信息，判断心跳是否超时本文档来自技高网...

【技术保护点】
1.一种面向工业大数据的异构数据库的监控系统，其特征在于：包括异构数据库系统、

【技术特征摘要】
1.一种面向工业大数据的异构数据库的监控系统，其特征在于：包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信；所述异构数据库系统包括若干个数据库和REST数据接口；所述中间件服务器包括消息中间件、监控与消费策略模块、路由策略模块和第一持久化模块；所述Web监控平台包括可视化图形用户界面、第二持久化模块、定时任务模块和数据库注册器。2.根据权利要求1所述的系统，其特征在于：所述若干个数据库包括关系型数据库、图数据库、时间序列数据库和非结构化数据库；每一个新加入到异构数据库系统中的数据库均需要进行数据库注册；异构数据库系统将各个数据库提供的指标信息主动推送到中间件服务器中的消息中间件。3.根据权利要求2所述的系统，其特征在于：所述消息中间件用于接收各个数据库提供的指标信息；所述监控与消费策略模块用于根据数据库注册时提供的信息来进行指标数据的消费；所述路由策略模块用于根据用户自定的策略决定指标数据的去向；所述第一持久化模块用于对指标数据进行存储。4.根据权利要求3所述的系统，其特征在于：所述可视化图形用户界面用于实时监控并显示各个数据库的指标信息和变化趋势；所述数据库注册器用于当用户在可视化图形用户界面中...

【专利技术属性】
技术研发人员：石胜飞，高宏，王宏志，刘游，李克果，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23