一种基于主从同步的数据流状态监控告警系统技术方案

本发明专利技术公开了一种基于主从同步的数据流状态监控告警系统，属于数据治理领域，系统连接至少一个数据源和至少一个用户端；包括：归集数据库包括多个目标数据库，分别用于存储数据源的日志数据；目标数据监控表包括各数据源对应的监控信息；服务端包括：客户端，用于采用主从同步的方式读取日志数据并写入消息队列，消费模块，用于当消息队列发生变更时，更新目标数据监控表；告警模块，用于判断是否更新异常，于更新异常时输出推送信息；发送端，用于将推送信息发送至用户端。本发明专利技术的有益效果在于：通过主从同步获取数据，不会影响目标数据库的性能；可对接多个数据源；实时监控数据流的状态，减少数据治理过程的处理工作量。减少数据治理过程的处理工作量。减少数据治理过程的处理工作量。

【技术实现步骤摘要】
一种基于主从同步的数据流状态监控告警系统


[0001]本专利技术涉及数据治理领域，尤其涉及一种基于主从同步的数据流状态监控告警系统。

技术介绍

[0002]随着用户数量以及数据量迸发式的增长，监控系统作为整个运维环节，乃至整个产品生命周期中最重要的一环，起着非常重要的作用。监控系统可以对服务器、操作系统、中间件、应用进行全面的监控及报警，可以在事前及时预警发现故障，事后提供翔实的数据用于追查定位问题。
[0003]然而，在信息大爆炸时代下的今天，运维人员每天都要处理成千上万的告警信息，这些告警信息冗杂且繁复，单一的监控系统已无法满足当下运维的需求。面对各种运维事件的告警，运维人员无法及时了解哪些告警信息才是最关键的、哪些告警信息是重复可替代的、哪些告警信息又是可以忽略且清除掉的，运维人员可能会耽误大量的时间和精力在错综复杂的无效告警的处理上，从而错失真正需要关注的告警信息，造成漏检、错检，告警处理效率较低，进而影响线上业务的直接使用，导致客户流失；并且现有的监控方式在，数据监控需要遍历查找最大更新时间，该操作会消耗目标数据库性能，因此针对以上问题，迫切需要设计出一种基于主从同步的数据流状态监控告警系统，以满足实际使用的需要。

技术实现思路

[0004]为了解决以上技术问题，本专利技术提供了一种基于主从同步的数据流状态监控告警系统。
[0005]本专利技术所解决的技术问题可以采用以下技术方案实现：
[0006]本专利技术提供一种基于主从同步的数据流状态监控告警系统，所述系统连接至少一个数据源和至少一个用户端；
[0007]所述系统具体包括：
[0008]一归集数据库，所述归集数据库包括多个目标数据库，每一所述目标数据库分别用于存储一所述数据源的日志数据；
[0009]一目标数据监控表，所述目标数据监控表包括需要监控的各所述数据源对应的监控信息；
[0010]一服务端，分别连接所述归集数据库和所述目标数据监控表，所述服务端包括：
[0011]一客户端，用于采用主从同步的方式从所述目标数据库中读取日志数据，并将所述日志数据写入一消息队列中，
[0012]一消费模块，连接所述客户端，用于实时监控所述客户端，当所述消息队列中的消息内容发生变更时，根据所述消息内容更新所述目标数据监控表的所述监控信息；
[0013]一告警模块，连接所述消费模块，用于轮询所述目标数据监控表，根据更新后的所述目标数据监控表判断各所述数据源是否更新异常，并于更新异常时输出一推送信息；
[0014]一发送端，连接所述服务端，用于接收所述推送信息，并将所述推送信息发送至所述数据源对应的所述用户端。
[0015]优选地，所述监控信息包括数据源ID和/或数据流名称和/或目标数据库所在地址和/或数据库名称和/或数据库表和/或更新间隔和/或最后处理时间和/或告警对象。
[0016]优选地，所述消息队列中的消息内容包括数据库名称和/或数据库表和/或当前时间戳和/处理类型。
[0017]优选地，所述消息队列的主题为所述目标数据库对应的数据库地址。
[0018]优选地，所述消费模块包括：
[0019]一第一判断单元，用于判断所述消息内容的处理类型；
[0020]一更新单元，连接所述第一判断单元，用于当所述处理类型为插入操作或更新操作时，将所述目标数据监控表中对应所述数据源的最后处理时间更新为所述当前时间戳。
[0021]优选地，所述告警模块包括：
[0022]一计算单元，用于计算所述当前时间戳和上一次处理时间的时间差；
[0023]一第二判断单元，连接所述计算单元，用于当所述时间差超过所述数据源的更新间隔的预设倍数时，所述数据源的更新异常。
[0024]优选地，还包括：
[0025]一创建模块，用于供所述数据源在所述归集数据库中创建一同步账号；
[0026]一权限配置模块，连接所述创建模块，用于为每一新创建的所述数据源的同步账号授予相应的所述目标数据库使用权限。
[0027]优选地，还包括：
[0028]一告警管理模块，连接所述告警模块，用于管理所述目标数据监控表，以及所述目标数据监控表中的每一所述数据源对应的告警媒介、需监控项；
[0029]所述告警媒介包括用户端推送和/或短信推送。
[0030]优选地，所述客户端包括：
[0031]一报表生成模块，用于按照一预设周期获取所述数据源的日志数据生成一报表，并将所述报表写入对应所述数据源的所述消息队列中；
[0032]所述发送端根据所述消息队列的状态，将所述消息队列中的消息内容发送至所述用户端。
[0033]优选地，所述用户端包括微信小程序和/或微信公众号和/或轻应用。
[0034]本专利技术的有益效果在于：
[0035]本专利技术通过主从同步的方式获取数据，以触发更新目标数据监控表，不会影响目标数据库的性能；可以对接多个数据源，并且只需要新增用户，即可直接对接现有的数据源，无需做任何改造；在数据治理过程中，实时监控数据流的状态，不需要对目标数据监控表新增任何字段，不限制数据归集的形式，减少数据治理过程中的处理工作量；只针对目标结果、数据是否入库作判定，提高多方合作数据治理过程中的责任边界问题。
附图说明
[0036]图1为本专利技术中，一种基于主从同步的数据流状态监控告警系统的结构框图；
[0037]图2为本专利技术中，消费模块具体实施例的结构框图；
[0038]图3为本专利技术中，告警模块具体实施例的结构框图；
[0039]图4为本专利技术中，监控告警系统具体实施例的结构框图。
具体实施方式
[0040]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0042]下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。
[0043]本专利技术提供一种基于主从同步的数据流状态监控告警系统，属于数据治理领域，如图1所示，系统连接至少一个数据源01和至少一个用户端02；
[0044]系统具体包括：
[0045]一归集数据库1，归集数据库1包括多个目标数据库，每一目标数据库分别用于存储一数据源01的日志数据；
[0046]一目标数据监控表2，目标数据监控表2包括需要监控的各数据源01对应的监控信息；
[0047]一服务端33，分别连接归集数据库1和目标数据监控表2，服务端3包括：
[0048]一客户端31，用于采用主从同步的方式从目标数据库中读取日志数据，并将日志数据写入一消息队列中，
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主从同步的数据流状态监控告警系统，其特征在于，所述系统连接至少一个数据源和至少一个用户端；所述系统具体包括：一归集数据库，所述归集数据库包括多个目标数据库，每一所述目标数据库分别用于存储一所述数据源的日志数据；一目标数据监控表，所述目标数据监控表包括需要监控的各所述数据源对应的监控信息；一服务端，分别连接所述归集数据库和所述目标数据监控表，所述服务端包括：一客户端，用于采用主从同步的方式从所述目标数据库中读取日志数据，并将所述日志数据写入一消息队列中，一消费模块，连接所述客户端，用于实时监控所述客户端，当所述消息队列中的消息内容发生变更时，根据所述消息内容更新所述目标数据监控表的所述监控信息；一告警模块，连接所述消费模块，用于轮询所述目标数据监控表，根据更新后的所述目标数据监控表判断各所述数据源是否更新异常，并于更新异常时输出一推送信息；一发送端，连接所述服务端，用于接收所述推送信息，并将所述推送信息发送至所述数据源对应的所述用户端。2.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述监控信息包括数据源ID和/或数据流名称和/或目标数据库所在地址和/或数据库名称和/或数据库表和/或更新间隔和/或最后处理时间和/或告警对象。3.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述消息队列中的消息内容包括数据库名称和/或数据库表和/或当前时间戳和/处理类型。4.根据权利要求1所述的一种基于主从同步的数据流状态监控告警系统，其特征在于，所述消息队列的主题为所述目标数据库对应的数据库地址。5.根据权利要求3所述的一种基于主从同步的数据流状态监控告警系统，其特征在...

【专利技术属性】
技术研发人员：程栋，谭锐，杜泽仁，王超男，
申请(专利权)人：上海市大数据股份有限公司，
类型：发明
国别省市：