一种数据同步全链路监控方法及系统技术方案

本发明专利技术公开了一种数据同步全链路监控方法及系统，涉及数据同步监控技术领域。本发明专利技术包括数据同步全链路监控模块，业务表模型管理模块和预警响应反馈模块。本发明专利技术中的系统不仅监控goldengate同步进程状态，也根据同步队列文件数据，构建同步传输全网链路，满足从宏观层面及微观细节获取同步服务的过程状态，且本系统将同步数据传输链路与实际业务通过关系模型紧密联系在一起，同步链路的状态能实时反馈到业务网的状态，且本系统通过构建响应处理链，将同步传输链路的异常以权责角色关系按不同方式通知到受影响的每个节点业务负责组，通过构建层层的反馈模型，能获取每个环节对传输异常的处理状态。异常的处理状态。异常的处理状态。

【技术实现步骤摘要】
一种数据同步全链路监控方法及系统


[0001]本专利技术涉及数据同步监控
，具体为一种数据同步全链路监控方法及系统。

技术介绍

[0002]随着大数据时代的来临，数据的实时同步显得越发重要，许多公司都开发了自己的同步软件以及配套的监控工具，其中goldengate就是其中一款优秀的数据同步软件。
[0003]目前，使用goldengate的公司都会配置专门的运维人员，定时检查各个同步进程的状态和延时情况，但这种方式有几个明显的不足。
[0004]1.实际实施中，许多业务是跨部门，跨地区的，每个区域都有自己的运作成本核算流程，因此都会有独立的运维团队，当同步链路上端发生异常时，下端很难第一时间发现问题，并且因为业务的交叉，很难确定影响范围，以采取及时的处理方案。
[0005]在反馈处理上，当前处理方式是以邮件通知，群联络等方式，很难在整个受影响网把控每个节点，每个环节的处理情况，这往往导致处理响应的不及时，增加本可避免的影响面。

技术实现思路

[0006]本专利技术的目的在于提供一种数据同步全链路监控方法及系统，以解决
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种数据同步全链路监控的系统，包括数据同步全链路监控模块，业务表模型管理模块和预警响应反馈模块，所述数据同步全链路监控模块与业务表模型管理模块以及业务表模型管理模块与预警响应反馈模块均为电性连接。
[0008]一种数据同步全链路监控方法用于上述中的一种数据同步全链路监控的系统：至少包括以下步骤：S1：同步全链路监控模块主要用来监控所有的goldengate同步进程以及运行日志，得到同步全链路的节点状态数据;S2：业务表模型管理主要根据同步全链路网的节点状态信息，结合表
‑
业务映射关系，得到业务在链路网中每个环节的状态信息;S3:预警响应反馈模块用于构建业务响应处理链及异常反馈模型，记录异常处理过程。
[0009]优选的，所述S1包括以下步骤：步骤1：通过agent扫描同步进程，得到同步进程的表信息，并存入预先定义的表；步骤2：通过各个节点agent获取的数据，根据同步队列文件信息，构建同步链路网；步骤3：通过自定义的多个维度的监控指标，agent以此为依据，监控同步链路网各
个节点的状态，并实时反馈到显示屏链路图上。
[0010]优选的，所述S2包括以下步骤：步骤1：创建业务库，把链路传输网络涉及到的相关业务存储到预定表中，通过显示屏查看每个业务在传输网的每个环节状态；步骤2：关联业务
‑
数据库表映射，生成业务表关系模型；步骤3：订阅获取同步全链路监控模块，获取链路节点状态数据；步骤4：根据同步链路状态数据，结合业务表模型，更新业务库中每个业务在同步传输网每个节点的状态。
[0011]优选的，所述S3包括以下步骤：步骤1：创建通讯录及业务群组，管理业务库与业务群组人员；步骤2：创建预警指标规则，按照职责关系，构建每个业务的响应处理链；步骤3：订阅获取同步全链路监控模块，获取链路节点状态数据，与预警指标比较得到预警信息；步骤4：通知受影响业务每个节点的响应处理链，构建反馈模型，记录处理过程。
[0012]与现有技术相比，本专利技术的有益效果是：1、本发的本系统不仅监控goldengate同步进程状态，也根据同步队列文件数据，构建同步传输全网链路，满足从宏观层面及微观细节获取同步服务的过程状态。
[0013]2、本专利技术的系统将同步数据传输链路与实际业务通过关系模型紧密联系在一起，同步链路的状态能实时反馈到业务网的状态。
[0014]3、本专利技术的系统通过构建响应处理链，将同步传输链路的异常以权责角色关系按不同方式通知到受影响的每个节点业务负责组，通过构建层层的反馈模型，能获取每个环节对传输异常的处理状态。
附图说明
[0015]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术的数据同步全链路监控图；图2为本专利技术的业务模型管理流程图；图3为本专利技术的预警响应反馈流程图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0018]请参阅图1
‑
3，一种数据同步全链路监控方法及系统，包括数据同步全链路监控模块，业务表模型管理模块和预警响应反馈模块，所述数据同步全链路监控模块与业务表模型管理模块以及业务表模型管理模块与预警响应反馈模块均为电性连接。
[0019]通过这三个模块的相互搭配组合，构建结合监控
‑
业务
‑
反馈一体的数据同步监控
系统；预警响应模块旨在配合业务网和链路网，根据每个环境的不同预警指标是实际需求，针对性构建响应处理链及反馈模型，更好展示异常在每个影响节点的处理过程。
[0020]数据同步全链路监控模块通过在链路每个节点服务器运行agent采集数据，本系统与现有只监控单独服务器的方式不用，各个agent采集的数据会汇集在预定义的表中，通过单独的服务，将采集数据分析构建形成全链路传输网，以链路网的形式展示同步进程状态。
[0021]业务表模型模块将同步链路网与业务网深入结合在一起，从业务的角度去构建整个监控网络，重点在于体现链路节点状态与业务
‑
子业务网络的相互关系。
[0022]一种数据同步全链路监控方法用于上述中的一种数据同步全链路监控的系统：至少包括以下步骤：S1：同步全链路监控模块主要用来监控所有的goldengate同步进程以及运行日志，得到同步全链路的节点状态数据;S2：业务表模型管理主要根据同步全链路网的节点状态信息，结合表
‑
业务映射关系，得到业务在链路网中每个环节的状态信息;S3:预警响应反馈模块用于构建业务响应处理链及异常反馈模型，记录异常处理过程。
[0023]S1包括以下步骤：步骤1：通过agent扫描同步进程，得到同步进程的表信息，并存入预先定义的表；步骤2：通过各个节点agent获取的数据，根据同步队列文件信息，构建同步链路网；步骤3：通过自定义的多个维度的监控指标，agent以此为依据，监控同步链路网各个节点的状态，并实时反馈到显示屏链路图上。
[0024]S2包括以下步骤：步骤1：创建业务库，把链路传输网络涉及到的相关业务存储到预定表中，通过显示屏查看每个业务在传输网的每个环节状态；步骤2：关联业务
‑
数据库表映射，生成业务表关系模型；步骤3：订阅获取同步全链路监控模块，获取链路节点状态数据；步骤4：根据同步链路状态数据，结合业务表模型，更新业务库中每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步全链路监控的系统，其特征在于：包括数据同步全链路监控模块，业务表模型管理模块和预警响应反馈模块，所述数据同步全链路监控模块与业务表模型管理模块以及业务表模型管理模块与预警响应反馈模块均为电性连接。2.一种数据同步全链路监控方法，其特征在于：至少包括以下步骤：S1：同步全链路监控模块主要用来监控所有的goldengate同步进程以及运行日志，得到同步全链路的节点状态数据;S2：业务表模型管理主要根据同步全链路网的节点状态信息，结合表
‑
业务映射关系，得到业务在链路网中每个环节的状态信息;S3:预警响应反馈模块用于构建业务响应处理链及异常反馈模型，记录异常处理过程。3.根据权利要求2所述的一种数据同步全链路监控方法，其特征在于：所述S1包括以下步骤：步骤1：通过agent扫描同步进程，得到同步进程的表信息，并存入预先定义的表；步骤2：通过各个节点agent获取的数据，根据同步队列文件信息，构建同步链路网；步骤3：通过自定义的多个维度的监控指标...

【专利技术属性】
技术研发人员：黄志春，陈云，张定国，李韧，卢小锋，丁杰，
申请(专利权)人：广州伟宏智能科技有限公司，
类型：发明
国别省市：