一种基于数据流的监控方法技术

本申请公开了一种基于数据流的监控方法

【技术实现步骤摘要】
一种基于数据流的监控方法、系统、装置及存储介质


[0001]本申请涉及资金数据监控
，尤其涉及一种基于数据流的监控方法
、
系统
、
装置及存储介质
。

技术介绍

[0002]对于金融机构，例如收单机构，资金业务的管理及监控都有着严格的流程，商户在进行各项资金业务时，每项资金业务都被监控着，资金业务包括提现次数
、
提现金额等
。
[0003]由于收单机构目前尚未建立起比较全面的资金监控版图，当收单机构需要查询商户所进行的资金业务状态时，通常只能将部分或单一资金数据进行展示，例如展示提现笔数是多少，提现金额是多少等，且针对需要了解的统计数据的变化没有直观全面的监控视图或监控界面，不能一次性将全部关于商户的资金数据进行展示，导致收单机构不能及时全面了解资金业务的资金变化数据
。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了一种基于数据流的监控方法
、
系统
、
装置及存储介质，能够实时监控资金业务的资金变化数据
。
[0005]本申请第一方面提供了一种基于数据流的监控方法，包括：
[0006]通过
ogg
同步工具实时获取数据库中的目标数据，所述数据库用于实时存储资金业务的业务数据，所述目标数据为所述业务数据中新增
、
修改或者删除的数据；
[0007]通过所述
ogg
同步工具将所述目标数据传送至消息队列
kafka
中，并通过所述消息队列
kafka
将所述目标数据传送至
flink
平台中；
[0008]通过所述
flink
平台对所述目标数据进行统计分析，得到统计数据；
[0009]通过可视化工具
grafana
根据所述统计数据生成监控视图，并将所述监控视图进行展示
。
[0010]可选的，在对所述目标数据进行统计分析之后，在所述通过
grafana
根据所述统计数据生成监控视图之前，所述监控方法还包括：
[0011]将所述统计数据保存到时序数据库
influxdb
中；
[0012]所述通过可视化工具
grafana
根据所述统计数据生成监控视图包括：
[0013]通过所述可视化工具
grafana
连接所述时序数据库
influxdb
，并从所述时序数据库
influxdb
中读取所述统计数据
。
[0014]可选的，所述将所述统计数据保存到时序数据库
influxdb
中包括：
[0015]确定所述统计数据中的维度信息，并将所述统计数据按照所述维度信息分别存入所述时序数据库
influxdb
中数据表的各列中，所述维度信息包括秒级别维度与天级别维度
。
[0016]可选的，所述通过
ogg
同步工具实时获取数据库中的目标数据包括：
[0017]通过所述
ogg
同步工具内的源端实时捕获所述数据库中的日志数据，并根据所述
日志数据形成队列文件；
[0018]通过
pump
进程将所述队列文件传输至所述
ogg
同步工具内的目标端
。
[0019]可选的，在所述通过
ogg
同步工具实时获取数据库中的目标数据之前，所述监控方法还包括：
[0020]将业务数据写入
oracle
数据库，从而所述
ogg
同步工具从所述
oracle
数据库中实时获取目标数据
。
[0021]可选的，所述通过所述
ogg
同步工具将所述目标数据传送至消息队列
kafka
中包括：
[0022]通过所述
ogg
同步工具解析获取所述目标数据中的
json
数据；
[0023]根据所述
json
数据标识所述目标数据的操作类型；
[0024]将标识后的所述目标数据传送至消息队列
kafka
中
。
[0025]本申请第二方面提供了一种基于数据流的监控系统，包括：
[0026]获取单元，用于通过
ogg
同步工具实时获取数据库中的目标数据，所述数据库用于实时存储资金业务的业务数据，所述目标数据为所述业务数据中新增
、
修改或者删除的数据；
[0027]传送单元，用于通过所述
ogg
同步工具将所述目标数据传送至消息队列
kafka
中，并通过所述消息队列
kafka
将所述目标数据传送至
flink
平台中；
[0028]分析单元，用于通过所述
flink
平台对所述目标数据进行统计分析，得到统计数据；
[0029]生成单元，用于通过可视化工具
grafana
根据所述统计数据生成监控视图，并将所述监控视图进行展示
。
[0030]可选的，所述监控系统还包括：
[0031]保存单元，用于将所述统计数据保存到时序数据库
influxdb
中；
[0032]所述生成单元包括：
[0033]读取模块，用于通过所述可视化工具
grafana
连接所述时序数据库
influxdb
，并从所述时序数据库
influxdb
中读取所述统计数据
。
[0034]可选的，所述保存单元包括：
[0035]处理模块，用于确定所述统计数据中的维度信息，并将所述统计数据按照所述维度信息分别存入所述时序数据库
influxdb
中数据表的各列中，所述维度信息包括秒级别维度与天级别维度
。
[0036]可选的，所述获取单元包括：
[0037]捕获模块，用于通过所述
ogg
同步工具内的源端实时捕获所述数据库中的日志数据，并根据所述日志数据形成队列文件；
[0038]传输模块，用于通过
pump
进程将所述队列文件传输至所述
ogg
内的目标端
。
[0039]可选的，所述监控系统还包括：
[0040]写入单元，用于将业务数据写入
oracle
数据库，从而所述
ogg
同步工具从所述
oracle
数据库中实时获取目标数据
。
[0041]可选的，传送单元包括：
[0042]获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于数据流的监控方法，其特征在于，包括：通过
ogg
同步工具实时获取数据库中的目标数据，所述数据库用于实时存储资金业务的业务数据，所述目标数据为所述业务数据中新增
、
修改或者删除的数据；通过所述
ogg
同步工具将所述目标数据传送至消息队列
kafka
中，并通过所述消息队列
kafka
将所述目标数据传送至
flink
平台中；通过所述
flink
平台对所述目标数据进行统计分析，得到统计数据；通过可视化工具
grafana
根据所述统计数据生成监控视图，并将所述监控视图进行展示
。2.
根据权利要求1所述的监控方法，其特征在于，在对所述目标数据进行统计分析之后，在所述通过
grafana
根据所述统计数据生成监控视图之前，所述监控方法还包括：将所述统计数据保存到时序数据库
influxdb
中；所述通过可视化工具
grafana
根据所述统计数据生成监控视图包括：通过所述可视化工具
grafana
连接所述时序数据库
influxdb
，并从所述时序数据库
influxdb
中读取所述统计数据
。3.
根据权利要求2所述的监控方法，其特征在于，所述将所述统计数据保存到时序数据库
influxdb
中包括：确定所述统计数据中的维度信息，并将所述统计数据按照所述维度信息分别存入所述时序数据库
influxdb
中数据表的各列中，所述维度信息包括秒级别维度与天级别维度
。4.
根据权利要求1至3中任一项所述的监控方法，其特征在于，所述通过
ogg
同步工具实时获取数据库中的目标数据包括：通过所述
ogg
同步工具内的源端实时捕获所述数据库中的日志数据，并根据所述日志数据形成队列文件；通过
pump
进程将所述队列文件传输至所述
ogg
同步工具内的目标端
。5.
根据权利要求1至3中任一项所述的监控方法，其特征在于，在所述通过
ogg
同步工具实时获取数据库中的目标数据之前，所述监控方法还包括：将业务数据写入
oracle
...

【专利技术属性】
技术研发人员：唐春苗，吴仁华，王云洲，厉佐瑞，
申请(专利权)人：嘉联支付有限公司，
类型：发明
国别省市：