数据监控处理方法技术

本申请适用于数据监控技术领域，提供了一种数据监控处理方法

【技术实现步骤摘要】
数据监控处理方法、装置、设备及存储介质


[0001]本申请涉及数据监控
，尤其涉及一种数据监控处理方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]在业务系统的工作处理中，业务系统需要采集和存储大量的业务数据，包括结构化数据
(
如数据库中的表
)
和非结构化数据
(
如日志文件
、
文档等
)
，业务系统需要对采集到的数据进行处理和分析，以提取相应的信息
。
[0003]为了能够更加高效地处理采集到的数据，在相关方案中，一些业务系统采取了定时批量处理的方式
。
但是，这种方式存在一定的缺陷，限制了业务系统的性能和效率
。
例如，定时批量处理需要等待一段时间才能进行数据处理，这意味着业务系统会出现数据延迟，从而影响业务决策的准确性和时效性
。

技术实现思路

[0004]本申请实施例提供了一种数据监控处理方法
、
装置
、
设备及存储介质，可以解决如何实时监控并稳定处理业务数据的技术问题
。
[0005]第一方面，本申请实施例提供了一种数据监控处理方法，包括：
[0006]获取至少一条数据变更信息
。
[0007]利用卡纳尔组件将至少一条数据变更信息发送到卡夫卡消息队列
。
[0008]通过利用卡纳尔组件监听业务表的数据变更操作，可以实现实时获取和处理数据库的变更事件，提供更加灵活和可靠的数据同步和处理机制
。
[0009]处理卡夫卡消息队列中的至少一条数据变更信息
。
[0010]利用卡夫卡消息队列进行进一步处理，可以将消息队列作为中间件，将消息的发送者和接收者解耦，使得它们可以独立进行开发和部署，提升数据处理过程的灵活性
。
[0011]当至少一条数据变更信息的数据处理过程触发预设故障阈值时，进行故障处理
。
[0012]通过设置故障阈值来应对突发状况，保证了数据处理过程的可靠性，
[0013]第二方面，本申请实施例提供了一种数据监控处理装置，该装置具有实现第一方面或其任意可能的实现方式中的方法的功能
。
具体地，该装置包括实现第一方面或其任意可能的实现方式中的方法的单元
。
[0014]在其中的一个实施例中，该装置包括：
[0015]获取单元，用于获取至少一条数据变更信息
。
[0016]收发单元，用于利用卡纳尔组件将数据变更信息发送到卡夫卡消息队列
。
[0017]处理单元，用于处理卡夫卡消息队列中的数据变更信息
。
[0018]处理单元还用于，当数据变更信息的数据处理过程触发预设故障阈值时，进行故障处理
。
[0019]第三方面，本申请实施例提供了一种计算机设备，包括存储器
、
处理器以及存储在
存储器中并可在处理器上运行的计算机程序，该处理器执行计算机程序时，使得计算机设备实现上述第一方面任意一种实现方式的方法
。
[0020]第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被计算机设备执行时，使得计算机设备实现上述第一方面任意一种实现方式的方法
。
[0021]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行上述第一方面任意一种实现方式的方法
。
[0022]本申请实施例与现有技术相比存在的有益效果是：通过卡纳尔组件对数据变更信息数据进行实时监听，能够及时地获取业务数据变更的信息，保证业务数据处理的实时性；同时，利用卡夫卡消息队列的高可靠性和高吞吐量特点，能够保证业务数据处理过程的稳定性和准确性；利用预设故障阈值并进行故障处理，可以实现对数据变更信息处理过程中突发故障的有效处理，进一步提高了数据处理过程的稳定性和可靠性，减少因数据处理故障而导致的业务中断和数据丢失风险
。
附图说明
[0023]图1是本申请实施例提供的一种数据监控处理方法
。
[0024]图2是本申请实施例提供的一种处理卡夫卡消息队列中的数据变更信息的方法
。
[0025]图3是本申请实施例提供的另一种数据监控处理方法的流程示意图
。
[0026]图4是本申请实施例提供的装置的结构示意图
。
[0027]图5是本申请实施例提供的计算机设备的结构示意图
。
具体实施方式
[0028]在日常生活中，人们在生活
、
工作等各方面行为都可以通过数据来体现，例如，在银行进行存款这一交易行为对应的数据可以包括账户信息
、
存款数额
、
交易时间
、
交易地点等等
。
为了更加便捷高效地管理这些数据，通常提供服务的机构或企业都会使用对应的业务系统来进行处理
。
[0029]随着互联网的发展，业务数据的数据量激增，同时，对于业务系统处理数据的实时性的要求也在增加
。
如何高效处理庞大的数据量并且及时地为用户提供实时的相关业务服务成为了亟待解决的问题
。
[0030]针对上述问题，本申请提出了一种数据监控处理方法，能够实时监控业务数据，从而解决业务数据延迟
、
实时性差的技术问题
。
[0031]为了进一步说明本申请的技术方案，下面通过具体实施例来说明
。
[0032]为了便于理解，下面先对本申请实施例涉及的相关术语及等概念进行介绍
。
[0033](1)Binlog
[0034]二进制日志文件
(Binlog)
是
MySQL
数据库中的二进制日志，用于记录数据库的变更操作
。
它包含了对数据库进行修改的所有
SQL
语句，例如插入
、
更新
、
删除等操作
。
[0035]Binlog
的原理是通过将数据库的变更操作以二进制形式记录在日志文件中
。
当数据库执行一条修改数据的
SQL
语句时，会将该操作写入到
Binlog
中
。Binlog
文件是按照时间顺序进行命名和切分的，每个
Binlog
文件都包含了一段时间内的数据库变更操作
。
[0036](2)Canal
[0037]卡纳尔
(Canal)
是阿里巴巴开源的基于
MySQL
的增量数据订阅和消费组件
。
作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据监控处理方法，其特征在于，包括：获取至少一条数据变更信息；利用卡纳尔组件将所述至少一条数据变更信息发送到卡夫卡消息队列；处理所述卡夫卡消息队列中的所述至少一条数据变更信息；当所述至少一条数据变更信息的数据处理过程触发预设故障阈值时，进行故障处理
。2.
根据权利要求1所述的方法，其特征在于，所述至少一条数据变更信息包括来自于多个业务数据表的数据变更信息，所述处理所述卡夫卡消息队列中的所述至少一条数据变更信息，包括：利用信息处理平台处理所述多个业务数据表的数据变更信息
。3.
根据权利要求2所述的方法，其特征在于，所述利用信息处理平台处理所述多个业务数据表的数据变更信息，包括：从所述卡夫卡消息队列中获取所述多个业务数据表的数据变更信息；解析所述多个业务数据表的数据变更信息对应的数据变更操作；根据所述数据变更操作进行对应的数据处理
。4.
根据权利要求1所述的方法，其特征在于，所述处理所述卡夫卡消息队列中的所述至少一条数据变更信息，包括：反查第一数据变更信息对应的业务系统，所述第一数据变更信息是所述至少一条数据变更信息中的任意一条数据变更信息；利用所述业务系统获取所述第一数据变更信息对应的第一关联信息；结合所述第一关联信息，对所述第一数据变更信息对应的数据进行处理
。5.
根据权利要求3或4所述的方法，其特征在于，所述方法还包括：进行网络异常或系统异常检测；当检测到所述网络异常和
/
或所述系统异常时，所述信息处理平台将所述数据变更信息发送到兔子消息...

【专利技术属性】
技术研发人员：王飞虎，张黎，李振宇，赵占胜，
申请(专利权)人：中和农信农业集团有限公司，
类型：发明
国别省市：