检测实时数据传输中数据采集异常的方法、系统及介质技术方案

本发明专利技术属于实时数据采集技术领域，公开了一种检测实时数据传输过程中数据采集异常的方法、系统及介质，通过解析数据库操作日志，得到业务数据；将所述业务数据存入分布式发布订阅消息系统，得到实时数据仓库；设置检测时间间隔，根据所述时间间隔获取所述实时数据仓库的偏移量信息；将当前时间节点获取的偏移量信息与上一时间节点获取的偏移量信息进行比对，得到比对结果；若所述比对结果为偏移量信息为发生变化，则继续对所述数据库操作日志进行解析，得到导致数据采集异常的原因；否则，判定为数据采集正常，从而实现实时数据传输过程中对数据采集异常的检测。本发明专利技术还可以在采集程序假死时调用预置的智能脚本对数据采集程序进行修复。行修复。行修复。

【技术实现步骤摘要】
检测实时数据传输中数据采集异常的方法、系统及介质


[0001]本专利技术涉及实时数据采集
，具体而言，涉及一种检测实时数据传输过程中数据采集异常的方法、系统及介质。

技术介绍

[0002]目前，实时数据采集技术的核心原理是通过解析ORACLE REDO日志和MYSQL BINLOG数据库操作日志来实现业务数据的实时采集。然而，在利用现有的实时数据采集技术进行实时数据采集的过程中，会偶发性地出现数据采集异常的现象。导致数据采集异常的原因包括上游数据未更新、上游数据主从延迟和程序假死。但是，现有的实时数据采集技术仅能发现任务级异常，无法检测数据级别异常缺陷。利用现有的实时数据采集技术采集数据时，一旦出现数据采集异常，只能通过人为经验来判断导致数据采集异常的原因，使得数据采集效率滞缓，影响数据时效性和业务连续性，还存在数据丢失的风险。
[0003]有鉴于此，特提出本申请。

技术实现思路

[0004]本专利技术所要解决的技术问题是：现有的实时数据采集技术无法检测到导致数据采集异常的原因。目的在于提供一种检测实时数据传输过程中数据采集异常的方法、系统及介质，通过间隔地解析数据库与分布式发布订阅消息系统之间的偏移量信息，并分析相邻两次偏移量信息的变化来判断导致数据采集异常的原因，实现实时数据传输过程中对数据采集异常的检测。
[0005]本专利技术通过下述技术方案实现：
[0006]一方面，本专利技术提供一种检测实时数据传输过程中数据采集异常的方法，包括以下步骤：解析数据库操作日志，得到业务数据；将所述业务数据存入分布式发布订阅消息系统，得到实时数据仓库；设置检测时间间隔，根据所述时间间隔获取所述实时数据仓库的偏移量信息；将当前时间节点获取的偏移量信息与上一时间节点获取的偏移量信息进行比对，得到比对结果；若所述比对结果为偏移量信息为发生变化，则继续对所述数据库操作日志进行解析，得到导致数据采集异常的原因；否则，判定为数据采集正常。
[0007]进一步的，所述导致数据采集异常的原因包括在所述时间间隔内上游数据未发生变化、在所述时间间隔内上游数据主从延迟且从库数据未发生变化，以及数据采集程序假死。
[0008]进一步的，所述继续对数据库操作日志进行解析包括以下步骤：检查所述数据库操作日志在所述时间间隔内是否有数据更新；若没有数据更新，则判定导致数据采集异常的原因是在所述时间间隔内上游数据未发生变化或在所述时间间隔内上游数据主从延迟且从库数据未发生变化；否则，判定导致数据采集异常的原因是数据采集程序假死。
[0009]进一步的，判定导致数据采集异常的原因是数据采集程序假死之后，包括以下步骤：调用预置的智能脚本对数据采集程序进行修复。
[0010]另一方面，本专利技术提供一种检测实时数据传输中数据采集异常的系统，包括操作日志解析模块，用于解析数据库操作日志，得到业务数据；数据仓库生成模块，用于将所述业务数据存入分布式发布订阅消息系统，得到实时数据仓库；时间间隔预置模块，用于设置检测时间间隔；偏移量信息解析模块，用于根据所述时间间隔获取所述实时数据仓库的偏移量信息；偏移量信息比对模块，用于将当前时间节点获取的偏移量信息与上一时间节点获取的偏移量信息进行比对，得到比对结果；比对结果判断模块，用于根据比对结果判断偏移量信息是否发生变化；若偏移量信息没有发生变化，则调用所述操作日志解析模块继续对数据库操作日志进行解析，输出导致数据采集异常的原因。
[0011]进一步的，所述操作日志解析模块包括第一数据解析单元，用于首次解析数据库操作日志，得到业务数据；第二数据解析单元，用于在所述比对结果判断模块输出偏移量信息没有发生变化的情况下，继续检查所述数据库操作日志在所述时间间隔内是否有数据更新；若没有数据更新，则判定导致数据采集异常的原因是在所述时间间隔内上游数据未发生变化或在所述时间间隔内上游数据主从延迟且从库数据未发生变化；否则，判定导致数据采集异常的原因是数据采集程序假死。
[0012]进一步的，本系统还包括程序修复模块，用于调用预置的智能脚本对数据采集程序进行修复。
[0013]进一步的，所述程序修复模块包括当前偏移量解析单元，用于获取当前数据采集程序的偏移量信息；数据采集续联单元，用于根据当前采集程序的偏移量信息重新进行数据采集。
[0014]再一方面，本专利技术提供一种检测实时数据传输中数据采集异常的介质，所述介质上载有用于上述方法的计算机程序。
[0015]本专利技术与现有技术相比，具有如下的优点和有益效果：1、通过在预设时间将内间歇地解析数据库与分布式发布订阅消息系统之间的偏移量信息，并通过比对的方式分析相邻两次偏移量信息的变化，从而判断出导致数据采集异常的原因，弥补了现有的实时数据采集技术仅能发现任务级异常，无法检测出数据级别异常的缺陷，进而解决了利用现有的实时数据采集技术采集数据时，一旦出现数据采集异常，只能通过人为经验来判断导致数据采集异常的原因，使得数据采集效率滞缓的问题。2、在识别出导致数据采集异常的原因后，采用预置的智能脚本来获取数据采集异常时的采集偏移量，并以最新的偏移量提交采集，保障了实时数据的业务连续性，解决了因程序假死导致数据未更新，影响数据时效性和业务连续性以及存在数据丢失的问题。
附图说明
[0016]为了更清楚地说明本专利技术示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0017]图1为本专利技术实施例1提供的一种实时数据传输中数据采集异常检测方法的逻辑示意图；
[0018]图2为本专利技术实施例1提供的一种实时数据传输中数据采集异常检测方法的流程
示意图；
[0019]图3为本专利技术实施例2提供的一种实时数据传输中数据采集异常检测系统的结构示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。
[0021]实施例1
[0022]本实施例提供一种检测实时数据传输中数据采集异常的方法，其基本原理参考参考图1，首先对现有技术方案的架构进行解析，采集数据库源有ORACLE REDO日志和MYSQL BINLOG日志；通过解析数据库操作日志获取业务数据，并将业务数据实时输出到消息队列KAFKA，用于大数据实时数据仓体系；其次结合现有技术框架存在的缺陷，分析解决办法。该方法分为两部分，第一部分是以一定的间隔时间检测一次消息队列KAFKA的偏移量，并与上一次检测的偏移量进行比对，若偏移量未发生变化，则可初步判定导致数据采集异常的原因为上游数据未发生变化或上游数据主从延迟，采集从库未有数据变化。当偏移量未发生变化时，解析上游ORACLE REDO日志或MYSQL本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测实时数据传输中数据采集异常的方法，其特征在于，包括以下步骤：解析数据库操作日志，得到业务数据；将所述业务数据存入分布式发布订阅消息系统，得到实时数据仓库；设置检测时间间隔，根据所述时间间隔获取所述实时数据仓库的偏移量信息；将当前时间节点获取的偏移量信息与上一时间节点获取的偏移量信息进行比对，得到比对结果；若所述比对结果为偏移量信息为发生变化，则继续对所述数据库操作日志进行解析，得到导致数据采集异常的原因；否则，判定为数据采集正常。2.根据权利要求1所述的一种检测实时数据传输中数据采集异常的方法，其特征在于，所述导致数据采集异常的原因包括在所述时间间隔内上游数据未发生变化、在所述时间间隔内上游数据主从延迟且从库数据未发生变化，以及数据采集程序假死。3.根据权利要求2所述的一种检测实时数据传输中数据采集异常的方法，其特征在于，所述继续对数据库操作日志进行解析包括以下步骤：检查所述数据库操作日志在所述时间间隔内是否有数据更新；若没有数据更新，则判定导致数据采集异常的原因是在所述时间间隔内上游数据未发生变化或在所述时间间隔内上游数据主从延迟且从库数据未发生变化；否则，判定导致数据采集异常的原因是数据采集程序假死。4.根据权利要求3所述的一种检测实时数据传输中数据采集异常的方法，其特征在于，判定导致数据采集异常的原因是数据采集程序假死之后，包括以下步骤：调用预置的智能脚本对数据采集程序进行修复。5.根据权利要求4所述的一种检测实时数据传输中数据采集异常的方法，其特征在于，对数据采集程序进行修复包括以下步骤：获取当前数据采集程序的偏移量信息；根据当前采集程序的偏移量信息重新进行数据采集。6.一种检测实时数据传输中数据采集异常的系统，其特征在于，包括操作日志解析模块，用于解析数据库操作日志，得到业务...

【专利技术属性】
技术研发人员：周维，杨斌，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：