数据库日志监听方法、系统及终端技术方案

本发明专利技术的数据库日志监听方法、系统及终端，通过构建的数据库日志监听框架文件实时检测数据库的任一个数据的变化日志，并将数据变化记录转换成对象，推送到消息中心，由消息中心进行数据分发，对应服务通过接收指定的消息进行数据处理。本发明专利技术不仅引入方便，配置简单，方便开发人员快速开发，并且采用mysql

【技术实现步骤摘要】
数据库日志监听方法、系统及终端


[0001]本专利技术涉及数据监听领域，特别是涉及一种数据库日志监听方法、系统及终端。

技术介绍

[0002]随着信息技术的不断发展，各种各样的数据库随之出现，为了对数据库中的数据表、数据对象等进行操作，数据库提供商在开发数据库时，提供了基于数据库的操作动作，如数据操控语言(Data Manipulation Language，DML)操作，所述DML操作可以包括插入操作、删除操作、更新操作等。当存在数据库存在上述操作动作时，数据库会记录上述操作所产生的操作日志信息。
[0003]但是需要对变化日志进行监听以及推送时，需要重新搭建一个可以监听所需监听数据的装置去监听，如果想对另外一个项目的数据进行监听则再需要重新搭建一个新的装置去监听，不仅配置复杂还耗费时间与成本。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种数据库日志监听方法、系统及终端，用于解决现有技术中以上技术问题。
[0005]为实现上述目的及其他相关目的，本专利技术提供一种数据库日志监听方法，所述方法包括：导入Jar包形式的数据库日志监听框架文件；基于所述数据库日志监听框架文件，对数据库的变化日志数据进行监听并将监听的数据推送至信息中心进行数据分发，以供消费端获取并进行数据处理；其中，所述数据库日志监听框架文件的构建方式包括：将mysql
‑
binglog
‑
connector以及kafka组装成数据库日志监听框架，并打包成Jar包形式，以获得数据库日志监听框架文件。
[0006]于本专利技术的一实施例中，所述对数据库的变化日志数据进行监听并将监听的数据推送至信息中心进行数据分发包括：配置对应监听变化日志监测对象的参数信息；基于所述参数信息，利用mysql
‑
binglog
‑
connector在mysql数据库中监听所述变化日志监测对象，并获得变化日志监听数据；利用kafka将该变化日志监听数据推送至消息中心。
[0007]于本专利技术的一实施例中，所述利用mysql
‑
binglog
‑
connector在mysql数据库中监听所述变化日志监测对象，并获得变化日志监听数据包括：利用mysql
‑
binglog
‑
connector在mysql数据库中监听所述变化日志监测对象，并将监听的数据进行数据格式统一，并进行多线程消费处理获得变化日志监听数据。
[0008]于本专利技术的一实施例中，所述参数信息包括：推送的消息中心地址、业务名称、订阅数据库连接的ip以及端口、验证信息、变化日志监测对象信息。
[0009]于本专利技术的一实施例中，所述变化日志监测对象信息包括：监听数据库信息以及监听表信息。
[0010]于本专利技术的一实施例中，所述数据格式统一的方式包括：对数据库与监听表名称、日志变化类型、操作对象前后的JSON格式数据以及操作时的时间戳的格式统一。
[0011]于本专利技术的一实施例中，所述日志变化类型包括：新增数据、修改数据以及删除数据中的一种。
[0012]为实现上述目的及其他相关目的，本专利技术提供一种数据库日志监听系统，所述系统包括：文件导入模块，用于导入Jar包形式的数据库日志监听框架文件；监听推送模块，连接所述文件导入模块，用于基于所述数据库日志监听框架文件，对数据库的变化日志数据进行监听并将监听的数据推送至信息中心进行数据分发，以供消费端获取并进行数据处理；其中，所述数据库日志监听框架文件的构建方式包括：将mysql
‑
binglog
‑
connector以及kafka组装成数据库日志监听框架，并打包成Jar包形式，以获得数据库日志监听框架文件。
[0013]于本专利技术的一实施例中，所述对数据库的变化日志数据进行监听并将监听的数据推送至信息中心进行数据分发包括：配置对应监听变化日志监测对象的参数信息；基于所述参数信息，利用mysql
‑
binglog
‑
connector在mysql数据库中监听所述变化日志监测对象，并获得变化日志监听数据；利用kafka将该变化日志监听数据推送至消息中心。
[0014]为实现上述目的及其他相关目的，本专利技术提供一种数据库日志监听终端，包括：一或多个存储器及一或多个处理器；所述一或多个存储器，用于存储计算机程序；所述一或多个处理器，连接所述存储器，用于运行所述计算机程序以执行所述数据库日志监听方法。
[0015]如上所述，本专利技术是一种数据库日志监听方法、系统及终端，具有以下有益效果：本专利技术通过构建的数据库日志监听框架文件实时检测数据库的任一个数据的变化日志，并将数据变化记录转换成对象，推送到消息中心，由消息中心进行数据分发，对应服务通过接收指定的消息进行数据处理。本专利技术不仅引入方便，配置简单，方便开发人员快速开发，并且采用mysql
‑
binglog
‑
connector数据库监听与业务系统解耦以及多线程处理消费，性能高，还由于Kafka支持广播特性，因此支持集群消费，消费处理能力显著提升。
附图说明
[0016]图1显示为本专利技术一实施例中的数据库日志监听方法的流程示意图。
[0017]图2显示为本专利技术一实施例中的数据库日志监听方法的实施环境示意图。
[0018]图3显示为本专利技术一实施例中的数据库日志监听系统的结构示意图。
[0019]图4显示为本专利技术一实施例中的数据库日志监听终端的结构示意图。
具体实施方式
[0020]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0021]需要说明的是，在下述描述中，参考附图，附图描述了本专利技术的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本专利技术的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本专利技术的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定
实施例，而并非旨在限制本专利技术。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、
““
下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
[0022]在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库日志监听方法，其特征在于，所述方法包括：导入Jar包形式的数据库日志监听框架文件；基于所述数据库日志监听框架文件，对数据库的变化日志数据进行监听并将监听的数据推送至信息中心进行数据分发，以供消费端获取并进行数据处理；其中，所述数据库日志监听框架文件的构建方式包括：将mysql
‑
binglog
‑
connector以及kafka组装成数据库日志监听框架，并打包成Jar包形式，以获得数据库日志监听框架文件。2.根据权利要求1中所述的数据库日志监听方法，其特征在于，所述对数据库的变化日志数据进行监听并将监听的数据推送至信息中心进行数据分发包括：配置对应监听变化日志监测对象的参数信息；基于所述参数信息，利用mysql
‑
binglog
‑
connector在mysql数据库中监听所述变化日志监测对象，并获得变化日志监听数据；利用kafka将该变化日志监听数据推送至消息中心。3.根据权利要求2中所述的数据库日志监听方法，其特征在于，所述利用mysql
‑
binglog
‑
connector在mysql数据库中监听所述变化日志监测对象，并获得变化日志监听数据包括：利用mysql
‑
binglog
‑
connector在mysql数据库中监听所述变化日志监测对象，并将监听的数据进行数据格式统一，并进行多线程消费处理获得变化日志监听数据。4.根据权利要求2中所述的数据库日志监听方法，其特征在于，所述参数信息包括：推送的消息中心地址、业务名称、订阅数据库连接的ip以及端口、验证信息、变化日志监测对象信息。5.根据权利要求4中所述的数据库日志监听方法...

【专利技术属性】
技术研发人员：万里晗，沈广亮，
申请(专利权)人：上海泛宥信息科技有限公司，
类型：发明
国别省市：