日志数据同步方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种日志数据同步方法，包括：在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的GTID，并生成所述日志数据的AID；将所述日志数据、所述GTID和所述AID同步写入至缓存数据库Redis和分布式发布订阅消息系统Kafka；当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点，并从所述Redis中获取采集时间距离当前时间点最近的日志数据的目标GTID和目标AID；通过所述目标采集节点，基于所述目标GTID和所述目标AID继续采集日志数据。本发明专利技术还公开了一种日志数据同步装置、设备及计算机可读存储介质。本发明专利技术能够保证日志数据的连续性。

Log Data Synchronization Method, Device, Equipment and Computer Readable Storage Media

The invention discloses a method for synchronizing log data, which includes: in the process of synchronizing log data, each log data is collected, the GTID of the log data is acquired, and the AID of the log data is generated; the log data, the GTID and the AID are synchronously written to the cache database Redis and the distributed publishing and subscribing message system Kafka; When the current acquisition node is abnormal, the target acquisition node of the log data is determined, and the target GTID and target AID of the log data acquisition time nearest to the current time point are acquired from the Redis. Through the target acquisition node, the log data is continuously collected based on the target GTID and the target AID. The invention also discloses a log data synchronization device, a device and a computer readable storage medium. The invention can ensure the continuity of log data.

【技术实现步骤摘要】
日志数据同步方法、装置、设备及计算机可读存储介质
本专利技术涉及数据采集的
，尤其涉及一种日志数据同步方法、装置、设备及计算机可读存储介质。
技术介绍
数据库在运行过程中，需要采集数据库的日志数据，目前数据库的日志数据的采集方式包括基于Maxwell工具的日志数据采集和基于Canal工具的日志数据采集，上述两种方式均是通过伪装成MySQLServer的从库实现日志数据的采集。然而，在日志数据的采集过程中，当采集的工具出现异常时，容易出现采集到的日志数据存在不连续的问题，因此，如何保证日志数据的连续性是目前亟待解决的问题。
技术实现思路
本专利技术的主要目的在于提供一种日志数据同步方法、装置、设备及计算机可读存储介质，旨在保证日志数据的连续性。为实现上述目的，本专利技术提供一种日志数据同步方法，所述日志数据同步方法包括以下步骤：在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的全局事务标识符GTID，并生成所述日志数据的原子标识符AID；将所述日志数据、所述GTID和所述AID同步写入至缓存数据库Redis和分布式发布订阅消息系统Kafka；当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点，并从所述Redis中获取采集时间距离当前时间点最近的日志数据的目标GTID和目标AID；通过所述目标采集节点，基于所述目标GTID和所述目标AID继续采集日志数据。进一步地，生成所述日志数据的原子标识符AID的步骤包括：每采集到一条日志数据，则获取上一条日志数据的AID，并在所述AID中基础上自增1，得到所述日志数据的AID。进一步地，所述当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点的步骤包括：当监测到日志数据的当前采集节点出现异常时，获取日志数据的各采集节点，并获取各采集节点各自对应注册的子节点的注册顺序；依据各采集节点各自对应注册的子节点的注册顺序，确定日志数据的目标采集节点。进一步地，所述日志数据同步方法还包括：在日志数据的同步过程中，定时监测当前连接的数据库是否为主数据库；若监测到当前连接的数据库为主数据库，则断开与所述主数据库的连接，并获取备数据库地址，且依据所述备数据库地址连接对应的备数据库。进一步地，所述日志数据同步方法还包括：在日志数据的同步过程中，定时监测当前连接的备数据库是否出现异常；若当前连接的备数据库出现异常，则获取新的备数据库地址，并依据新的备数据库地址连接对应的备数据库。进一步地，所述日志数据同步方法还包括：在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的第一GTID，并从所述Redis中获取上一条日志数据的第二GTID；判断所述第一GTID与所述第二GTID是否相邻；若所述第一GTID和所述第二GTID相邻，则生成所述日志数据的AID，并将所述日志数据、所述第一GTID和所述AID同步写入至所述Redis和所述Kafka；若所述第一GTID与所述第二GTID不相邻，则依据所述第二GTID继续采集日志数据。此外，为实现上述目的，本专利技术还提供一种日志数据同步装置，所述日志数据同步装置包括：数据采集模块，用于在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的全局事务标识符GTID，并生成所述日志数据的原子标识符AID；数据同步模块，用于将所述日志数据、所述GTID和所述AID同步写入至缓存数据库Redis和分布式发布订阅消息系统Kafka；确定模块，用于当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点，并从所述Redis中获取采集时间距离当前时间点最近的日志数据的目标GTID和目标AID；所述数据采集模块，还用于通过所述目标采集节点，基于所述目标GTID和所述目标AID继续采集日志数据。此外，为实现上述目的，本专利技术还提供一种日志数据同步设备，所述日志数据同步设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志数据同步程序，所述日志数据同步程序被所述处理器执行时实现如上所述的日志数据同步方法的步骤。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志数据同步程序，所述日志数据同步程序被处理器执行时实现如上所述的日志数据同步方法的步骤。本专利技术提供一种日志数据同步方法、装置、设备及计算机可读存储介质，本专利技术在日志数据的同步过程中，每采集到一条日志数据，则获取该日志数据的GTID，并生成该日志数据的AID，然后将该日志数据、GTID和AID同步写入至Redis和Kafka，然后当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点，并从Redis中获取采集时间距离当前时间点最近的日志数据的目标GTID和目标AID，最后通过该目标采集节点，基于该目标GTID和目标AID继续采集日志数据，由于将日志数据、GTID和AID同步写入Redis和Kafka，能够在日志数据的当前采集节点出现异常时，直接从Redis中获取对应的目标GTID和目标AID，然后由目标采集节点，基于目标GTID和目标AID继续采集日志数据，防止采集节点异常时导致的数据采集中断，本专利技术可以连续的采集日志数据，有效的保证日志数据的连续性。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的设备结构示意图；图2为本专利技术日志数据同步方法第一实施例的流程示意图；图3为本专利技术日志数据同步装置第一实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境的设备结构示意图。本专利技术实施例日志数据同步设备可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。如图1所示，该日志数据同步设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的日志数据同步设备结构并不构成对日志数据同步设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志数据同步程序。在图1所示的日志数据同步设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的日志数据同步程序，并执行以下步骤：在日志数据的同步过程中，每采集到一条日本文档来自技高网...

【技术保护点】
1.一种日志数据同步方法，其特征在于，所述日志数据同步方法包括以下步骤：在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的全局事务标识符GTID，并生成所述日志数据的原子标识符AID；将所述日志数据、所述GTID和所述AID同步写入至缓存数据库Redis和分布式发布订阅消息系统Kafka；当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点，并从所述Redis中获取采集时间距离当前时间点最近的日志数据的目标GTID和目标AID；通过所述目标采集节点，基于所述目标GTID和所述目标AID继续采集日志数据。

【技术特征摘要】
1.一种日志数据同步方法，其特征在于，所述日志数据同步方法包括以下步骤：在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的全局事务标识符GTID，并生成所述日志数据的原子标识符AID；将所述日志数据、所述GTID和所述AID同步写入至缓存数据库Redis和分布式发布订阅消息系统Kafka；当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点，并从所述Redis中获取采集时间距离当前时间点最近的日志数据的目标GTID和目标AID；通过所述目标采集节点，基于所述目标GTID和所述目标AID继续采集日志数据。2.如权利要求1所述的日志数据同步方法，其特征在于，生成所述日志数据的原子标识符AID的步骤包括：每采集到一条日志数据，则获取上一条日志数据的AID，并在所述AID中基础上自增1，得到所述日志数据的AID。3.如权利要求1所述的日志数据同步方法，其特征在于，所述当监测到日志数据的当前采集节点出现异常时，确定日志数据的目标采集节点的步骤包括：当监测到日志数据的当前采集节点出现异常时，获取日志数据的各采集节点，并获取各采集节点各自对应注册的子节点的注册顺序；依据各采集节点各自对应注册的子节点的注册顺序，确定日志数据的目标采集节点。4.如权利要求1所述的日志数据同步方法，其特征在于，所述日志数据同步方法还包括：在日志数据的同步过程中，定时监测当前连接的数据库是否为主数据库；若监测到当前连接的数据库为主数据库，则断开与所述主数据库的连接，并获取备数据库地址，且依据所述备数据库地址连接对应的备数据库。5.如权利要求4所述的日志数据同步方法，其特征在于，所述日志数据同步方法还包括：在日志数据的同步过程中，定时监测当前连接的备数据库是否出现异常；若当前连接的备数据库出现异常，则获取新的备数据库地址，并依据新的备数据库地址连接对应的备数据库。6.如权利要求1-5中任一项所述的日志数据同步方法，其特征在于，所述日志数据同步方法还包括：在日志数据的同步过程中，每采集到一条日志数据，则获取所述日志数据的第一GTID，并从所述Redis中获取上一条日志数据的第二GTID；判断所述第一GTID与所述第二GTID是否相邻...

【专利技术属性】
技术研发人员：邓康华，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44