一种数据同步及解析方法、装置及终端设备制造方法及图纸

本申请提供了一种数据同步及解析方法、装置及终端设备，适用于数据处理技术领域，该方法包括：构建数据同步程序包，根据目标数据库构建依赖参数，并监控所述目标数据库的日志信息，通过所述数据同步程序包构建数据同步接口，并在所述数据同步接口中引入所述依赖参数，得到数据同步程序，利用所述数据同步程序对所述日志信息进行序列化解析，并将解析后的数据同步至预设的数据存储系统。本发明专利技术还提出一种数据同步及解析装置以及终端设备。本发明专利技术可以解决数据同步效率较低的问题。可以解决数据同步效率较低的问题。可以解决数据同步效率较低的问题。

A data synchronization and analysis method, device and terminal equipment

【技术实现步骤摘要】
一种数据同步及解析方法、装置及终端设备


[0001]本申请属于数据处理
，尤其涉及数据同步及解析方法、装置及终端设备。

技术介绍

[0002]CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等)，将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。目前CDC的种类包括：1.基于查询的CDC，例如：Sqoop、Kafka JDBC source等产品，特点是离线调度查询作业、批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据，然而无法保障数据一致性，查的过程中有可能数据已经发生了多次变更，不保障实时性，基于离线调度存在天然的延迟，同时会增加数据库压力。2.基于日志的CDC，例如：Maxwell、Canal、Debezium等，特点是实时消费日志，基于流处理，例如MySQL的binlog日志完整记录了数据库中的变更，可以binlog文件当作流的数据源。
[0003]对比常见开源CDC方案，在增量同步能力上，基于日志的方式可以很好的做到增量同步，而基于查询的方式是很难做到增量同步的；在全量+增量同步的能力上也是基于日志的方式效果更好。目前主要基于Flink CDC进行数据同步，然而使用Flink CDC进行数据同步时，对于需要同步的数据库表，需要重复进行开发，使得开发量激增的同时数据同步效率也较低。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种数据同步及解析方法、装置及终端设备，可以解决数据同步效率较低的问题。
[0005]本申请实施例的第一方面提供了一种数据同步及解析方法，包括：
[0006]构建数据同步程序包；
[0007]根据目标数据库构建依赖参数，并监控所述目标数据库的日志信息；
[0008]通过所述数据同步程序包构建数据同步接口，并在所述数据同步接口中引入所述依赖参数，得到数据同步程序；
[0009]利用所述数据同步程序对所述日志信息进行序列化解析，并将解析后的数据同步至预设的数据存储系统。
[0010]详细地，所述数据同步程序包基于Flink CDC构建。
[0011]详细地，所述构建数据同步程序包，包括：
[0012]获取所述Flink CDC的源文件，在所述源文件中添加封装语句及输入语句；
[0013]利用所述输入语句引入预设的相关依赖至所述源文件中；
[0014]通过所述封装语句对引入完相关依赖的源文件进行封装，得到所述数据同步程序包。
[0015]详细地，所述根据目标数据库构建依赖参数，包括：
[0016]构建与所述目标数据库映射的映射参数；
[0017]在所述映射参数中添加数据库参数；
[0018]将所述映射参数与所述数据库参数作为所述依赖参数。
[0019]详细地，所述监控所述目标数据库的日志信息，包括：
[0020]在所述目标数据库的配置文件中添加日志监控语句；
[0021]重启添加完日志监控语句的目标数据库，通过所述日志监控语句实时监控所述目标数据库的日志信息。
[0022]详细地，所述在所述数据同步接口中引入所述依赖参数，得到数据同步程序，包括：
[0023]在所述数据同步接口中引入所述依赖参数；
[0024]在引入完依赖参数的数据同步接口中调用预设的自定义序列化类，得到所述数据同步程序。
[0025]详细地，所述利用所述数据同步程序对所述日志信息进行序列化解析，包括：
[0026]利用所述数据同步程序获取所述目标数据库的日志信息；
[0027]利用所述自定义序列化类创建JSON对象，并基于所述自定义序列化类将所述日志信息转化为预设类型的数据；
[0028]将所述预设类型的数据封装在所述JSON对象中。
[0029]本申请实施例的第二方面提供了一种数据同步及解析装置，包括：
[0030]程序包构建模块，用于构建数据同步程序包；
[0031]数据库监控模块，用于根据目标数据库构建依赖参数，并监控所述目标数据库的日志信息；
[0032]参数引用模块，用于通过所述数据同步程序包构建数据同步接口，并在所述数据同步接口中引入所述依赖参数，得到数据同步程序；
[0033]数据同步模块，用于利用所述数据同步程序对所述日志信息进行序列化解析，并将解析后的数据同步至预设的数据存储系统。
[0034]本申请实施例的第三方面提供了一种终端设备，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述数据同步及解析方法的步骤。
[0035]本申请实施例的第四方面提供了一种计算机可读存储介质，包括：存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述数据同步及解析方法的步骤。
[0036]本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述数据同步及解析方法。
[0037]本申请实施例与现有技术相比存在的有益效果是：
[0038]本专利技术通过构建数据同步程序包，并监控目标数据库的日志信息，根据目标数据库构建依赖参数，通过数据同步程序包构建数据同步接口，只需在数据同步接口中引入目标数据库的依赖参数，便可利用数据同步程序对日志信息进行序列化解析，并对解析后的数据进行同步。同时通过构建一个通用的数据同步程序包，在同步不同的数据库或表时，只需传入相应的依赖参数，节省了数据库及数据库表重复开发的工作量，大大提高了数据同
步的效率。因此本专利技术提出的数据同步及解析方法、装置及终端设备，可以解决数据同步效率较低的问题。
附图说明
[0039]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本申请实施例提供的数据同步及解析方法的实现流程示意图；
[0041]图2是本申请实施例提供的数据同步及解析方法的实现流程示意图；
[0042]图3是本申请实施例提供的数据同步及解析方法的实现流程示意图；
[0043]图4是本申请实施例提供的数据同步及解析方法的实现流程示意图；
[0044]图5是本申请实施例提供的数据同步及解析方法的实现流程示意图；
[0045]图6是本申请实施例提供的数据同步及解析装置的结构示意图；
[0046]图7是本申请实施例提供的终端设备的示意图。
具体实施方式
[0047]以下描述中，为了说明而不是为了限定，提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步及解析方法，其特征在于，包括：构建数据同步程序包；根据目标数据库构建依赖参数，并监控所述目标数据库的日志信息；通过所述数据同步程序包构建数据同步接口，并在所述数据同步接口中引入所述依赖参数，得到数据同步程序；利用所述数据同步程序对所述日志信息进行序列化解析，并将解析后的数据同步至预设的数据存储系统。2.如权利要求1所述的数据同步及解析方法，其特征在于，所述数据同步程序包基于Flink CDC构建。3.如权利要求2所述的数据同步及解析方法，其特征在于，所述构建数据同步程序包，包括：获取所述Flink CDC的源文件，在所述源文件中添加封装语句及输入语句；利用所述输入语句引入预设的相关依赖至所述源文件中；通过所述封装语句对引入完相关依赖的源文件进行封装，得到所述数据同步程序包。4.如权利要求1所述的数据同步及解析方法，其特征在于，所述根据目标数据库构建依赖参数，包括：构建与所述目标数据库映射的映射参数；在所述映射参数中添加数据库参数；将所述映射参数与所述数据库参数作为所述依赖参数。5.如权利要求1所述的数据同步及解析方法，其特征在于，所述监控所述目标数据库的日志信息，包括：在所述目标数据库的配置文件中添加日志监控语句；重启添加完日志监控语句的目标数据库，通过所述日志监控语句实时监控所述目标数据库的日志信息。6.如权利要求4所述的数据同步及解析方法，其特征在于，所述在所述数据同步接口中引入所...

【专利技术属性】
技术研发人员：李林，王伟，
申请(专利权)人：辽宁华盾安全技术有限责任公司，
类型：发明
国别省市：