基于kettle的数据同步方法、组件、设备及介质技术

本发明专利技术提供一种基于kettle的数据同步方法、组件、设备及介质，其中方法包括：确定同步频率和配置信息；基于同步频率，应用配置信息，确定并初始化同步频率对应的同步任务；基于同步任务中的同步类型，及配置信息中与同步频率对应的同步日期，执行同步任务对应的转换作业，得到同步任务的执行结果，并将执行结果写入日志中；同步任务全部执行成功后，基于所述同步频率，更新所述配置信息中的同步日期，该方法实现了多同步频率和多场景的数据同步，并且只需要在kettle平台下设计好转换作业后，只需配置包含有各映射关系的配置信息，简化了同步配置，降低了配置技术门槛，进而提升了用户体验。体验。体验。

【技术实现步骤摘要】
基于kettle的数据同步方法、组件、设备及介质


[0001]本专利技术涉及数据处理
，尤其涉及一种基于kettle的数据同步方法、组件、设备及介质。

技术介绍

[0002]现有的数据同步方法，如基于DataX的数据同步，仅支持单纯的数据同步，不支持流程定义，配置复杂不直观，以及配置技术门槛高。基于kettle的数据同步，也仅仅是针对简单的同步场景，例如：单一两个数据库或者数据源的数据同步，以及简单的流程控制，例如：数据同步全量和增量的判断等。
[0003]但现有的数据同步方法，均无法满足多业务场景和多同步频率的任务需求，导致目前数据仓库和数据分析类系统架构内的数据同步困难，进而影响用户体验。

技术实现思路

[0004]本专利技术提供一种基于kettle的数据同步方法、组件、设备及介质，用以解决现有技术中数据同步配置复杂且无法应对多场景多频率的同步任务的缺陷。
[0005]本专利技术提供一种基于kettle的数据同步方法，包括：
[0006]确定同步频率和配置信息；
[0007]基于所述同步频率，应用所述配置信息，确定并初始化所述同步频率对应的同步任务；
[0008]基于所述同步任务中的同步类型，在所述配置信息中与所述同步频率对应的同步日期，执行所述同步任务对应的转换作业，得到所述同步任务的执行结果，并将所述执行结果写入日志中；
[0009]所述同步任务全部执行成功后，基于所述同步频率，更新所述配置信息中的同步日期。
[0010]根据本专利技术提供的一种基于kettle的数据同步方法，所述配置信息包括同步系统表、同步周期表和同步系统表清单表；所述同步系统表用于存放待同步业务系统信息，所述系统信息包括数据库类型、数据源配置信息和同步频率；所述同步周期表用于存放同步周期信息，所述同步周期信息包括同步日期和同步频率；所述同步系统表清单表用于存放所述同步系统表中各系统对应的表配置信息，所述表配置信息包括源系统名、源系统表名、源系统表增量表达式、目标系统名、目标系统表名、目标系统表增量表达式、和同步类型；所述同步类型包括增量或全量；
[0011]所述基于所述同步频率，应用所述配置信息，确定并初始化所述同步频率对应的同步任务，包括：
[0012]基于所述同步频率，应用所述同步系统表，确定同步系统信息；
[0013]基于所述同步系统信息，应用所述同步系统表清单表，确定所述同步系统信息对应的表配置信息；
[0014]基于所述同步系统信息对应的表配置信息，初始化所述同步任务。
[0015]根据本专利技术提供的一种基于kettle的数据同步方法，所述配置信息还包括：数据源配置文件和同步作业程序表；所述数据源配置文件用于存放数据源连接信息；所述同步作业程序表用于存放所述同步系统表清单表中各表配置信息对应的转换作业名；
[0016]所述基于所述同步任务中的同步类型，在所述配置信息中与所述同步频率对应的同步日期，执行所述同步任务对应的转换作业，得到所述同步任务的执行结果，包括：
[0017]基于所述同步频率，应用所述同步周期表，确定所述同步日期；
[0018]基于所述同步系统表中存放的数据源配置信息和所述数据源配置文件中的数据源连接信息之间的映射关系，确定所述同步系统信息对应的数据源连接信息；
[0019]基于所述同步系统信息对应的表配置信息，应用所述同步作业程序表，确定所述同步任务对应的转换作业名；
[0020]基于所述同步任务中的同步类型，应用所述同步系统信息对应的数据源连接信息，在所述同步日期，执行所述转换作业名对应转换作业，得到所述执行结果。
[0021]根据本专利技术提供的一种基于kettle的数据同步方法，所述配置信息还包括：假日表，所述假日表用于存放日期和日期对应的属性标签，所述属性标签包括工作日和节假日；
[0022]基于所述同步频率和当前日期，确定下一次的临时同步日期；
[0023]基于所述临时同步日期，应用所述假日表中的日期信息，确定下一次的实际同步日期，并将所述同步周期表中所述同步频率对应的同步日期更新为所述实际同步日期。
[0024]根据本专利技术提供的一种基于kettle的数据同步方法，所述配置信息还包括：同步计划结果表，用于存放任务计划、任务状态和任务结果；所述任务状态包括初始状态、成功状态和失败状态；
[0025]所述初始化所述同步任务，包括：
[0026]若所述同步计划结果表中未记录包括所述同步任务及所述配置信息中与所述同步频率对应的同步日期的同步计划，则将所述同步任务、所述同步日期以及所述初始状态作为新同步计划，写入所述同步计划结果表中；
[0027]所述基于所述同步任务中的同步类型，在所述配置信息中与所述同步频率对应的同步日期，执行所述同步任务对应的转换作业，得到所述同步任务的执行结果，并将所述执行结果写入日志中之后，还包括：
[0028]将所述同步计划结果表中所述同步任务对应的任务状态更新为所述执行结果对应的任务状态。
[0029]根据本专利技术提供的一种基于kettle的数据同步方法，所述基于所述同步任务中的同步类型，在所述配置信息中与所述同步频率对应的同步日期，执行所述同步任务对应的转换作业，得到所述同步任务的执行结果，包括：
[0030]基于所述同步计划结果表和所述同步任务，得到所述同步任务的任务状态；并将所述同步任务中任务状态为初始状态的任务作为待执行任务；
[0031]基于所述待执行任务中的同步类型，在所述配置信息中与所述同步频率对应的同步日期，执行所述待执行任务对应的转换作业，得到所述待执行任务的执行结果。
[0032]根据本专利技术提供的一种基于kettle的数据同步方法，所述配置信息还包括：日志表，所述日志表用于记录所述同步任务的执行日志；
[0033]将所述执行结果写入日志中，包括：
[0034]若所述同步任务的执行结果为成功，则将执行结果写入日志表中，否则将所述执行结果和失败信息写入日志表中。
[0035]本专利技术还提供一种基于kettle的数据同步组件，包括：
[0036]确定模块，用于确定同步频率和配置信息；
[0037]初始化模块，用于基于所述同步频率，应用所述配置信息，确定并初始化所述同步频率对应的同步任务；
[0038]同步模块，用于基于所述同步任务中的同步类型，在所述配置信息中与所述同步频率对应的同步日期，执行所述同步任务对应的转换作业，得到所述同步任务的执行结果，并将所述执行结果写入日志中；
[0039]数据日期切换模块，用于所述同步任务全部执行成功后，基于所述同步频率，更新所述配置信息中的同步日期。
[0040]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于kettle的数据同步方法。
[0041]本专利技术还提供一种非暂态计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于kettle的数据同步方法，其特征在于，包括：确定同步频率和配置信息；基于所述同步频率，应用所述配置信息，确定并初始化所述同步频率对应的同步任务；基于所述同步任务中的同步类型，在所述配置信息中与所述同步频率对应的同步日期，执行所述同步任务对应的转换作业，得到所述同步任务的执行结果，并将所述执行结果写入日志中；所述同步任务全部执行成功后，基于所述同步频率，更新所述配置信息中的同步日期。2.根据权利要求1所述的基于kettle的数据同步方法，其特征在于，所述配置信息包括同步系统表、同步周期表和同步系统表清单表；所述同步系统表用于存放待同步业务系统信息，所述系统信息包括数据库类型、数据源配置信息和同步频率；所述同步周期表用于存放同步周期信息，所述同步周期信息包括同步日期和同步频率；所述同步系统表清单表用于存放所述同步系统表中各系统对应的表配置信息，所述表配置信息包括源系统名、源系统表名、源系统表增量表达式、目标系统名、目标系统表名、目标系统表增量表达式、和同步类型；所述同步类型包括增量类型或全量类型；所述基于所述同步频率，应用所述配置信息，确定并初始化所述同步频率对应的同步任务，包括：基于所述同步频率，应用所述同步系统表，确定同步系统信息；基于所述同步系统信息，应用所述同步系统表清单表，确定所述同步系统信息对应的表配置信息；基于所述同步系统信息对应的表配置信息，初始化所述同步任务。3.根据权利要求2所述的基于kettle的数据同步方法，其特征在于，所述配置信息还包括：数据源配置文件和同步作业程序表；所述数据源配置文件用于存放数据源连接信息；所述同步作业程序表用于存放所述同步系统表清单表中各表配置信息对应的转换作业名；所述基于所述同步任务中的同步类型，在所述配置信息中与所述同步频率对应的同步日期，执行所述同步任务对应的转换作业，得到所述同步任务的执行结果，包括：基于所述同步频率，应用所述同步周期表，确定所述同步日期；基于所述同步系统表中存放的数据源配置信息和所述数据源配置文件中的数据源连接信息之间的映射关系，确定所述同步系统信息对应的数据源连接信息；基于所述同步系统信息对应的表配置信息，应用所述同步作业程序表，确定所述同步任务对应的转换作业名；基于所述同步任务中的同步类型，应用所述同步系统信息对应的数据源连接信息，在所述同步日期，执行所述转换作业名对应转换作业，得到所述执行结果。4.根据权利要求3所述的基于kettle的数据同步方法，其特征在于，所述配置信息还包括：假日表，所述假日表用于存放日期和日期对应的属性标签，所述属性标签包括工作日和节假日；基于所述同步频率和当前日期，确定下一次的临时同步日期；基于所述临时同步日期，应用所述假日表中的日期信息，确定下一次的实际同步日期，并将...

【专利技术属性】
技术研发人员：陈浩，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：