一种表变更处理方法及系统技术方案

本发明专利技术提供一种表变更处理方法及系统，该方法包括：基于数据采集任务，获取第一表结构数据信息和第二表结构数据信息；若第一表结构数据信息与第二表结构数据信息之间的版本基线存在区别，生成对应的表变更触发信息；根据表变更触发信息，对目标端数据库中的表结构数据信息进行变更，获取第三表结构数据信息；基于第三表结构数据信息，将源端数据库中的数据采集到目标端数据库中。本发明专利技术将当前源端数据库的表结构数据信息，与上一次数据采集任务时源端数据库的表结构数据信息进行比对，进而对目标数据库的表结构进行变更，避免了以人工方式对下游数据结构进行变更，提高数据采集效率。率。率。

【技术实现步骤摘要】
一种表变更处理方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种表变更处理方法及系统。

技术介绍

[0002]当前信息科技正处于大数据技术发展时代，越来越多的大中型企业正在建设自己的大数据平台。而建设大数据平台的第一步就是实现数据集中，形成自己的数据湖或者数据仓库。因此，企业一般都会有自己的数据采集工具或者平台来支撑外部数据的入湖和入仓功能。
[0003]现有数据仓库技术，主要是利用ETL(Extract Transform Load)的设计实现，即数据抽取、数据的清洗转换、数据的加载。虽然现有ETL工具，如dataX、FLinkX、Kettle等都已经非常成熟，它们大大减少了数据集成的开发工作量，但是目前还存在一个无法回避的问题：当源数据库系统的数据结构发生变化后，这些工具或者平台无法自动更新目标端的表数据结构，以及原有的数据采集任务信息。而绝大部分企业针对上述问题，还是依靠人工的方式进行目标端的表数据结构更新和原数据采集任务的变更、重启，导致数据采集效率降低。
[0004]因此，现在亟需一种表变更处理方法及系统来解决上述问题。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种表变更处理方法及系统。
[0006]本专利技术提供一种表变更处理方法，包括：
[0007]基于数据采集任务，获取第一表结构数据信息和第二表结构数据信息，其中，所述第一表结构数据信息为当前时刻源端数据库中对应的表结构数据信息；所述第二表结构数据信息为上一次数据采集时所述源端数据库中对应的表结构数据信息；
[0008]若所述第一表结构数据信息与所述第二表结构数据信息之间的版本基线存在区别，生成对应的表变更触发信息；
[0009]根据所述表变更触发信息，对目标端数据库中的表结构数据信息进行变更，获取第三表结构数据信息；
[0010]基于所述第三表结构数据信息，将所述源端数据库中的数据采集到所述目标端数据库中。
[0011]根据本专利技术提供的一种表变更处理方法，所述根据所述表变更触发信息，对目标端数据库中的表结构数据信息进行变更，获取第三表结构数据信息，包括：
[0012]根据所述表变更触发信息，确定表结构变更方式；
[0013]通过所述表结构变更方式和所述数据采集任务，变更所述目标端数据库中对应的表结构，并基于变更后的表结构，更新表结构映射关系，得到更新后的表结构映射关系；
[0014]根据所述变更后的表结构和所述更新后的表结构映射关系，获取第三表结构数据信息。
[0015]根据本专利技术提供的一种表变更处理方法，在所述根据所述表变更触发信息，对目标端数据库中的表结构数据信息进行变更，获取第三表结构数据信息之后，所述方法还包括：
[0016]基于所述更新后的表结构映射关系，对所述数据采集任务中的第一字段映射关系进行更新，得到第二字段映射关系，并保留所述第一字段映射关系；
[0017]其中，所述第一字段映射关系为所述数据采集任务中更新前的字段映射关系；所述第二字段映射关系为所述数据采集任务中更新后的字段映射关系；
[0018]所述基于所述第三表结构数据信息，将所述源端数据库中的数据采集到所述目标端数据库中，包括：
[0019]基于所述第三表结构数据信息和所述第二字段映射关系，将所述源端数据库中的数据采集到所述目标端数据库中。
[0020]根据本专利技术提供的一种表变更处理方法，所述方法还包括：
[0021]获取表变更失败信息；
[0022]若所述表变更失败信息为表结构变更失败的信息，则通过所述表结构变更方式和所述数据采集任务，重新变更所述目标端数据库中对应的表结构；
[0023]若所述表变更失败信息为字段映射关系变更失败的信息，则重新对所述数据采集任务中的第一字段映射关系进行更新。
[0024]根据本专利技术提供的一种表变更处理方法，所述若所述第一表结构数据信息与所述第二表结构数据信息之间的版本基线存在区别，生成对应的表变更触发信息，包括：
[0025]通过MD5算法，分别生成第一MD5值和第二MD5值，其中，所述第一MD5值为所述第一表结构数据信息对应的MD5值，所述第二MD5值为所述第二表结构数据信息对应的MD5值；
[0026]若所述第一MD5值和所述第二MD5值不相同，生成对应的表变更触发信息。
[0027]根据本专利技术提供的一种表变更处理方法，所述基于数据采集任务，获取第一表结构数据信息和第二表结构数据信息，包括：
[0028]根据所述数据采集任务，确定源端数据源信息和数据采集日期；
[0029]根据所述源端数据源信息，确定源端数据库；
[0030]通过所述数据采集日期，从所述源端数据库中获取第一表结构数据信息和第二表结构数据信息。
[0031]本专利技术还提供一种表变更处理系统，包括：
[0032]数据采集任务处理模块，用于基于数据采集任务，获取第一表结构数据信息和第二表结构数据信息，其中，所述第一表结构数据信息为当前时刻源端数据库中对应的表结构数据信息；所述第二表结构数据信息为上一次数据采集时所述源端数据库中对应的表结构数据信息；
[0033]表变更识别模块，用于若所述第一表结构数据信息与所述第二表结构数据信息之间的版本基线存在区别，生成对应的表变更触发信息；
[0034]表变更处理流程控制模块，用于根据所述表变更触发信息，对目标端数据库中的表结构数据信息进行变更，获取第三表结构数据信息；
[0035]数据采集执行模块，用于基于所述第三表结构数据信息，将所述源端数据库中的数据采集到所述目标端数据库中。
[0036]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述表变更处理方法。
[0037]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述表变更处理方法。
[0038]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述表变更处理方法。
[0039]本专利技术提供的一种表变更处理方法及系统，通过将当前数据采集任务时源端数据库的表结构数据信息，与上一次数据采集任务时源端数据库的表结构数据信息进行比对，确定上游数据结构的变更结果，进而自动对目标数据库的表结构数据信息进行变更，避免了以人工方式对下游数据结构进行变更的方式，提高了数据采集效率。
附图说明
[0040]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本专利技术提供的表变更处理方法的流程示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表变更处理方法，其特征在于，包括：基于数据采集任务，获取第一表结构数据信息和第二表结构数据信息，其中，所述第一表结构数据信息为当前时刻源端数据库中对应的表结构数据信息；所述第二表结构数据信息为上一次数据采集时所述源端数据库中对应的表结构数据信息；若所述第一表结构数据信息与所述第二表结构数据信息之间的版本基线存在区别，生成对应的表变更触发信息；根据所述表变更触发信息，对目标端数据库中的表结构数据信息进行变更，获取第三表结构数据信息；基于所述第三表结构数据信息，将所述源端数据库中的数据采集到所述目标端数据库中。2.根据权利要求1所述的表变更处理方法，其特征在于，所述根据所述表变更触发信息，对目标端数据库中的表结构数据信息进行变更，获取第三表结构数据信息，包括：根据所述表变更触发信息，确定表结构变更方式；通过所述表结构变更方式和所述数据采集任务，变更所述目标端数据库中对应的表结构，并基于变更后的表结构，更新表结构映射关系，得到更新后的表结构映射关系；根据所述变更后的表结构和所述更新后的表结构映射关系，获取第三表结构数据信息。3.根据权利要求2所述的表变更处理方法，其特征在于，在所述根据所述表变更触发信息，对目标端数据库中的表结构数据信息进行变更，获取第三表结构数据信息之后，所述方法还包括：基于所述更新后的表结构映射关系，对所述数据采集任务中的第一字段映射关系进行更新，得到第二字段映射关系，并保留所述第一字段映射关系；其中，所述第一字段映射关系为所述数据采集任务中更新前的字段映射关系；所述第二字段映射关系为所述数据采集任务中更新后的字段映射关系；所述基于所述第三表结构数据信息，将所述源端数据库中的数据采集到所述目标端数据库中，包括：基于所述第三表结构数据信息和所述第二字段映射关系，将所述源端数据库中的数据采集到所述目标端数据库中。4.根据权利要求3所述的表变更处理方法，其特征在于，所述方法还包括：获取表变更失败信息；若所述表变更失败信息为表结构变更失败的信息，则通过所述表结构变更方式和所述数据采集任务，重新变更所述目标端数据库中对应的表结构；若所述表变更失败信息为字段映射关系变更失败的信息，则重新对所述数据采集...

【专利技术属性】
技术研发人员：张宜寒，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：