一种超多数据表处理方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种超多数据表处理方法，包括：配置若干数据表的初始参数；根据所述初始参数，从数据库中抽取待处理数据表；对所述待处理数据表依次进行数据更新处理。通过配置初始参数，能够确定待处理数据表，然后对待处理数据表依次进行数据更新处理，能够减少重复冗余的转换或作业，对于后期的维护增加便捷性。

A Super Multimedia Data Table Processing Method, Device, Equipment and Media

【技术实现步骤摘要】
一种超多数据表处理方法、装置、设备及介质
本专利技术涉及数据处理
，具体涉及一种超多数据表处理方法、装置、设备及介质。
技术介绍
在现有的KETTLE抽数数据、统计等相关操作下，没有相应的批量的循环架构；现有的KETTLE数据抽取在没有框架支持的情况下，在数据库之间的数据抽取、统计等只能一个转换或作业对应一张表，如果有几十甚至更多表的情况下，只能建立相应数量的转换。例如，从源库MYSQL抽取到目标库ORACLE有1000张表，KETTLE没有相应单独的组件或架构可以实现一个转换或一个作业完成这1000张表数据抽取，只能重复1000个相似的转换或作业；同理，在对多表有相同需求的情况下，如数据量统计、表数据删除等，都只能一对一的创建多个对应转换。因此，现有技术中的多表数据处理方法比较冗余，工作效率低且不易维护。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种超多数据表处理方法、装置、设备及介质，能够减少重复冗余的转换或作业，对于后期的维护增加便捷性。第一方面，本专利技术提供了一种超多数据表处理方法，包括：配置若干数据表的初始参数；根据所述初始参数，从数据库中抽取待处理数据表；对所述待处理数据表依次进行数据更新处理。可选的，所述初始参数，包括：数据表类型、数据库IP、数据源类别和数据库用户名中的一种或多种。可选的，所述对所述待处理数据表依次进行数据更新处理，包括：获取第i个待处理数据表的表参数；统计所述第i个待处理数据表的增量数据；将所述增量数据插入预先建立的临时表；根据预先生成的数据增量抽取的抽取语句，基于所述临时表，对所述第i个待处理数据对应的目标表进行插入或更新操作。可选的，在所述根据预先生成的数据增量抽取的抽取语句，基于所述临时表，对所述第i个待处理数据对应的目标表进行插入或更新操作步骤之前，还包括：根据表信息、表字段信息、表字段主键信息和表主键信息，生成数据增量抽取的抽取语句。可选的，在所述统计所述第i个待处理数据表的增量数据的步骤之后，在所述将所述增量数据插入预先建立的临时表的步骤之前，还包括：判断所述增量数据是否为0；若是，则更新预先建立的更新信息表；并处理第i+1个待处理数据表；若否，则执行所述将所述增量数据插入预先建立的临时表的步骤。可选的，在所述将所述增量数据插入预先建立的临时表的步骤之前，还包括：判断是否存在预先建立的临时表；若存在，则清空所述临时表；若不存在，则创建临时表。可选的，还包括：记录数据处理的日志参数。第二方面，本专利技术提供了一种超多数据表处理装置，包括：参数配置模块，用于配置若干数据表的初始参数；数据表抽取模块，用于根据所述初始参数，从数据库中抽取待处理数据表；数据更新模块，用于对所述待处理数据表依次进行数据更新处理。第三方面，本专利技术提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面提供的一种超多数据表处理方法。第四方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面提供的一种超多数据表处理方法。本专利技术提供了一种超多数据表处理方法，包括：配置若干数据表的初始参数；根据所述初始参数，从数据库中抽取待处理数据表；对所述待处理数据表依次进行数据更新处理。通过配置初始参数，能够确定待处理数据表，然后对待处理数据表依次进行数据更新处理，能够减少重复冗余的转换或作业，对于后期的维护增加便捷性。本专利技术提供的一种超多数据表处理装置、一种计算机可读存储介质和一种计算机设备，与上述一种超多数据表处理方法出于相同的专利技术构思，具有相同的有益效果。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1为本专利技术实施例提供的一种超多数据表处理方法的流程图；图2为本专利技术实施例提供的一种KETTLE流程图；图3为本专利技术实施例提供的一种基本配置表的示意图；图4为本专利技术实施例提供的一种失败信息表的示意图；图5为本专利技术实施例提供的一种运行时间表的示意图；图6为本专利技术实施例提供的一种运行状态信息表的示意图；图7为本专利技术实施例提供的一种运行日志表的示意图；图8为本专利技术实施例提供的一种语句生成映射表的示意图；图9为本专利技术实施例提供的一种表字段映射表的示意图；图10为本专利技术实施例提供的一种自动生成数据增量抽取语句的流程图；图11为本专利技术实施例提供的一种获取单表各参数的流程图；图12为本专利技术实施例提供的一种数据量为0时更新日志的流程图；图13为本专利技术实施例提供的一种创建/清空临时表的流程图；图14为本专利技术实施例提供的一种成功时更新相关日志的流程图；图15为本专利技术实施例提供的一种失败时更新相关日志的流程图；图16为本专利技术实施例提供的一种获取日志并写入日志表的流程图；图17为本专利技术实施例提供的一种循环运行过程的流程图；图18为本专利技术实施例提供的一种数据处理主程序的流程图；图19为本专利技术实施例提供的一种数据处理主程序运行失败的流程图；图20为本专利技术实施例提供的一种超多数据表处理装置的示意图；图21为本专利技术实施例提供的一种计算机设备的示意图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只是作为示例，而不能以此来限制本专利技术的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。本专利技术提供了一种超多数据表处理方法、装置、设备及介质。下面结合附图对本专利技术的实施例进行说明。请参考图1，图1为本专利技术具体实施例提供的一种超多数据表处理方法的流程图，本实施例提供的一种超多数据表处理方法，包括：步骤S101：配置若干数据表的初始参数；步骤S102：根据所述初始参数，从数据库中抽取待处理数据表；步骤S103：对所述待处理数据表依次进行数据更新处理。其中，初始参数可以包括：数据表类型、数据库IP、数据源类别和数据库用户名等中的一种或多种。根据初始参数可以限定待处理的数据表。其中，待处理数据表可以为多个数据表。通过配置初始参数，能够确定待处理数据表，然后对待处理数据表依次进行数据更新处理，能够减少重复冗余的转换或作业，对于后期的维护增加便捷性。本专利技术是基于KETTLE框架建立的，此框架可解决相似需求多表批量化运行的要求，包括表数据增量、全量抽取、数据量统计、删除、清空等，均可使用同一套构架进行开发，适用同一套日志表，每种不同需求，只需要在框架原有基础上进行小部分调整，即可应用。在本专利技术执行之前，需要建立多个相关配置表，包括：基本配置表、失败信息表、运行时间表、运行状态信息表、运行日志表、语句生成映射表、表字段映射表等，进行相关信息的记录，然后通过组件间的循环运行，从而达到多表抽数、统计等目的。在对待处理数据表依次进行数据更新处理时，可以包括：本文档来自技高网...

【技术保护点】
1.一种超多数据表处理方法，其特征在于，包括：配置若干数据表的初始参数；根据所述初始参数，从数据库中抽取待处理数据表；对所述待处理数据表依次进行数据更新处理。

【技术特征摘要】
1.一种超多数据表处理方法，其特征在于，包括：配置若干数据表的初始参数；根据所述初始参数，从数据库中抽取待处理数据表；对所述待处理数据表依次进行数据更新处理。2.根据权利要求1所述的方法，其特征在于，所述初始参数，包括：数据表类型、数据库IP、数据源类别和数据库用户名中的一种或多种。3.根据权利要求1所述的方法，其特征在于，所述对所述待处理数据表依次进行数据更新处理，包括：获取第i个待处理数据表的表参数；统计所述第i个待处理数据表的增量数据；将所述增量数据插入预先建立的临时表；根据预先生成的数据增量抽取的抽取语句，基于所述临时表，对所述第i个待处理数据对应的目标表进行插入或更新操作。4.根据权利要求3所述的方法，其特征在于，在所述根据预先生成的数据增量抽取的抽取语句，基于所述临时表，对所述第i个待处理数据对应的目标表进行插入或更新操作步骤之前，还包括：根据表信息、表字段信息、表字段主键信息和表主键信息，生成数据增量抽取的抽取语句。5.根据权利要求3所述的方法，其特征在于，在所述统计所述第i个待处理数据表的增量数据的步骤之后，在所述将所述增量数据插入预先建立的临时表的步骤之前，还包括：判断所述增量数据是否为0；若是，则...

【专利技术属性】
技术研发人员：武刚，潘晓军，贺智博，
申请(专利权)人：深圳市大数据资源管理中心，
类型：发明
国别省市：广东,44