一种数据处理方法、装置、服务器、存储介质及产品制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、服务器、存储介质及计算机程序产品，涉及大数据领域。该方法包括：获取待处理数据文件的数据字段定义和配置信息；根据目标数据库类型选择对应的脚本模板，基于脚本模板和数据字段定义生成数据处理脚本，执行数据处理脚本将待处理数据文件中的数据记录加载到目标数据库的临时表；根据配置信息中的数据处理要求，将临时表中的数据记录同步至目标表。本发明专利技术实施例通过配置脚本模板和数据处理要求，实现数据记录的可扩展及配置化的加载方式，解决因对不同的处理要求单独开发导致的开发工作复杂以及开发效率低的问题，实现缩短开发工作的时间的效果。的效果。的效果。

【技术实现步骤摘要】
一种数据处理方法、装置、服务器、存储介质及产品


[0001]本专利技术实施例涉及大数据领域，尤其涉及一种数据处理方法、装置、服务器、存储介质及计算机程序产品。

技术介绍

[0002]对于分布式系统来说，每个子系统都会产生数据，每个子系统均可能使用其它子系统产生的数据。比如，金融领域的各个组件系统之间可能存在同步机构员工、客户信息等基础数据，以及，同步贷款、支付结算等业务数据的需求。
[0003]目前，技术人员针对每个数据同步需求设计数据同步流程，并基于数据同步流程开发程序代码。由于现实中数据同步需求是多种多样的，上述数据同步实现方式会增加开发工作的复杂度、降低开发效率，增加开发工作的时间。

技术实现思路

[0004]本专利技术实施例提供了一种数据处理方法、装置、服务器、存储介质及计算机程序产品，可以简化开发工作的复杂度、提高开发效率，缩短开发工作的时间。
[0005]第一方面，本专利技术实施例提供了一种数据处理方法，包括：
[0006]获取待处理数据文件的数据字段定义和配置信息；
[0007]根据目标数据库类型选择对应的脚本模板，基于脚本模板和数据字段定义生成数据处理脚本，执行数据处理脚本将待处理数据文件中的数据记录加载到目标数据库的临时表；
[0008]根据配置信息中的数据处理要求，将临时表中的数据记录同步至目标表。
[0009]第二方面，本专利技术实施例还提供了一种数据处理装置，该装置包括：
[0010]信息获取模块，用于获取待处理数据文件的数据字段定义和配置信息；
[0011]脚本生成模块，用于根据目标数据库类型选择对应的脚本模板，基于脚本模板和数据字段定义生成数据处理脚本，执行数据处理脚本将待处理数据文件中的数据记录加载到目标数据库的临时表；
[0012]数据同步模块，用于根据配置信息中的数据处理要求，将临时表中的数据记录同步至目标表。
[0013]第三方面，本专利技术实施例还提供了一种服务器，该服务器包括：
[0014]一个或多个处理器；
[0015]存储器，用于存储一个或多个程序，
[0016]当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本专利技术任意实施例提供的数据处理方法。
[0017]第四方面，本专利技术实施例提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如本专利技术任意实施例的数据处理方法。
[0018]第五方面，本专利技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计
算机程序在被处理器执行时实现如本专利技术任意实施例所述的数据处理方法。
[0019]本专利技术实施例提供一种数据处理方法、装置、服务器、存储介质及计算机程序产品，在获取到待处理的数据文件对应的数据字段定义之后，根据目标数据库类型选择脚本模板，基于数据字段定义和脚本模板生成数据处理脚本，通过数据处理脚本将待处理数据文件中的数据记录加载到目标数据库的临时表；根据配置信息中的数据处理要求，将临时表中的数据记录同步至目标表。本专利技术实施例通过配置脚本模板和数据处理要求，实现数据记录的可扩展及配置化的加载方式，解决因对不同的处理要求单独开发导致的开发工作复杂以及开发效率低的问题，实现缩短开发工作的时间的效果。
附图说明
[0020]图1为本专利技术实施例提供的一种数据处理方法的流程图；
[0021]图2a为本专利技术实施例提供的另一种数据处理方法的流程图；
[0022]图2b是一种目标表与临时表同步数据的实现方法流程图；
[0023]图3为本专利技术实施例提供的又一种数据处理方法的流程图；
[0024]图4为本专利技术实施例提供的一种数据处理方法的整体流程图；
[0025]图5为本专利技术实施例提供的一种数据处理装置的结构框图；
[0026]图6为本专利技术提供的一种服务器的结构示意图。
具体实施方式
[0027]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0028]金融系统往往采用分布式系统架构。每个系统都会产生各自系统的数据，一个系统的数据可能被其它关联的系统使用。比如，金融领域的各个组件系统之间可能存在同步机构员工、客户信息等基础数据，以及，同步贷款、支付结算等业务数据的需求。
[0029]正在开发的系统与已经上线的系统，可能会有新增同步数据的需求。不同的数据同步需求可能有不同的要求。例如，数据同步的目标数据库有的是oracle，有的是mysql。有的同步数据前需要做一些前置处理，有的数据同步时，字段要做些简单加工。有的系统想以副本表(目标表数据结构与源系统的表相同或相似)的形式同步数据，有的只想要同步当天的变化数据，不需要同步所有数据。
[0030]例如，在接收到源系统发送的数据文件之后，开发人员解析数据字段与字段类型，基于分析得到的数据字段与数据类型，根据目标系统使用的数据库类型，编写数据库入库程序，执行数据库入库程序将数据文件加载到目标系统数据库的临时表。然后，编写数据同步程序，执行数据同步程序将临时表中的数据文件同步至目标表。综上可知，由于数据同步需求多种多样，如果针对每个数据同步需求都做较多的开发，大大增加了开发工作的复杂度，降低了开发效率。
[0031]图1为本专利技术实施例提供的一种数据处理方法的流程图，本实施例可适用于分布式系统的不同子系统间同步数据的情况，该方法可以由数据处理装置来执行，该装置可有由软件和/或硬件实现，并配置于服务器中。如图1所示，该方法包括：
[0032]步骤110、获取待处理数据文件的数据字段定义和配置信息。
[0033]其中，待处理数据文件是源系统发送给目标系统的待同步的数据。
[0034]在数据同步场景中，源系统是提供数据文件的系统，而目标系统是请求同步数据的系统，目标系统需要使用源系统产生的数据。例如，如果系统B向系统A请求数据同步，那么系统B是目标系统，系统A是源系统。如果系统B向系统A请求数据同步，且系统C向系统A请求数据同步，那么，在系统A
‑
B之间的数据同步操作中，系统B是目标系统，系统A是源系统。在系统B
‑
C之间的数据同步操作中，系统B是源系统，系统C是目标系统。数据源系统和目标系统可以同属于同一分布式系统，或者属于不同的分布式系统。在目标系统需要使用源系统产生的数据时，向源系统发送数据同步请求。源系统响应于目标系统的数据同步请求，发送待处理数据文件给目标系统。
[0035]数据字段定义用于对待处理数据文件包含的字段进行规定。具体地，数据字段定义可以包括字段长度规定、字段分隔方式规定、以及字段类型规定等。可以按照数据字段定义中规定的方式解析数据文件，得到文件中包括的字段以及每个字段的数据类型等。
[0036]可选地，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据文件的数据字段定义和配置信息；根据目标数据库类型选择对应的脚本模板，基于所述脚本模板和所述数据字段定义生成数据处理脚本，执行所述数据处理脚本将所述待处理数据文件中的数据记录加载到目标数据库的临时表；根据所述配置信息中的数据处理要求，将所述临时表中的数据记录同步至目标表。2.根据权利要求1所述的方法，其特征在于，在获取待处理数据文件的数据字段定义之前，还包括：判断是否存在待处理文件对应的数据定义文件；若是，则通过数据定义文件处理接口解析所述数据定义文件，得到所述待处理数据文件的数据字段定义，关联存储所述数据字段定义与所述待处理数据文件的文件标识。3.根据权利要求2所述的方法，其特征在于，获取待处理数据文件的数据字段定义包括：基于所述待处理数据文件的文件标识查询所述目标数据库，得到所述待处理数据文件的数据字段定义。4.根据权利要求1所述的方法，其特征在于，获取待处理数据文件的数据字段定义包括：确定所述待处理数据文件的文件标识，根据所述文件标识查询所述配置信息，得到所述待处理数据文件的数据字段定义。5.根据权利要求1所述的方法，其特征在于，基于所述脚本模板和所述数据字段定义生成数据处理脚本，包括：将所述数据字段定义中的目标字段填充至所述脚本模板生成数据处理脚本。6.根据权利要求5所述的方法，其特征在于，将所述数据字段定义中的目标字段填充至所述脚本模板生成数据处理脚本，包括：确定所述脚本模板中待填充字段的类型信息；根据所述类型信息查询所述数据字段定义确定目标字段，将所述目标字段填充至所述脚本模板得到数据处理脚本。7.根据权利要求1所述的方法，其特征在于，根据所述配置信息中的数据处理要求，将所述临时表中的数据记录同步至目标表，包括：获取所述配置信息中的数据处理要求；根据所述数据处理要求，将所述临时表中的数据记录同步至所述目标数据库中的目标表。8.根据权利要求7所述的方法，其特征在于，所述数据处理要求包括下述至少一种：全量数据同步、增量数据同步和删除数据同步。9.根据权利要求7所述的方法，其特征在于，根据所述数据处理要求，将所述临时表中的数据记录同步至所述目标数据库中的目标表，包括：在所述数据处理要求是所述全量数据同步时，清空所述目标表中的数据记录，将所述临时表中全部数据记录插入清空后的目标表；在所述数据处理要求是所述增量数据同步时，分别匹配所述临时表与所述目标表的主
键，根据匹配结果基于所述临时表的数据记录更新所述目标表；...

【专利技术属性】
技术研发人员：陈伟华，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：