一种数据处理方法、装置、服务器、存储介质及产品制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、服务器、存储介质及计算机程序产品，涉及大数据领域。该方法包括：获取待处理数据文件的数据字段定义和配置信息；根据目标数据库类型选择对应的脚本模板，基于脚本模板和数据字段定义生成数据处理脚本，执行数据处理脚本将待处理数据文件中的数据记录加载到目标数据库的临时表；根据配置信息中的数据处理要求，将临时表中的数据记录同步至目标表。本发明专利技术实施例通过配置脚本模板和数据处理要求，实现数据记录的可扩展及配置化的加载方式，解决因对不同的处理要求单独开发导致的开发工作复杂以及开发效率低的问题，实现缩短开发工作的时间的效果。的效果。的效果。

【技术实现步骤摘要】
一种数据处理方法、装置、服务器、存储介质及产品


[0001]本专利技术实施例涉及大数据领域，尤其涉及一种数据处理方法、装置、服务器、存储介质及计算机程序产品。

技术介绍

[0002]对于分布式系统来说，每个子系统都会产生数据，每个子系统均可能使用其它子系统产生的数据。比如，金融领域的各个组件系统之间可能存在同步机构员工、客户信息等基础数据，以及，同步贷款、支付结算等业务数据的需求。
[0003]目前，技术人员针对每个数据同步需求设计数据同步流程，并基于数据同步流程开发程序代码。由于现实中数据同步需求是多种多样的，上述数据同步实现方式会增加开发工作的复杂度、降低开发效率，增加开发工作的时间。

技术实现思路

[0004]本专利技术实施例提供了一种数据处理方法、装置、服务器、存储介质及计算机程序产品，可以简化开发工作的复杂度、提高开发效率，缩短开发工作的时间。
[0005]第一方面，本专利技术实施例提供了一种数据处理方法，包括：
[0006]获取待处理数据文件的数据字段定义和配置信息；/>[0007]根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据文件的数据字段定义和配置信息；根据目标数据库类型选择对应的脚本模板，基于所述脚本模板和所述数据字段定义生成数据处理脚本，执行所述数据处理脚本将所述待处理数据文件中的数据记录加载到目标数据库的临时表；根据所述配置信息中的数据处理要求，将所述临时表中的数据记录同步至目标表。2.根据权利要求1所述的方法，其特征在于，在获取待处理数据文件的数据字段定义之前，还包括：判断是否存在待处理文件对应的数据定义文件；若是，则通过数据定义文件处理接口解析所述数据定义文件，得到所述待处理数据文件的数据字段定义，关联存储所述数据字段定义与所述待处理数据文件的文件标识。3.根据权利要求2所述的方法，其特征在于，获取待处理数据文件的数据字段定义包括：基于所述待处理数据文件的文件标识查询所述目标数据库，得到所述待处理数据文件的数据字段定义。4.根据权利要求1所述的方法，其特征在于，获取待处理数据文件的数据字段定义包括：确定所述待处理数据文件的文件标识，根据所述文件标识查询所述配置信息，得到所述待处理数据文件的数据字段定义。5.根据权利要求1所述的方法，其特征在于，基于所述脚本模板和所述数据字段定义生成数据处理脚本，包括：将所述数据字段定义中的目标字段填充至所述脚本模板生成数据处理脚本。6.根据权利要求5所述的方法，其特征在于，将所述数据字段定义中的目标字段填充至所述脚本模板生成数据处理脚本，包括：确定所述脚本模板中待填充字段的类型信息；根据所述类型信息查询所述数据字段定义确定目标字段，将所述目标字段填充至所述脚本模板得到数据处理脚本。7.根据权利要求1所述的方法，其特征在于，根据所述配置信息中的数据处理要求，将所述临时表中的数据记录同步至目标表，包括：获取所述配置信息中的数据处理要求；根据所述数据处理要求，将所述临时表中的数据记录同步至所述目标数据库中的目标表。8.根据权利要求7所述的方法，其特征在于，所述数据处理要求包括下述至少一种：全量数据同步、增量数据同步和删除数据同步。9.根据权利要求7所述的方法，其特征在于，根据所述数据处理要求，将所述临时表中的数据记录同步至所述目标数据库中的目标表，包括：在所述数据处理要求是所述全量数据同步时，清空所述目标表中的数据记录，将所述临时表中全部数据记录插入清空后的目标表；在所述数据处理要求是所述增量数据同步时，分别匹配所述临时表与所述目标表的主
键，根据匹配结果基于所述临时表的数据记录更新所述目标表；...

【专利技术属性】
技术研发人员：陈伟华，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：