数据加载的批处理控制方法、装置、电子设备及存储介质制造方法及图纸

本申请关于一种数据加载的批处理控制方法、装置、电子设备及存储介质，涉及计算机技术领域，所述方法包括：根据产品输入参数，从通用配置文件中的预设关联关系中获取文件信息，所述预设关联关系包括所述产品输入参数与对应数据文件的文件信息之间的对应关系；根据所述文件信息，从文件系统中获取相关的数据文件集合，并从所述数据文件集合中确定目标数据文件；将所述目标数据文件中的数据加载到目标数据库的中间表中；将所述中间表与所述目标数据库中的目标正表进行切换，以完成数据加载。本申请实施例的数据加载的批处理控制方法通过采用通用配置文件实现参数化设置和通用化设置，满足不同的业务需求，提高了代码复用率，提高了工作效率，节省了时间和人工成本。节省了时间和人工成本。节省了时间和人工成本。

【技术实现步骤摘要】
数据加载的批处理控制方法、装置、电子设备及存储介质


[0001]本涉及计算机技术，尤其涉及一种数据加载的批处理控制方法、装置、电子设备及存储介质。

技术介绍

[0002]大量数据的处理对金融产品服务的维稳和输出起着至关重要的作用。金融产品的数据根据来源可分为行内数据和行外数据，根据是否通过交易传数可以分为联机传数和批量传数。行内的不同系统不同组件间常需要进行批量数据传输，从一个系统的数据库里取出数据生成数据流源文件，通过网络文件传输NFT技术传输到其他系统生成目标文件，目标系统需要将目标文件解析并加载到数据库表中，从而供目标系统的联机服务使用。
[0003]相关技术是特定产品的特定数据采用针对性处理，即数据处理都是定制化的，工作量大，成本高，处理效率低，响应速度慢，不利于代码管理与迭代优化。而且处理过程中的完全鲁棒性差，存在安全隐患。

技术实现思路

[0004]本申请提供数据加载的批处理控制方法、装置、电子设备及存储介质，以至少解决数据加载效率低的问题。本申请的技术方案如下：
[0005]根据本申请实施例的第一方面，提供一种数据加载的批处理控制方法，包括：
[0006]根据产品输入参数，从通用配置文件中的预设关联关系中获取文件信息，所述预设关联关系包括所述产品输入参数与对应数据文件的文件信息之间的对应关系；
[0007]根据所述文件信息，从文件系统中获取相关的数据文件集合，并从所述数据文件集合中确定目标数据文件；
[0008]将所述目标数据文件中的数据加载到目标数据库的中间表中；
[0009]将所述中间表与所述目标数据库中的目标正表进行切换，以完成数据加载。
[0010]根据本申请实施例的第二方面，提供一种数据加载的批处理控制装置，包括：
[0011]获取模块，被配置为根据产品输入参数，从通用配置文件中的预设关联关系中获取文件信息，所述预设关联关系包括所述产品输入参数与对应数据文件的文件信息之间的对应关系；
[0012]确定模块，被配置为根据所述文件信息，从文件系统中获取相关的数据文件集合，并从所述数据文件集合中确定目标数据文件；
[0013]加载模块，被配置为将所述目标数据文件中的数据加载到目标数据库的中间表中；
[0014]切表模块，被配置为将所述中间表与所述目标数据库中的目标正表进行切换，以完成数据加载。
[0015]根据本申请实施例的第三方面，提供一种电子设备，包括：
[0016]处理器；
[0017]用于存储所述处理器可执行指令的存储器；
[0018]其中，所述处理器被配置为执行所述指令，以实现第一方面所述的数据加载的批处理控制方法。
[0019]根据本申请实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行第一方面所述的数据加载的批处理控制方法。
[0020]根据本申请实施例的第五方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。
[0021]本申请的实施例提供的技术方案至少带来以下有益效果：
[0022]本申请实施例的数据加载的批处理控制方法通过采用通用配置文件实现参数化设置和通用化设置，满足不同的业务需求，应用范围大、适用性广，补充了现有的数据处理体系。提高了代码复用率，迭代优化时只需要修改一份代码即可适用所有产品的数据处理，极大地提高了工作效率，节省了大量的时间和人工成本。
[0023]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0024]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
[0025]图1是根据第一实施例示出的一种数据加载的批处理控制方法的流程图。
[0026]图2是根据第二实施例示出的一种数据加载的批处理控制方法的流程图。
[0027]图3是根据第三实施例示出的一种数据加载的批处理控制方法的流程图。
[0028]图4是根据第四实施例示出的一种数据加载的批处理控制方法的流程图。
[0029]图5是根据第五实施例示出的一种数据加载的批处理控制方法的流程图。
[0030]图6是根据第六实施例示出的一种数据加载的批处理控制方法的流程图。
[0031]图7是根据第七实施例示出的一种数据加载的批处理控制装置的框图。
[0032]图8是根据第八实施例示出的一种数据加载的批处理控制装置的框图。
[0033]图9是根据一示例性实施例示出的一种计算机设备的框图。
具体实施方式
[0034]为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0035]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0036]术语解释：
[0037]批处理：本申请中的批处理是指对大量具有一定相似性的数据进行统一的处理，使之可以在不影响应用服务的情况下，将不同产品不同用途的数据从文件装载进特定的数据库表中，供给信贷服务使用。
[0038]目标正表：在本申请中用于表示待加载数据的数据库表。
[0039]中间表：本申请中的中间表作为数据加载到目标正表之前的暂存表，然后在将中间表与目标正表进行切表处理。
[0040]历史表：本申请中的历史表作为表切换时的中间媒介。
[0041]对于银行业，大量数据的处理对金融产品服务的维稳和输出起着至关重要的作用。金融产品的数据根据来源可分为行内数据和行外数据，根据是否通过交易传数可以分为联机传数和批量传数。行内的不同系统不同组件间常需要进行批量数据传输，从一个系统的数据库里取出数据生成数据流源文件，通过网络文件传输(NFT)技术传输到其他系统生成目标文件，目标系统需要将目标文件解析并加载到目标数据库表中，从而供目标系统的联机服务使用。
[0042]目前普遍的数据处理都是定制化的，无法处理对多样化的数据，且处理过程中没有过多地考虑安全性鲁棒性，存在安全隐患。目前特定产品的特定数据采用针对性处理，工作量大成本高，处理效率低响应速度慢，不利于代码管理与迭代优化，而且鲁棒性差，遇到脏数据将会导致所有数据无法加载，还存在一些安全隐患。且对数据文件不作判断和控制，装载多份较大的全量文件比较耗时、耗资源，甚至可能发生旧数据覆盖原表新数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加载的批处理控制方法，其特征在于，包括：根据产品输入参数，从通用配置文件中的预设关联关系中获取文件信息，所述预设关联关系包括所述产品输入参数与对应数据文件的文件信息之间的对应关系；根据所述文件信息，从文件系统中获取相关的数据文件集合，并从所述数据文件集合中确定目标数据文件；将所述目标数据文件中的数据加载到目标数据库的中间表中；将所述中间表与所述目标数据库中的目标正表进行切换，以完成数据加载。2.根据权利要求1所述的方法，其特征在于，所述从所述数据文件集合中确定目标数据文件，包括：按照数据日期将所述数据文件集合中的多个数据文件进行排序，确定数据日期最大的第一数据文件；获取所述产品输入参数对应的目标数据库表中的数据的记录日期；响应于所述第一数据文件的数据日期大于所述记录日期，将所述第一数据文件作为目标数据文件。3.根据权利要求2所述的方法，其特征在于，所述从所述数据文件集合中确定目标数据文件，还包括：响应于所述第一数据文件的数据日期小于或等于所述记录日期，终止批处理控制流程。4.根据权利要求1所述的方法，其特征在于，所述从所述数据文件集合中确定目标数据文件，还包括：响应于所述数据文件集合中的数据文件均为空文件，终止批处理控制流程。5.根据权利要求1所述的方法，其特征在于，所述将所述目标数据文件中的数据加载到目标数据库的中间表中之前，所述方法还包括：响应于所述目标数据库中有中间表，删除所述中间表并新建中间表，其中，所述新建中间表中没有索引；响应于所述目标数据库中没有中间表，新建中间表，其中，所述新建中间表中没有索引；响应于所述目标正表的索引名与中间表索引模板中预设的中间表索引命名规则发生冲突，则按照预设修改规则修正所述目标正表的索引名。6.根据权利要求1所述的方法，其特征在于，在将所述目标数据文件中的数据加载到目标数据库的中间表中之后，所述方法还包括：获取日志文件，所述日志文件为将所述目标数据文件中的数据加载到目标数据库的中间表中时产生的日志文件；响应于所述日志文件为正常状态，从所述日志文件中提取成功加载记录数和总加载记录数，并根据所述成功加载记录数和总加载记录数计算数据加载成功率；响应于所述成功率大于预设的成功率阈值，继续批处理控制流程；响应于所述成功率小于或等于预设的成功率阈值，终止批处理控制流程。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：响应于所述日志文件为损坏状态，终止批处理控制流程。
8.根据权利要求6所述的方法，其特征在于，在将所述目标数据文件中的数据加载到目标数据库的中间表中之后，所述方法还包括：响应于未生成日志文件，终止批处理控制流程。9.根据权利要求1所述的方法，其特征在于，在所述将所述中间表与所述目标数据库中的待加载数据的目标正表进行切换之前，所述方法还包括：为所述中间表创建索引，并更新所述中间表的数据量和索引统计信息。10.根据权利要求9所述的方法，其特征在于，在所述将所述中间表与所述目标数据库中的待加载数据的目标正表进行切换之前，所述方法还包括：响应于所述目标数据库中存在历史表，删除所述历史表后再新建历史表；响应于所述目标数据库中不存在历史表，新建历史表；将所述目标正表的索引切换为所述历史表的索引，将所述中间表的索引切换为所述目标正表的索引，将所述历史表的索引切换为所述中间表的索引。11.根据权利要求10所述的方法，其特征在于，所述将所述中间表与所述目标数据库中的待加载数据的目标正表进行切换，包括：将目标正表切换为所述历史表，将所述中间表切换为所述目标正表，再将所述历史表切换为所述中间表，完成所述目标正表与所述中间表的切换。12.一种数据加载的批处理控制装置，其特征在于，包括：获取模块，被配置为根据产品输入参数，从通用配置文件中的预设关联关系中获取文件信息，所述预设关联关系包括所述产品输入参数与对应数据文件的文件信息之间的对应关系；确...

【专利技术属性】
技术研发人员：黄舒兰，刘侃，梁剑伟，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：