【技术实现步骤摘要】
数据文件加载方法及装置
[0001]本说明书涉及数据文件加载
，特别涉及一种数据文件加载方法及装置。
技术介绍
[0002]目前，针对不同的数据文件，通常配置不同的接口模板进行文件加载。如果源数据因系统原因变更了数据格式，则会导致对外传输的数据发生了变化，进而导致数据使用方因为未及时调整接口而产生问题。不同的外围系统使用不同的数据源而产生的数据格式不同对下游的数据处理也会产生影响。而且，随着外部数据依赖的增加，导致作业数量随之增加，不仅需要针对不同的外部数据开发不同的作业来处理，还需要在调度工具维护更多的作业，以满足业务需要。
[0003]针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本说明书实施例提供了一种数据文件加载方法及装置，以解决现有技术中数据加载时由于源数据格式不同未及时调整接口而导致数据加载错误或失败的问题。
[0005]本说明书实施例提供了一种数据文件加载方法，应用于应用服务器，所述方法包括：
[0006]从数据服务器获取待处理的目标数据文件...
【技术保护点】
【技术特征摘要】
1.一种数据文件加载方法，其特征在于，应用于应用服务器，所述方法包括：从数据服务器获取待处理的目标数据文件以及对应的目标格式文件和目标数据量文件；所述目标格式文件为根据预设格式规范对所述目标数据文件中的字段生成的目标格式类型；所述目标数据量文件用于表征所述目标数据文件中包含的数据量；对目标数据文件以及对应的目标格式文件和目标数据量文件进行校验；在所述目标数据文件以及对应的目标格式文件和目标数据量文件均校验通过的情况下，将所述目标数据文件加载至目标数据库中。2.根据权利要求1所述的数据文件加载方法，其特征在于，从数据服务器获取待处理的目标数据文件以及对应的目标格式文件和目标数据量文件，包括：接收调度服务器发送的作业分配表；所述作业分配表中包括待加载的数据文件标识；所述调度服务器用于从数据服务器获取文件列表，所述文件列表中包括多个数据文件的处理状态，所述调度服务器还用于根据所述多个数据文件的处理状态进行作业调度，生成作业分配表；基于所述作业分配表中的数据文件标识，从所述数据服务器获取待处理的数据文件以及对应的格式文件和数据量文件。3.根据权利要求2所述的数据文件加载方法，其特征在于，所述数据服务器用于接收源服务器传输的数据文件以及对应的格式文件和数据量文件；所述数据服务器还用于检查所述数据文件以及对应的格式文件和数据量文件的传输进度，基于所述传输进度生成消息，并将所述消息发送至分布式发布订阅消息系统；相应的，基于所述作业分配表中的数据文件标识，从所述数据服务器获取待处理的数据文件以及对应的格式文件和数据量文件，包括：基于所述作业分配表中的数据文件标识，从所述分布式发布订阅消息系统订阅所述数据文件标识对应的消息；在所述数据文件标识对应的消息表明传输成功的情况下，从所述数据服务器获取所述数据文件标识对应的数据文件以及对应的格式文件和数据量文件。4.根据权利要求1所述的数据文件加载方法，其特征在于，对目标数据文件以及对应的目标格式文件和目标数据量文件进行校验，包括：对所述目标数据文件的合法性进行校验；在所述目标数据文件的合法性校验通过的情况下，判断接收到的所述目标数据文件的数据量与所述目标数据文件中的数据量是否一致；在判定接收到的所述目标数据文件的数据量与所述目标数据文件中的数据量一致的情况下，判断所述目标格式文件中的目标格式类型与所述目标数据库中涉及的字段格式类型之间是否满足预设条件；在判定所述目标格式文件中的目标格式类型与所述目标数据库中涉及的字段格式类型之间满足预设条件的情况下，确定所述目标数据文件以及对应的目标格式文件和目标数据量文件校验成功。5.根据权利要求4所述的数据文件加载方法，其特征在于，判断所述目标格式文件中的目标格式类型与所述目标数据库中涉及的字段格式类型之间是否满足预设条件，包括：判断所述目标格式文件中的目标格式类型与所述目标数据库中涉及的字段格式类型
是否相同；在判定所述目标格式文件中的目标格式类型与所述目标数据库中涉及的字段格式类型相同的情况下，确定所述目标格式文件中的目标格式类型与所述目标数据库中涉及的字段格式类型之间满足预设条件。6.根据权利要求5所述的数据文件加载方法，其特征在于，在判定所述目标格式文件中的目标格式类型与所述目标数据库中涉及的字段格式类型是否相同之后，还包括：在判定所述目标格式文件中的目标格式类型与所述...
【专利技术属性】
技术研发人员：陶兴，罗巍，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。