【技术实现步骤摘要】
一种批处理任务的处理方法和装置
本专利技术涉及计算机
,尤其涉及一种批处理任务的处理方法和装置。
技术介绍
对于每一个应用系统,如信贷流程管理系统、贷款系统、存款系统、支付结算系统等等,都有后台定时接收外系统的数据、加工处理数据、将处理数据提供本系统业务、以及提供给外系统数据的需求,这些功能需求整合起来,就是批处理工程。在实际情况中,应用系统新增了一个功能,可能会需要依赖其他系统的数据,同样其他系统也可能会需要本系统新增的功能的业务数据,本系统内还可能会有需要定时加工数据的要求。在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:一般批处理开发,可能需要较多的编码工作,并且上线时往往需要重启批处理工程。重启批处理工程,就必须要考虑是否会影响当前正在运行的批处理任务、以及是否会影响即将运行的批处理任务。这样每一次上线,都需要很多分析工作或者相对复杂的上线部署操作。
技术实现思路
有鉴于此,本专利技术实施例提供一种批处理任务的处理方法和装置,能够解决现有批处理工程开发效率低、上线复 ...
【技术保护点】
1.一种批处理任务的处理方法,其特征在于,包括:/n监控到满足批处理任务的预设触发条件,则获取所述批处理任务的配置信息;/n根据所述配置信息,查询数据库配置表,获取所述批处理任务待处理的服务类,进而调用相应的通用服务类作业,以对批处理任务进行处理。/n
【技术特征摘要】
1.一种批处理任务的处理方法,其特征在于,包括:
监控到满足批处理任务的预设触发条件,则获取所述批处理任务的配置信息;
根据所述配置信息,查询数据库配置表,获取所述批处理任务待处理的服务类,进而调用相应的通用服务类作业,以对批处理任务进行处理。
2.根据权利要求1所述的方法,其特征在于,包括:
监控到批处理任务的启动时间到达或者批处理任务依赖的上游系统数据处理完成,获取所述批处理任务的配置信息。
3.根据权利要求1所述的方法,其特征在于,调用相应的通用服务类作业,以对批处理任务进行处理,包括:
如果调用的通用服务类作业为通用接数作业,则根据数据库配置的DDL文件全路径,读取并解析DDL文件,生成数据库文件加载的配置文件,进而基于所述配置文件调用数据库的服务加载文件入库到根据DDL文件生成的落地表中。
4.根据权利要求3所述的方法,其特征在于,基于所述配置文件调用数据库的服务加载文件入库到根据DDL文件生成的落地表中,包括:
判断数据库配置表中的第一目标字段是否为空,若否则调用数据库的服务加载文件入库到根据DDL文件生成的落地表中,执行第一目标字段配置的SQL语句,以将所述落地表加工到目标表;若是则根据数据库配置中的第二目标字段的类型,利用相应的加工模型,将所述落地表加工到目标表。
5.根据权利要求4所述的方法,其特征在于,根据数据库配置中的第二目标字段的类型,利用相应的加工模型,将所述落地表加工到目标表,包括:
判断数据库配置中的第二目标字段的类型是否为全量数据,若是则采用truncate语句对目标表进行处理,然后再通过insert语句...
【专利技术属性】
技术研发人员:陈伟华,
申请(专利权)人:建信金融科技有限责任公司,
类型:发明
国别省市:上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。