数据批量处理方法及装置制造方法及图纸

本发明专利技术提供了一种数据批量处理方法及装置，可用于分布式技术领域，该方法包括：配置作业文件的导入、导出的字段映射；配置作业的运行参数，所述运行参数包括启动时刻、执行顺序、依赖关系、作业调度频度；在获得目标作业文件需求后，通过导入的字段映射，导入目标作业；读取目标作业文件中所有作业的运行参数；通过SHELL脚本实时扫描每个作业的启动时间，通过CRONTAB启动作业，按照执行顺序、依赖关系，执行所有的作业；在获得目标作业文件执行结果导出命令后，通过导出的字段映射，导出目标作业文件中所有文件的执行结果。本发明专利技术可以高效地实现数据批量处理。实现数据批量处理。实现数据批量处理。

【技术实现步骤摘要】
数据批量处理方法及装置


[0001]本专利技术涉及分布式
，尤其涉及一种数据批量处理方法及装置。

技术介绍

[0002]在大数据下，亟需一种批量处理方案，如果能够获取各个源系统所需的相关数据，通过对数据的分析、分类、清洗处理，建立一个以客户为中心的，为客户提供全面、快捷、灵活的数据支持服务，将有效实现大数据批量处理，而目前缺乏这样一种大数据批量处理方案。

技术实现思路

[0003]本专利技术实施例提出一种数据批量处理方法，用以高效地实现数据批量处理，该方法包括：
[0004]配置作业文件的导入、导出的字段映射；
[0005]配置作业的运行参数，所述运行参数包括启动时刻、执行顺序、依赖关系、作业调度频度；
[0006]在获得目标作业文件需求后，通过导入的字段映射，导入目标作业；
[0007]读取目标作业文件中所有作业的运行参数；
[0008]通过SHELL脚本实时扫描每个作业的启动时间，通过CRONTAB启动作业，按照执行顺序、依赖关系，执行所有的作业；
[0009]在获得目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据批量处理方法，其特征在于，包括：配置作业文件的导入、导出的字段映射；配置作业的运行参数，所述运行参数包括启动时刻、执行顺序、依赖关系、作业调度频度；在获得目标作业文件需求后，通过导入的字段映射，导入目标作业；读取目标作业文件中所有作业的运行参数；通过SHELL脚本实时扫描每个作业的启动时间，通过CRONTAB启动作业，按照执行顺序、依赖关系，执行所有的作业；在获得目标作业文件执行结果导出命令后，通过导出的字段映射，导出目标作业文件中所有文件的执行结果。2.如权利要求1所述的方法，其特征在于，配置作业的运行参数，包括：通过JSP页面配置作业的运行参数。3.如权利要求1所述的方法，其特征在于，所述作业包括多个任务。4.如权利要求1所述的方法，其特征在于，每个作业都有超链接；所述方法还包括：跑批作业日志文件，监控作业的执行状态；在接收到作业的超链接点击命令时，显示作业的执行状态。5.如权利要求1所述的方法，其特征在于，还包括：配置备份参数，所述备份参数包括备份时刻、备份内容；在所述备份时刻，按照备份内容进行备份。6.一种数据批量处理装置，其特征在于，包括：配置模块，用于配置作业文件的导入、导出的字段映射；配置作业的运行参数，所述运行参数包括启动时刻、执行顺序、依赖关系、作业调度频度；导入模块，用于在获得目标作业文件需求后，通过导入的字段映射，导入目标作业；读取模块，用于读取目标作业文件...

【专利技术属性】
技术研发人员：柴康斌，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：