配置驱动的轻量级批量数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种配置驱动的轻量级批量数据处理方法及装置，涉及自动程序设计领域，包括：初始化环境变量；基于作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理；作业配置文件中配置有完成一个任务所需的具有先后顺序的步骤信息；基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件，已定义的处理器执行对应的步骤，步骤配置文件中配置有每一步骤的运行参数；基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中；基于业务日期获取相应的业务数据；基于业务数据运行已定义的处理器，直到所有步骤均已经处理完成。本发明专利技术通过配置驱动的轻量级批量处理框架，满足短时间内完成批量数据处理的工作。

【技术实现步骤摘要】
配置驱动的轻量级批量数据处理方法及装置
本专利技术涉及自动程序设计领域中的批量数据处理
，尤其涉及配置驱动的轻量级批量数据处理方法及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。现有大部分批处理场景通过编写代码方式实现，灵活性较高，但是编码人员的能力却参差不齐，这样容易引入新问题和导致代码冗余。当存在批量修改内容时，需要修改分散在各处的源码，容易出现修改不完整和带入更多的问题。
技术实现思路
本专利技术实施例提供一种配置驱动的轻量级批量数据处理方法，用以解决存在批量修改内容时，需要修改分散在各处的源码，容易出现修改不完整和带入更多的问题，该方法包括：输入作业配置文件名和业务日期；初始化环境变量；基于所述作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理；其中，所述作业配置文件中配置有完成一个任务所需的具有先后顺序的步骤信息；基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件；其中本文档来自技高网...

【技术保护点】
1.一种配置驱动的轻量级批量数据处理方法，其特征在于，包括：/n输入作业配置文件名和业务日期；/n初始化环境变量；/n基于所述作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理；其中，所述作业配置文件中配置有完成一个任务所需的具有先后顺序的步骤信息；/n基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件；其中，所述已定义的处理器用于执行对应的步骤，所述步骤配置文件中配置有每一步骤的运行参数；/n基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中；/n基于业务日期获取相应的业务数据；/n基于所述业务数据运行已定义的处理器，直到所有步骤均已经处理完成。/n

【技术特征摘要】
1.一种配置驱动的轻量级批量数据处理方法，其特征在于，包括：
输入作业配置文件名和业务日期；
初始化环境变量；
基于所述作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理；其中，所述作业配置文件中配置有完成一个任务所需的具有先后顺序的步骤信息；
基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件；其中，所述已定义的处理器用于执行对应的步骤，所述步骤配置文件中配置有每一步骤的运行参数；
基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中；
基于业务日期获取相应的业务数据；
基于所述业务数据运行已定义的处理器，直到所有步骤均已经处理完成。


2.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，初始化环境变量，包括：
设置数据文件的保存路径；
设置配置驱动的轻量级批量数据处理程序运行日期。


3.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，基于所述作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理，包括：
基于所述作业配置文件名，获取已配置的作业配置文件，判断是否存在下一个步骤，若存在，则从已配置的作业配置文件中获取第一个步骤信息，若不存在，则结束；
基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件，包括：
基于第一个步骤信息查找相应的已定义的处理器和已配置的步骤配置文件；
基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中，包括：
基于第一个步骤对应的已配置的步骤配置文件，将第一个步骤的运行参数注入到已定义的处理器中；
基于所述业务数据运行已定义的处理器，直到所有步骤均已经处理完成，包括：
基于所述业务数据运行已定义的处理器，完成第一个步骤处理，重新回到下一个步骤的判断，直到所有步骤均已经处理完成。


4.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中，包括：
对已配置的步骤配置文件进行解析，获得对应的步骤的运行参数；
将对应的步骤的运行参数注入到已定义的处理器中。


5.如权利要求2所述的配置驱动的轻量级批量数据处理方法，其特征在于，还包括：
基于所述业务数据运行已定义的处理器后，获得运行结果数据，将所述运行结果数据按照设置的数据文件的保存路径进行保存。


6.如权利要求2所述的配置驱动的轻量级批量数据处理方法，其特征在于，还包括：
基于所述业务数据运行已定义的处理器后，获得程序运行日志，将所述程序运行日志按照设置的数据文件的保存路径进行保存。


7.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，所述作业配置文件和步骤配置文件的内容以excel形式存储。


8.如权利要求7所述的配置驱动的轻量级批量数据处理方法，其特征在于，所述作业配置文件中的步骤信息包括是否生效信息、步骤ID、步骤分类信息、配置文件信息、配置页面信息、配置ID、步骤描述信息和备注信息；
其中，是否生效信息表明该步骤是否执行；步骤分类信息表明该步骤对应的指定处理器；配置文件信息表明该步骤对应的已配置的步骤配置文件名；配置页面信息表明该步骤对应的已配置的步骤配置文件中excel页面名称。


9.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，所述作业配置文件中的步骤信息以行为单位进行存储，每行代表一条步骤记录，每条步骤记录都是一个json字符串；
获取已配置的作业配置文件，逐步骤进行处理，包括：
获取已配置的作业配置文件，从所述作业配置文件中逐行读取步骤进行处理。


10.如权利要求1所述的配置驱动的轻量级批量数据处理方法，其特征在于，还包括：
预设本地数据存储格式；
将运行处理器获得的每一步骤的处理结果按照预设本地数据存储格式进行存储。


11...

【专利技术属性】
技术研发人员：杨有为，刘庆文，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：上海;31