一种基于制造技术

本发明专利技术提供一种基于

【技术实现步骤摘要】
一种基于shell脚本的数据采集装载方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种基于
shell
脚本的数据采集装载方法及系统
。

技术介绍

[0002]在现有软件系统架构中，对上下游系统数据下发与装载，传统的技术有存储过程
、java
方法进行实现，这也是目前主流的两种实现技术，这两种实现方式稳定可靠，灵活度高
。
[0003]但是，上述数据文件由于数量多
、
数据大
、
上下游数据字典不一
、
且部分数据文件需要归档保留历史等问题，采用传统的技术存在较大的局限性，主要体现在稳定性较差，实现方式不够灵活，维护难度较大
。

技术实现思路

[0004]本专利技术提供一种基于
shell
脚本的数据采集装载方法及系统，用以解决现有技术中上下游数据处理采用传统处理方法不够灵活，稳定性较差的缺陷
。
[0005]第一方面，本专利技术提供一种基于
>shell
...

【技术保护点】

【技术特征摘要】
1.
一种基于
shell
脚本的数据采集装载方法，其特征在于，包括：确定业务配置表装载配置，根据所述业务配置表装载配置采用
shell
主程序进行数据采集与装载，生成数据采集装载脚本；利用所述数据采集装载脚本创建数据采集装载文件，基于所述数据采集装载文件对单个待采集装载的数据文件进行调度处理；创建
shell
调度脚本文件，基于所述
shell
调度脚本文件和所述数据采集装载文件对多个待采集装载的数据文件进行调度处理
。2.
根据权利要求1所述的基于
shell
脚本的数据采集装载方法，其特征在于，确定业务配置表装载配置，包括：设置
shell
采集装载过程的基础配置文件，所述基础配置文件包括基础配置信息和固定参数配置信息；设置装载文件配置表，所述装载文件配置表包括装载文件结构名称
。3.
根据权利要求2所述的基于
shell
脚本的数据采集装载方法，其特征在于，根据所述业务配置表装载配置采用
shell
主程序进行数据采集与装载，生成数据采集装载脚本，包括：设置预设参数变量和系统日期变量；确定基础目录存放路径和入参变量状态；引入环境变量文件和所述基础配置文件；根据传入的第一预设参数和第二预设参数，查询所述业务配置表装载配置需要装载的文件详细内容，初始化装载任务；待完成初始化装载任务之后，下载采集数据，生成所述数据采集装载脚本
。4.
根据权利要求1所述的基于
shell
脚本的数据采集装载方法，其特征在于，利用所述数据采集装载脚本创建数据采集装载文件，基于所述数据采集装载文件对单个待采集装载的数据文件进行调度处理，包括：检验所述数据采集装载文件的参数之后下载数据，对下载数据进行解压缩；对解压缩后的文件进行
MD5
检验，待数据合法性验证通过，采用数据泵技术进行数据装载；对装载的数据依次进行增量更新
、
字典映射和日切，完成对所述单个待采集装载的数据文件的调度处理
。5.
根据权利要求4所述的基于
shell
脚本的数据采集装载方法，其特征在于，对装载的数据依次进行增量更新
、
字典映射和日切，...

【专利技术属性】
技术研发人员：段小武，彭磊，杨志文，
申请(专利权)人：武汉众邦银行股份有限公司，
类型：发明
国别省市：