一种增量数据卸载和装载的实施工具制造技术

本发明专利技术公开了一种增量数据卸载和装载的实施工具，属于一种数据管理的应用技术，通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理；步骤如下：（1）设置配置文件、公共参数：通过配置文件对源数据库中待抽取表的内容和抽取方式进行描述；（2）运行抽取程序、状态记录：由抽取程序统一调度进行数据抽取，同时由状态记录程序记录抽取状态、抽取数据量的信息，抽取过程支持中断继续和自动压缩；（3）数据装载：由装载程序对数据进行装载，数据装载过程中进行增量-全量的判断并作全量处理和数据量核对检查。本发明专利技术方便了应用系统的运维管理，并降低了实施难度。

【技术实现步骤摘要】

本专利技术涉及一种数据管理的应用技术，具体地说是一种增量数据卸载和装载的实施工具。
技术介绍
ETL,Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。目前数据ETL工具很多，虽然功能较多，但也有价格高和效率低的缺点。对于并不复杂的抽取逻辑和对数据量较大对效率要求较高的情况，使用一款便捷高效的数据抽取装载工具就显得尤为重要。
技术实现思路
本专利技术的技术任务是提供一种通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理，方便了应用系统的运维管理，并降低了实施难度的一种增量数据卸载和装载的实施工具。本专利技术的技术任务是按以下方式实现的，通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理；步骤如下(1)、设本文档来自技高网...

【技术保护点】
１．一种增量数据卸载和装载的实施工具，其特征在于通过配置文件结合ＳＨＥＬＬ脚本和数据库自带ＥＴＬ工具实现了数据源的增量－全量判断抽取和装载处理；步骤如下：（１）、设置配置文件、公共参数：通过配置文件对源数据库中待抽取表的内容和抽取方式进行描述；（２）、运行抽取程序、状态记录：由抽取程序统一调度进行数据抽取，同时由状态记录程序记录抽取状态、抽取数据量的信息，抽取过程支持中断继续和自动压缩；（３）、数据装载：由装载程序对数据进行装载，数据装载过程中进行增量－全量的判断并作全量处理和数据量核对检查。

【技术特征摘要】

【专利技术属性】
技术研发人员：张家重，宋凯，把余咏，李衍珠，于海泉，祝鹏，
申请(专利权)人：山东浪潮金融信息系统有限公司，
类型：发明
国别省市：88