一种基于ETL系统的文件事件的调度方法和ETL系统技术方案

本发明专利技术公开了一种基于ETL系统的文件事件的调度方法和ETL系统，该调度方法包括：判断操作系统是否支持文件事件；若操作系统支持文件事件，则采用被动触发方式调度文件事件；若操作系统不支持文件事件，则采用主动触发方式调度文件事件。在本发明专利技术中，提供了一个完整的文件事件触发的作业调度方法，支持不同文件事件的触发调度，当底层操作系统支持向上层应用程序通知文件事件时，触发线程服务等待操作系统的文件事件通知；当底层操作系统不支持文件事件时，后台线程实时轮询指定路径下的文件创建、修改、删除等变化，获取文件事件。针对不同的ETL系统，可以灵活的支持各种应用需求，适应不同的底层操作系统。

A file event scheduling method and ETL System Based on ETL System

【技术实现步骤摘要】
一种基于ETL系统的文件事件的调度方法和ETL系统
本专利技术属于ETL
，更具体地，涉及一种基于ETL系统的文件事件的调度方法和ETL系统。
技术介绍
ETL(Extract-Transform-Load，简写为ETL)是数据抽取(Extract)、转换(Transform)和装载(Load)的简称，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。在实际使用中，实现数据ETL及相关辅助功能的软件称为ETL软件或ETL系统，ETL软件通过流程或作业的形式实现数据抽取、转换和装载的功能。作业执行的时机，现有ETL软件将流程与时间绑定在一起，在设置的特定时间调度流程，例如周期性调度等。文件事件分为文件创建事件、文件删除事件和文件修改事件等。用户在设计迁移流程或作业时，将其与某种文件事件绑定在一起，当文件事件发生时，ETL调度引擎获取到文件事件，执行与该文件事件绑定的数据迁移流程或作业流程。目前，获取文件事件的方式分为两种：一种是线程主动轮询指定路径的文件，一种是线程等待底层本文档来自技高网...

【技术保护点】
1.一种基于ETL系统的文件事件的调度方法，其特征在于，所述调度方法包括：/n判断操作系统是否支持文件事件；/n若操作系统支持文件事件，则采用被动触发方式调度文件事件；/n若操作系统不支持文件事件，则采用主动触发方式调度文件事件。/n

【技术特征摘要】
1.一种基于ETL系统的文件事件的调度方法，其特征在于，所述调度方法包括：
判断操作系统是否支持文件事件；
若操作系统支持文件事件，则采用被动触发方式调度文件事件；
若操作系统不支持文件事件，则采用主动触发方式调度文件事件。


2.根据权利要求1所述的调度方法，其特征在于，所述采用被动触发方式调度文件事件包括：
从元数据库获取调度配置信息，判断所述调度配置信息是否为空；
若所述调度配置信息为空，则等待预设的时间后，重新获取调度配置信息；
若所述调度配置信息不为空，则根据所述调度配置信息向所述操作系统注册监控对象。


3.根据权利要求2所述的调度方法，其特征在于，所述采用被动触发方式调度文件事件还包括：
在完成所述监控对象的注册后，等待所述操作系统的文件事件通知；
若在预设的时间内，未接收到待执行文件事件，则重新执行所述从元数据库获取调度配置信息，判断所述调度配置信息是否为空的步骤；
若在预设的时间内，接收到待执行文件事件，则通过所述待执行文件事件以及所述调度配置信息，获取与所述待执行文件事件相关的作业列表。


4.根据权利要求3所述的调度方法，其特征在于，所述采用被动触发方式调度文件事件还包括：
判断与所述待执行文件事件相关的作业列表是否为空；
若所述作业列表为空，则重新执行所述从元数据库获取调度配置信息，判断所述调度配置信息是否为空的步骤；
若所述作业列表不为空，则将所述作业列表中的作业提交至执行器，以通过所述执行器执行相应的作业。


5.根据权利要求4所述的调度方法，其特征在于，所述采用被动触发方式调度文件事件还包括：
获取所述待执行文件事件的触发类型；
当所述待执行文件事件的触发类型为单次触发时，在完成对所述待执行文件事件的触发后，在所述调度配置信息中，获取与所述待执行文件事件相关的目标配置信息，将所述目标配置信息标记为已触发；
当所述待执行文件事件的触发类型为有限次触发时，在完成对所述待执行文件事件的触发后，在所述调度配置信息中，获取与所述待执行文件事件相关...

【专利技术属性】
技术研发人员：付铨，黄海明，袁松彪，梅纲，
申请(专利权)人：武汉达梦数据库有限公司，
类型：发明
国别省市：湖北;42