【技术实现步骤摘要】
本技术专利技术方案应用于实时数据ETL系统的调度，采用记忆式调度方法(有状态调 度方法)用于解决实时数据ETL系统中被调程序疲于处理调度信息的问题，从而使得被 调程序可以专注于自身的业务逻辑。二
技术介绍
ETL (Extraction—Transformation-Loading)即数据抽取、转换和力n载。ETL负责 将分布的、异构数据源中的数据，如关系数据、平面数据文件等抽取到临时中间层后进 行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析的数据。目前现 有的ETL调度方法都是非记忆、无状态的调度方法，如采用固定时间点进行调度(固定 周期)，比如每天晚上23:00执行某个程序，两次调度之间在调度层面没有任何关联，任 务状态的判断和时间周期的选择完全由被调程序的程序逻辑自行完成，这样既增加了被 调程序的负担，又无法使被调程序专注于自己的业务逻辑。现有ETL调度方法的特点如下>周期闭环抽取问题目前的ETL调度方法都是非记忆和无状态的，只能解决固定 时间点(固定周期)的ETL抽取问题，时无法解决ETL系统中的时间戳抽取(周 期闭环)问题。&g...
【技术保护点】
用于实时数据ＥＴＬ系统的记忆式调度方法，其特征是： ＥＴＬ调度主程序按照预先设定的顺序执行某个任务，执行的时候把ｌｓｃｙｃｌｅ最近成功数据周期、ｃｕｒｃｙｃｌｅ当前处理数据周期、ｅｎｄｃｙｃｌｅ处理截止数据周期等由调度引擎记忆下来的关 键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息；在数据重抽中，通过记忆式调度方法自动对其中的某些任务和某些周期进行自动重抽； ＊ＥＴＬ数据分类： 根据ＥＴＬ数据的变化特点，分成固定周期数据和周期闭 环数据： ＊固定周期：是指在分析周期内数据是静止的数据； ＊周期闭环：指抽取特定周...
【技术特征摘要】
【专利技术属性】
技术研发人员：常维，余志刚，刘国祥，卞国震，张峰，刘树权，沈鹏程，兰清，
申请(专利权)人：南京联创科技股份有限公司，
类型：发明
国别省市：84[中国|南京]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。