一种基于KETTLE的数据断点续传系统及方法技术方案

本发明专利技术公开了一种基于KETTLE的数据断点续传系统及方法，包括任务设计模块、应用主机、数据管理模块以及邮件通知模块，应用主机以及各个模块之间通过内部数据通信连接。通过在任务设计模块中设计KETTLE任务和转换，发布到应用主机的KETTLE资源库中，并在数据管理模块上配置迁移规则和任务调度规则，数据管理模块根据规则发出指令控制应用主机执行已设计的KETTLE任务，通过邮件通知模块收集KETTLE任务执行结果，并将结果以邮件形式发送至调度用户邮箱，达到离线监控的目的；本发明专利技术可实现基于配置的大批量数据跨库迁移断点续传，基于通用的规则系统和调度模型，实现数据定时迁移的同时，能够恢复前一次传输的结果，并监控整个迁移过程。移过程。移过程。

【技术实现步骤摘要】
一种基于KETTLE的数据断点续传系统及方法


[0001]本专利技术属于数据处理
，具体涉及一种基于KETTLE的数据断点续传系统及方法。

技术介绍

[0002]随着大数据云计算技术的发展，企业应用集成及数据中台建设场景越来越普遍，传统的信息化系统多数由于技术陈旧，无法满足新业务增长的灵活性和实用性。
[0003]业务的发展带来了技术的革新，也给技术带来了巨大的挑战，原本运行的信息化系统通常都面临重构，技术框架重构，多应用集成，形成统一的服务平台对外提供服务，原来的系统从各自为政到相互协调集成共用的同时，各系统的数据也面临整合，就需要将老系统数据需要迁移至新的统一的业务数据库中，大量的不在统一类型数据库中的数据需要清洗并迁移入库，如何在保证数据准确的情况下实现数据的跨库迁移成为迫切需要解决的问题，除此之外，指定数据往往会做增量备份，以保证应用重要数据的安全。

技术实现思路

[0004]有鉴于此，本专利技术的目的是提供一种适合大批量数据迁移、数据增量备份的支持数据迁移过程中断后继中断时继续传输数据的系统及方法，可以克本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于KETTLE的数据断点续传系统，其特征在于：包括任务设计模块（1）、应用主机（2）、数据管理模块（3）以及邮件通知模块（4），应用主机以及各个模块之间通过内部数据通信连接；所述任务设计模块（1）用于集成KETTLE在线设计功能；所述应用主机（2）用于搭建KETTLE运行的主机或服务器；所述数据管理模块（3）用于管理数据迁移规则及任务调度、任务监控；所述邮件通知模块（4）可将任务调度执行情况通知调度用户并实现离线监控。2.根据权利要求1所述的基于KETTLE的数据断点续传系统，其特征在于：所述的任务设计模块（1）可在线设计修改KETTLE的任务及转换的脚本。3.根据权利要求1所述的基于KETTLE的数据断点续传系统，其特征在于：所述的数据管理模块（3）包括规则配置子模块和任务管理子模块。4.根据权利要求1所述的基于KETTLE的数据断点续传系统，其特征在于：所述的应用主机（2）基于Windows server或Linux操作...

【专利技术属性】
技术研发人员：李建州，简嘹亮，杨兴海，杨兴荣，冯江华，
申请(专利权)人：世纪恒通科技股份有限公司，
类型：发明
国别省市：