一种基于KETTLE的数据断点续传系统及方法技术方案

本发明专利技术公开了一种基于KETTLE的数据断点续传系统及方法，包括任务设计模块、应用主机、数据管理模块以及邮件通知模块，应用主机以及各个模块之间通过内部数据通信连接。通过在任务设计模块中设计KETTLE任务和转换，发布到应用主机的KETTLE资源库中，并在数据管理模块上配置迁移规则和任务调度规则，数据管理模块根据规则发出指令控制应用主机执行已设计的KETTLE任务，通过邮件通知模块收集KETTLE任务执行结果，并将结果以邮件形式发送至调度用户邮箱，达到离线监控的目的；本发明专利技术可实现基于配置的大批量数据跨库迁移断点续传，基于通用的规则系统和调度模型，实现数据定时迁移的同时，能够恢复前一次传输的结果，并监控整个迁移过程。移过程。移过程。

【技术实现步骤摘要】
一种基于KETTLE的数据断点续传系统及方法


[0001]本专利技术属于数据处理
，具体涉及一种基于KETTLE的数据断点续传系统及方法。

技术介绍

[0002]随着大数据云计算技术的发展，企业应用集成及数据中台建设场景越来越普遍，传统的信息化系统多数由于技术陈旧，无法满足新业务增长的灵活性和实用性。
[0003]业务的发展带来了技术的革新，也给技术带来了巨大的挑战，原本运行的信息化系统通常都面临重构，技术框架重构，多应用集成，形成统一的服务平台对外提供服务，原来的系统从各自为政到相互协调集成共用的同时，各系统的数据也面临整合，就需要将老系统数据需要迁移至新的统一的业务数据库中，大量的不在统一类型数据库中的数据需要清洗并迁移入库，如何在保证数据准确的情况下实现数据的跨库迁移成为迫切需要解决的问题，除此之外，指定数据往往会做增量备份，以保证应用重要数据的安全。

技术实现思路

[0004]有鉴于此，本专利技术的目的是提供一种适合大批量数据迁移、数据增量备份的支持数据迁移过程中断后继中断时继续传输数据的系统及方法，可以克服现有技术的不足。
[0005]本专利技术的目的是通过以下技术方案实现的：一种基于KETTLE的数据断点续传系统，包括任务设计模块、应用主机、数据管理模块以及邮件通知模块，应用主机以及各个模块之间通过内部数据通信连接；所述任务设计模块用于集成KETTLE在线设计功能；所述应用主机用于搭建KETTLE运行的主机或服务器；所述数据管理模块用于管理数据迁移规则及任务调度、任务监控；所述邮件通知模块可将任务调度执行情况通知调度用户并实现离线监控。
[0006]前述的任务设计模块可在线设计修改KETTLE的任务及转换的脚本。
[0007]前述的数据管理模块包括规则配置子模块和任务管理子模块。
[0008]前述的应用主机基于Windows server或Linux操作系统搭建KETTLE运行环境。
[0009]一种基于KETTLE的数据断点续传方法，其包括以下步骤：S1、在任务设计模块中设计KETTLE任务和转换，并发布到应用主机的KETTLE资源库中；S2、在数据管理模块上配置迁移规则；S3、在数据管理模块上配置任务调度规则，并根据规则发起远程指令；S4、邮件通知模块收集KETTLE任务执行结果，并将结果以邮件形式发送至调度用户邮箱。
[0010]前述的数据断点续传方法，步骤S2中，所述的迁移规则包括单页查询记录数，数据查询条件等，配置的迁移规则将作为KETTLE任务的启动参数。
[0011]前述的数据断点续传方法，步骤S3中，数据管理模块根据规则发出指令控制应用主机执行已设计的KETTLE任务，通过设计数据检查任务，根据配置参数，以及当前已迁移记录页码，清除目标表中当前页的数据，并从当前页开始继续迁移实现断点续传。
[0012]与现有技术比较，本专利技术的有益效果是：与现有技术比较，本专利技术公开的一种基于KETTLE的数据断点续传系统及方法，包括任务设计模块、应用主机、数据管理模块以及邮件通知模块，应用主机以及各个模块之间通过内部数据通信连接；应用主机基于Windows server或Linux操作系统搭建KETTLE运行环境，通过在任务设计模块中设计KETTLE任务和转换，并发布到应用主机的KETTLE资源库中，通过在数据管理模块上配置迁移规则和任务调度规则，数据管理模块根据配置规则发出指令控制应用主机执行已设计的KETTLE任务，通过设计数据检查任务，根据配置参数，以及当前已迁移记录页码，清除目标表中当前页的数据，从当前页开始继续迁移实现断点续传，通过邮件通知模块收集KETTLE任务执行结果，并将结果以邮件形式发送至调度用户邮箱，达到离线监控的目的；本专利技术可实现基于配置的大批量数据跨库迁移断点续传，基于通用的规则系统和调度模型，实现数据定时迁移的同时，能够恢复前一次传输的结果，并监控整个迁移过程。
[0013]本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0014]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步的详细描述，其中：图1是本专利技术的流程图；图2是本专利技术通用数据传输模型的处理任务设计图；图3是本专利技术主调度任务设计图。
[0015]图1中：1.任务设计模块；2.应用主机；3.数据管理模块；4.邮件通知模块；5.调度用户； 15.设计KETTLE任务或转换；12.同步KETTLE任务至应用主机资源库；35.配置规则、任务；32.发送执行命令；23.提交执行情况至管理模块；34.推送邮件至邮件模块；45.发送邮件给调度用户。
[0016]图2中：开始：任务执行开始图标；输出条件信息：打印条件日志；检查条件：检查当前输入条件；删除当前条件下的数据：根据前一次的条件，清除前一次条件已完成的数据传输，以避免数据重复；获取记录总数：统计满足当前条件的源表的记录总数；初始化变量：根据总数和页长计算页数以供控制循环传输次数；记录总数：记录满足当前条件的源表数据记录数；循环控制器：控制循环条件，根据满足条件的数据页数控制；
获取ID组：根据当前页数，条件查询满足条件的数据主键集合；处理数据：将满足条件的数据迁移或者传输至目标服务；更新页码：更新页码至下一页；记录当前执行情况：更新执行结果记录，便于中断的情况，可恢复；成功：执行完成标识图标。
[0017]图3中：开始：任务执行开始图标；获取配置参数：获取数据管理平台配置的参数信息；循环调度任务：循环执行任务，并传入配置数据；成功：执行完成标识图标。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0019]如图1
‑
3所示，一种基于KETTLE的数据断点续传系统，包括用于集成KETTLE在线设计功能任务设计模块1、用于搭建KETTLE运行和执行KETTLE的任务的主机或服务器的应用主机2，应用主机2基于Windows server或Linux操作系统搭建KETTLE运行环境、用于管理数据迁移规则及任务调度、任务监控数据管理模块3，数据管理模块3包括规则配置子模块和任务管理子模块，以及可将任务调度执行情况通知调度用户并实现离线监控邮件通知模块4，应用主机以及各个模块之间通过内部数据通信连接，任务设计模块1可在线设计修改KETTLE的任务及转换的脚本，调度用户是配置规则，设计KETTLE任务转换，设定任务的主体；一种基于KETTLE的数据断点续传方法，包括以下步骤：S1、在任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于KETTLE的数据断点续传系统，其特征在于：包括任务设计模块（1）、应用主机（2）、数据管理模块（3）以及邮件通知模块（4），应用主机以及各个模块之间通过内部数据通信连接；所述任务设计模块（1）用于集成KETTLE在线设计功能；所述应用主机（2）用于搭建KETTLE运行的主机或服务器；所述数据管理模块（3）用于管理数据迁移规则及任务调度、任务监控；所述邮件通知模块（4）可将任务调度执行情况通知调度用户并实现离线监控。2.根据权利要求1所述的基于KETTLE的数据断点续传系统，其特征在于：所述的任务设计模块（1）可在线设计修改KETTLE的任务及转换的脚本。3.根据权利要求1所述的基于KETTLE的数据断点续传系统，其特征在于：所述的数据管理模块（3）包括规则配置子模块和任务管理子模块。4.根据权利要求1所述的基于KETTLE的数据断点续传系统，其特征在于：所述的应用主机（2）基于Windows server或Linux操作...

【专利技术属性】
技术研发人员：李建州，简嘹亮，杨兴海，杨兴荣，冯江华，
申请(专利权)人：世纪恒通科技股份有限公司，
类型：发明
国别省市：