一种应用于Kettle的运行监控方法及其系统技术方案

本发明专利技术属于运行监控技术领域，公开了一种应用于Kettle的运行监控方法及其系统，所述的方法包括如下步骤：获取Kettle文件并识别Kettle文件类别；根据Kettle文件类别及其运行情况，生成并存储对应的日志文件；提取并分析日志文件，得到并显示监控数据。所述的系统，包括文件识别模块、日志生成模块、日志提取模块、日志分析模块、主控模块以及存储模块。本发明专利技术解决了现有技术存在的监控功能弱、无法获取文件的运行状况和具体的异常情况，以及监控系统实用性低的问题。实用性低的问题。实用性低的问题。

【技术实现步骤摘要】
一种应用于Kettle的运行监控方法及其系统


[0001]本专利技术属于运行监控
，具体涉及一种应用于Kettle的运行监控方法及其系统。

技术介绍

[0002]Kettle是一款基于Java语言开发的可视化编程开源ETL工具,支持单机、集群方式部署。数据处理简化为流程控制和数据转换。其优点为：基于Java开发、开源、跨平台以及社区支持，支持分布式集群方式部署，主从架构，插件架构扩展性好, 支持的扩展插件：作业、转换、分区、数据库，全面的数据访问支持（支持多个数据库, 如果非默认支持，还可以通过插件扩展），方便易用的图形用户界面，支持多种编程语言自定义转换逻辑，支持自定义失败处理步骤，可视化编程。但是其同时存在一些缺点：集群模式采用主从结构，不具备自动切换主从的功能。所以一旦主节点宕机，整个系统不可用，对网络要求高，节点之间需要不断的传输数据，Kettle缺乏必要的数据异常处理和监控运维等管理功能服务，实际测试中经常出现一些莫名异常，调试比较困难，散装载重数据无法查找出错误明细。
[0003]基于以上缺点，导致需要对Kettle文件进行实时的监控，保证其运行的稳定性、可靠性，但是Kettle本身的监控功能却非常弱，无法获取执行文件的运行状况和具体的异常情况，如果一个转换文件不使用集群执行，也不会被监控，并且该监控的获取的数据来取内存，在关闭证书服务器后，监控数据消失，之前的监控信息也会丢失，导致监控系统失去功能。

技术实现思路

[0004]为了解决现有技术存在的监控功能弱、无法获取文件的运行状况和具体的异常情况，以及监控系统实用性低的问题，提出一种应用于Kettle的运行监控方法及其系统。
[0005]本专利技术所采用的技术方案为：一种应用于Kettle的运行监控方法，包括如下步骤：获取Kettle文件并识别Kettle文件类别；根据Kettle文件类别及其运行情况，生成并存储对应的日志文件；提取并分析日志文件，得到并显示监控数据。
[0006]进一步地，Kettle文件类别包括转换文件和作业文件。
[0007]进一步地，同一个Kettle文件的转换文件与作业文件之间设置有链接关系。
[0008]进一步地，转换文件的日志文件包括：转换日志 、步骤日志、运行日志、通道日志以及指标日志；转换日志包括转换名称、开始时间、结束时间以及执行状态；步骤日志包括转换运行的各步骤信息；运行日志包括转换文件的运行信息；通道日志包括转换文件输出的通道信息。
[0009]进一步地，作业文件的日志文件包括：作业日志、作业项日志以及日志通道日志；作业日志包括作业的开始时间、结束时间以及执行状态；作业项日志包括作业的项目运行情况；日志通道日志包括日志文件占用的通道信息。
[0010]进一步地，作业文件的日志文件的生成，包括如下步骤：获取当前的作业文件的所有组件；根据组件的设置方式得到作业的执行路线；若当前的作业文件的执行线路为并行执行，则生成每个并行执行线路的日志文件，设置同样的时间标识，并存储至对应的数据库中；若当前的作业文件的执行线路为串行执行，则生成每个串行执行线路的日志文件，根据执行线路的串行顺序设置连续的时间标识，并存储至对应的数据库中。
[0011]进一步地，提取并分析日志文件，得到并显示监控数据，包括如下步骤：提取Kettle文件的日志文件；提取日志文件的执行状态、上次执行时间、执行历史以及运行状态；若运行情况存在异常，则发送异常通知；根据日志文件的执行状态、上次执行时间、执行历史以及运行状态生成并显示监控数据。
[0012]一种应用于Kettle的运行监控系统，应用于运行监控方法，包括文件识别模块、日志生成模块、日志提取模块、日志分析模块、主控模块以及存储模块，文件识别模块的探针设置于Kettle工具的文件存储目录，且文件识别模块与日志生成模块连接，日志生成模块的探针设置于Kettle引擎处，且日志生成模块与存储模块连接，主控模块分别与文件识别模块、日志生成模块、日志提取模块和日志分析模块连接，日志提取模块分别与存储模块和日志分析模块连接。
[0013]进一步地，还包括人机交互模块，人机交互模块与主控模块连接；人机交互模块包括键入设备和显示设备，键入设备和显示设备均与主控模块连接。
[0014]进一步地，存储模块设置有Kettle文件数据库、转换文件对应的日志文件数据库、作业文件对应的日志文件数据库以及异常通知数据库。
[0015]本专利技术的有益效果为：1）本专利技术提供的应用于Kettle的运行监控方法，通过提取Kettle文件的日志文件并对日志文件进行分析，实现了Kettle文件的运行状况和具体的异常情况的监控，最后可视化显示监控数据，提高了监控的实用性和实时性，避免了运行中的各自异常发生导致的数据丢失或处理终端。
[0016]2）本专利技术提供的应用于Kettle的运行监控系统，通过探针实时采集Kettle文件的运行情况，并生成对应的日志文件，Kettle文件无论是否通过集群运行都能实现对其的监控，提高了系统的实用性。
[0017]本专利技术的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
[0018]图1是本专利技术中应用于Kettle的运行监控方法的方法流程图。
[0019]图2是本专利技术中应用于Kettle的运行监控系统的结构框图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]实施例1：如图1所示，本实施例提供一种应用于Kettle的运行监控方法，包括如下步骤：获取Kettle文件并识别Kettle文件类别；根据Kettle文件类别及其运行情况，生成并存储对应的日志文件；提取并分析日志文件，得到并显示监控数据。
[0022]作为优选，Kettle文件类别包括转换文件和作业文件，同一个Kettle文件的转换文件与作业文件之间设置有链接关系。
[0023]作为优选，转换文件的日志文件包括：转换日志 、步骤日志、运行日志、通道日志以及指标日志；转换日志包括转换名称、开始时间、结束时间以及执行状态；步骤日志包括转换运行的各步骤信息；运行日志包括转换文件的运行信息；通道日志包括转换文件输出的通道信息。
[0024]作为优选，作业文件的日志文件包括：作业日志、作业项日志以及日志通道日志；作业日志包括作业的开始时间、结束时间以及执行状态；作业项日志包括作业的项目运行情况；日志通道日志包括日志文件占用的通道信息。
[0025]作为优选，作业文件的日志文件的生成，包括如下步骤：获取当前的作业文件的所有组件；根据组件的设置方式得到作业的执行路线；若当前的作业文件的执行线路为并行执行，则生成每个并行执行线路的日志文件，设置同样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于Kettle的运行监控方法，其特征在于：包括如下步骤：获取Kettle文件并识别Kettle文件类别；根据Kettle文件类别及其运行情况，生成并存储对应的日志文件；提取并分析日志文件，得到并显示监控数据。2.根据权利要求1所述的应用于Kettle的运行监控方法，其特征在于：所述的Kettle文件类别包括转换文件和作业文件。3.根据权利要求2所述的应用于Kettle的运行监控方法，其特征在于：同一个所述的Kettle文件的转换文件与作业文件之间设置有链接关系。4.根据权利要求3所述的应用于Kettle的运行监控方法，其特征在于：所述的转换文件的日志文件包括：转换日志 、步骤日志、运行日志、通道日志以及指标日志；所述的转换日志包括转换名称、开始时间、结束时间以及执行状态；所述的步骤日志包括转换运行的各步骤信息；所述的运行日志包括转换文件的运行信息；所述的通道日志包括转换文件输出的通道信息。5.根据权利要求4所述的应用于Kettle的运行监控方法，其特征在于：所述的作业文件的日志文件包括：作业日志、作业项日志以及日志通道日志；所述的作业日志包括作业的开始时间、结束时间以及执行状态；所述的作业项日志包括作业的项目运行情况；所述的日志通道日志包括日志文件占用的通道信息。6.根据权利要求5所述的应用于Kettle的运行监控方法，其特征在于：所述的作业文件的日志文件的生成，包括如下步骤：获取当前的作业文件的所有组件；根据组件的设置方式得到作业的执行路线；若当前的作业文件的执行线路为并行执行，则生成每个并行执行线路的日志文件，设置同样的时间标识，并存储至对应的数据库...

【专利技术属性】
技术研发人员：罗官，
申请(专利权)人：四川野马科技有限公司，
类型：发明
国别省市：