基于ETL工具实现系统自动化巡检方法技术方案

本发明专利技术公开基于ETL工具实现系统自动化巡检方法，基于开发及运维需求选取对应的ETL工具；收集系统监控场景、指标要求以及预警对象，并依据选定的ETL工具的特点编制和调试脚本；在本机环境上使用选定的ETL工具进行编码及调测；在服务器上通过设置操作系统自带的定时任务，以便周期性调度选定ETL工具的任务执行器；服务器上部署自动化巡检脚本，并在定时任务的触发下抽取各类监控点信息，同时在发现故障信息时发出告警信息；运维人员核对收到的告警信息，并处理造成告警信息的对应的故障。本发明专利技术可汇聚分支机构数据并进行数据加工分析处理,对数据库表空间使用率进行监控，需定时拔测应用服务可用性情况等。用服务可用性情况等。用服务可用性情况等。

【技术实现步骤摘要】
基于ETL工具实现系统自动化巡检方法


[0001]本专利技术涉及监控运维
，尤其涉及基于ETL工具实现系统自动化巡检方法。

技术介绍

[0002]电信全国集中MSS项目为分节点/分省部署系统，数据库套数及应用服务器个数众多（数据库超60套，应用服务超1000个），但现有的第三方监控系统存在告警不及时、不完整、不准确以及告警信息展示不灵活等问题，不利于及时发现并处理生产系统的问题故障。同时新增各类监控指标，需依赖于第三方监控系统的开发排期，沟通成本高且无法第一时间满足监控需求。部分特定监控指标，比如涉及敏感数据或考核信息时，不便于在第三方监控系统体现。

技术实现思路

[0003]本专利技术的目的在于提供基于ETL工具实现系统自动化巡检方法。
[0004]本专利技术采用的技术方案是：基于ETL工具实现系统自动化巡检方法，其包括以下步骤：步骤1，基于开发及运维需求选取对应的ETL工具；步骤2，收集系统监控场景、指标要求以及预警对象，并依据选定的ETL工具的特点编制和调试脚本；步骤3，在本机环境上使用选定的ETL工具进行编码及调测；步骤4，在服务器上通过设置操作系统自带的定时任务，以便周期性调度选定ETL工具的任务执行器；步骤5、服务器上部署自动化巡检脚本，并在定时任务的触发下抽取各类监控点信息，同时在发现故障信息时发出告警信息；步骤6、运维人员核对收到的告警信息，并处理造成告警信息的对应的故障。
[0005]进一步地，作为一种实施方式，步骤1中选取Pentaho Data Intergration(也简称Kettle)工具。
[0006]进一步地，步骤2中编制和调试脚本的具体步骤如下：步骤2
‑
1，定义转换任务项：设定DB连接、Steps环节列表及Hops节点连接列表，其中，Step直接是通过数据流进行交换，Step包括一个rowMeta和一组data， rowMeta就是元数据，rowMeta指定了每列数据的名称和类型。
[0007]步骤2
‑
2，编排作业组成及连接关系：即编排DB连接及Job entries(Job中引用的环节列表)，并附加SQL执行、分支判断、邮件发送。
[0008]进一步地，步骤4中服务器为搭载Linux或Windows操作系统的服务器。
[0009]进一步地，步骤4中服务器通过操作系统自带的定时任务，调度Kettle的kitchen任务执行器。
[0010]进一步地，步骤5中服务器上部署自动化巡检脚本的具体步骤如下：
步骤5
‑
1，编制shell脚本，触发Kettle kitchen组件运行；步骤5
‑
2，配置crontab定时作业任务，定时执行shell脚本。
[0011]本专利技术采用以上技术方案，基于开源的ETL工具，定时从源端服务抽取各类监控点信息，根据预设规则进行清洗转换，再加载到目标端存储，最后通过邮件发送各类可视化告警指标监控信息。本专利技术能对现有第三方监控系统进行有效补充和完善。本专利技术适用于数据类、服务类等监控场景，工具使用门槛低，有SQL及Java编程经验的人，即可独立完成监控脚本编制及部署。
附图说明
[0012]以下结合附图和具体实施方式对本专利技术做进一步详细说明；图1为本专利技术基于ETL工具实现系统自动化巡检方法的流程示意图；图2为Kettle的原理架构示意图；图3为Kettle的概念模型示意图；图4为Kettle的执行流程示意图。
具体实施方式
[0013]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
[0014]本专利技术基于ETL工具，通过在ETL工具里面定义各个转换任务项目，并对任务项进行编排、衔接组成作业，编写shell脚本封装执行ETL工具里面的kitchen作业执行器，创建主机系统定时作业进行任务调度适用于各类数据汇聚、数据统计、系统监控的场景。例如，集团化的系统，可通过该工具汇聚分支机构数据并进行数据加工分析处理。各类IT类，需对数据库表空间使用率进行监控，需定时拔测应用服务可用性情况等。
[0015]如图1至4之一所示，本专利技术公开了基于ETL工具实现系统自动化巡检方法，其包括以下步骤：步骤1，基于开发及运维需求选取对应的ETL工具；步骤2，收集系统监控场景、指标要求以及预警对象，并依据选定的ETL工具的特点编制和调试脚本；步骤3，在本机环境上使用选定的ETL工具进行编码及调测；步骤4，在服务器上通过设置操作系统自带的定时任务，以便周期性调度选定ETL工具的任务执行器；步骤5、服务器上部署自动化巡检脚本，并在定时任务的触发下抽取各类监控点信息，同时在发现故障信息时发出告警信息；步骤6、运维人员核对收到的告警信息，并处理造成告警信息的对应故障。
[0016]进一步地，作为一种实施方式，步骤1中选取Pentaho Data Intergration(也简称Kettle)工具。如图2所示，Kettle工具具有四大组件，具体如下：Spoon : 集成开发环境。提供用户图形界面化创建和编辑任务和转换定义。同时也能提供执行和调试任务和转换，并且还包括性能监控功能Kitchen：一个命令行的任务执行器（注意不是转换），可被用来与操作系统层的脚
本集成。通常结合使用例如cron，at 或windows任务管理器定义周期性任务Pan：同Kitchen一样是命令行方式执行器，不过这个仅仅能执行转换定义，而不是任务Carte：一个运行在后头的轻量级服务（基于Jetty的HTTP服务），通过监听请求来运行任务。使用Carte在Kettle集群分发和协作任务的执行如图3或4所示，Kettle的执行分为两个层次：Job和Transformation。这两个层次的最主要的在于数据的传递和运行方式Transformation：定义对数据操作的容器，数据操作就是数据从输入到输出的一个过程，可以理解为比Job粒度更小一级的容器，我们将任务分解成Job，然后需要将Job分解成一个或多个Transformation，每个Transformation只完成一部分工作。
[0017]Step是Transformation内部的最小单元，每一个Step完成一个特定的功能。
[0018]Job Entry：Job Entry是Job内部的执行单元，每一个Job Entry用于实现特定的功能，如：验证表是否存在，发送邮件等。可以通过Job来执行另一个Job或者Transformation，也就是说Transformation和Job都可以作为Job Entry。
[0019]Hop用于在Transformation中连接Step，或者在Job中连接Job Entry，是一个数据流的图形化表示。
[0020]进一步地，步骤2中编制和调试脚本的具体步骤如下：步骤2
‑
1，定义转换任务项：设定DB连接、Steps环本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于ETL工具实现系统自动化巡检方法，其特征在于：其包括以下步骤：步骤1，基于开发及运维需求选取对应的ETL工具；步骤2，收集系统监控场景、指标要求以及预警对象，并依据选定的ETL工具的特点编制和调试脚本；步骤3，在本机环境上使用选定的ETL工具进行编码及调测；步骤4，在服务器上通过设置操作系统自带的定时任务，以便周期性调度选定ETL工具的任务执行器；步骤5、服务器上部署自动化巡检脚本，并在定时任务的触发下抽取各类监控点信息，同时在发现故障信息时发出告警信息；步骤6、运维人员核对收到的告警信息，并处理造成告警信息的对应的故障。2.根据权利要求1所述的基于ETL工具实现系统自动化巡检方法，其特征在于：步骤1中选取Kettle工具。3.根据权利要求1所述的基于ETL工具实现系统自动化巡检方法，其特征在于：步骤2中编制和调试脚本的具体步骤如下：步骤2
‑
1，定义转换任务项：设定DB连接、Steps环节列表及Hops节点连接列表，其中，Step直接是通过数据流进行交换，Ste...

【专利技术属性】
技术研发人员：王林财，李杰，谢馨，罗丹，吴添鹏，何耀光，江振国，
申请(专利权)人：中电福富信息科技有限公司，
类型：发明
国别省市：