一种基于Kettle抽数技术的供电服务指挥系统技术方案

本发明专利技术涉及一种基于Kettle抽数技术的供电服务指挥系统，包括转换设计模块、Job执行模块、转换执行模块和Job设计模块；所述转换设计模块用于对获取的供电数据用图形化的方式开发转换和作业，并将图形化数据传输到所述Job执行模块；所述Job执行模块用于使用命令行调用Job，存储图形化数据；所述转换执行模块用于用命令行的形式调用Trans，对图形化数据进行转换分析；所述Job设计模块用于在系统调用集群时开启多个carte服务进程来进行抽取分发供电任务和接收。本发明专利技术能提供一种高效的数据抽取，极大的减少工作量，提高工作效率。

A power supply service command system based on kettle sampling technology

【技术实现步骤摘要】
一种基于Kettle抽数技术的供电服务指挥系统
本专利技术涉及电力系统领域，特别是一种基于Kettle抽数技术的供电服务指挥系统。
技术介绍
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，etl工具的使用，必不可少，Kettle是ETL工具的一种,具有很强大的功能，作为Pentaho的一个重要组成部分，现在在国内项目应用上逐渐增多，它支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率。在Kettle中合理的使用集群可以加快执行的速度，并且还能在部分服务器宕机的情况下继续使用。在Kettle中集群是由一个主Carte服务器和多个从Carte服务器组成。在执行转换时，主服务器负责分发跟踪任务和收集结果总汇，从服务器负责具体的转换执行，而且Kettle不需要部署在核心服务器,对核心服务器不会造成任何的压力，同时可高效的处理千万级别以下的数据。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于Kettle抽数技术的供电服务指挥系统，能提供一种高效的数据抽取，极大的减少工作量，提高工作效率。本专利技术采用以下方案实现：一种基于Kettle抽数技术的供电服务指挥系统，包括转换设计模块(Spoon)、Job执行模块(Kitchen)、转换执行模块(Pan)和Job设计模块(Carte)；所述转换设计模块用于对获取的供电数据用图形化的方式开发转换和作业，并将图形化数据传输到所述Job执行模块；所述Job执行模块用于使用命令行调用Job，存储图形化数据；所述转换执行模块用于用命令行的形式调用Trans，对图形化数据进行转换分析；所述Job设计模块用于在系统调用集群时开启多个carte服务进程来进行抽取分发供电任务和接收。较佳的，本专利技术提供一种基于Kettle抽数技术的供电服务指挥系统的工作方法，包括以下步骤：步骤S1：获取供电数据，所述转换设计模块对获取的供电数据用图形化的方式开发转换和作业，并将转换后的图形化数据传输到所述Job执行模块；步骤S2：所述Job执行模块使用命令行调用Job存储图形化数据，供所述转换执行模块进行分析；步骤S3：所述转换执行模块用命令行的形式调用Trans进行数据分析；步骤S4：所述Job设计模块对所述转换执行模块分析后的数据在系统调用集群时开启多个carte服务进程来进行抽取分发供电任务和接收。与现有技术相比，本专利技术具有以下有益效果：本专利技术能提供一种高效的数据抽取，极大的减少工作量，提高工作效率。附图说明图1为本专利技术实施例的系统结构框图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图1所示，本实施例提供一种基于Kettle抽数技术的供电服务指挥系统，包括转换设计模块(Spoon)、Job执行模块(Kitchen)、转换执行模块(Pan)和Job设计模块(Carte)；所述转换设计模块用于对获取的供电数据用图形化的方式开发转换和作业，并将图形化数据传输到所述Job执行模块；所述Job执行模块用于使用命令行调用Job，存储图形化数据；所述转换执行模块用于用命令行的形式调用Trans，对图形化数据进行转换分析；所述Job设计模块用于在系统调用集群时开启多个carte服务进程来进行抽取分发供电任务和接收。较佳的，本实施例提供一种基于Kettle抽数技术的供电服务指挥系统的工作方法，包括以下步骤：步骤S1：获取供电数据，所述转换设计模块对获取的供电数据用图形化的方式开发转换和作业，并将转换后的图形化数据传输到所述Job执行模块；步骤S2：所述Job执行模块使用命令行调用Job存储图形化数据，供所述转换执行模块进行分析；步骤S3：所述转换执行模块用命令行的形式调用Trans进行数据分析；步骤S4：所述Job设计模块对所述转换执行模块分析后的数据在系统调用集群时开启多个carte服务进程来进行抽取分发供电任务和接收。较佳的，在本实施例中，kettle技术，开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。易配置：可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。不同数据库：ETL工具集，它允许你管理来自不同数据库的数据。两种脚本：transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。图形界面设计：通过图形界面设计实现做什么业务，无需写代码去实现。定时功能：在Job下的start模块，有一个定时功能，可以每日，每周等方式进行定时。Kettle有四个主要组件：Spoon、Kitchen、Pan、CarteSpoon—转换(transform)设计工具(GUI方式)：是一个图形化的界面，可以让我们用图形化的方式开发转换和作业。windows选择Spoon.bat；Linux选择Spoon.shKitchen—工作(job)执行器(命令行方式)：利用Kitchen可以使用命令行调用JobPan—转换(transform)执行器(命令行方式)：利用Pan可以用命令行的形式调用TransCarte—工作(job)设计工具(GUI方式)：kettle提供的webserver的程序，在kettle调用集群（cluster）来进行分布式分发、处理任务的时候，可以开启多个carte服务进程来进行分发ETL（master）任务和接收，运行，提交ETL任务（slave）。JOB：实际上就是kettle中的任务流，用于调用transformation和其他JOB,由entry和hop组成。（1）hop：一般情况，控件和控件之间只有一个Hop，在作业中，Hop主要用来控制流程，有三种状态：一个锁，一个绿色的对号，一个红色的叉号。其中：锁：表示无论上一步执行成功还是失败，都一定会执行下一步。绿色对号：表示上一步执行成功才会执行下一步。红色差号：表示上一步执本文档来自技高网...

【技术保护点】
1.一种基于Kettle抽数技术的供电服务指挥系统，其特征在于：包括转换设计模块、Job执行模块、转换执行模块和Job设计模块；所述转换设计模块用于对获取的供电数据用图形化的方式开发转换和作业，并将图形化数据传输到所述Job执行模块；所述Job执行模块用于使用命令行调用Job，存储图形化数据；所述转换执行模块用于用命令行的形式调用Trans，对图形化数据进行转换分析；所述Job设计模块用于在系统调用集群时开启多个carte服务进程来进行抽取分发供电任务和接收。/n

【技术特征摘要】
1.一种基于Kettle抽数技术的供电服务指挥系统，其特征在于：包括转换设计模块、Job执行模块、转换执行模块和Job设计模块；所述转换设计模块用于对获取的供电数据用图形化的方式开发转换和作业，并将图形化数据传输到所述Job执行模块；所述Job执行模块用于使用命令行调用Job，存储图形化数据；所述转换执行模块用于用命令行的形式调用Trans，对图形化数据进行转换分析；所述Job设计模块用于在系统调用集群时开启多个carte服务进程来进行抽取分发供电任务和接收。


2.一种根据权利要求1所述的基于Ket...

【专利技术属性】
技术研发人员：郑蔚涛，杨启帆，蔡宇翔，陈严纾，蒋鑫，肖琦敏，李霄铭，潘丹，
申请(专利权)人：国网福建省电力有限公司，国网福建省电力有限公司信息通信分公司，
类型：发明
国别省市：福建;35