采用Kettle启动服务的系统数据处理方法技术方案

本发明专利技术公开了一种采用Kettle启动服务的系统数据处理方法，包括以下步骤：部署webservice服务；通过webservice服务接收外部发来的启动信息，启动kettle任务；建立日志joblog和jobdetail，保存启动信息；kettle job运行完成，判断是否成功。本发明专利技术的方法能够细化系统数据处理流程，建立程序框架，确定本模块与其它模块间的接口，以及确定为实现需求分析所规定的功能的主要算法，为详细设计，测试及维护文档的编写提供指导，增强交换操作易用性以及用户体验性，实用性强，适用范围广泛，易于推广。

【技术实现步骤摘要】
采用Kettle启动服务的系统数据处理方法
本专利技术涉及计算机
，具体地说是一种实用性强、采用Kettle启动服务的系统数据处理方法。
技术介绍
信息资源的有效利用是信息化建设的核心问题，现有的数据资源分散于委机关、区县建设局以及直属单位，且企业、人员、工程等数据往往只保留了当前的最新情况，缺乏历史数据的沉淀，业务与业务之间的数据也缺乏有效关联。缺少信息资源目录体系与交换体系，难以实现跨地区、跨部门信息资源共享。此外，还有大量的隐性信息资源没有得到有效的利用，一些基础服务存在重复建设的情况。如今，科技的迅猛发展以及信息化的不断推进，人类的数据量呈爆炸性增长，数据所蕴含的价值也日益得到重视，一个大规模共享和应用的时代已开启。实现数据共享，可以使更多的人充分的使用已有的数据资源，减少资料收集、数据采集等重复性劳动和费用，降低了社会成本。由于数据来源的不同，导致数据质量、数据格式和数据内容千差万别，有时会遇到无法转换或者转换后信息丢失等棘手问题，严重阻碍了数据在各团体以及各系统之间的共享。kettle作为为数不多的开源ETL工具，以其强大的数据抽取、转换和加载能力，友好的图形界面，丰富的数据仓库适配，大数据的支持，高效的执行效率，可扩展性等优点得到了广泛的应用。
技术实现思路
有鉴于此，本专利技术的第一方面的目的是提供一种采用Kettle启动服务的系统数据处理方法。能够解决
技术介绍
中存在的问题。本专利技术的第一方面的目的是通过以下技术方案实现的：该种采用Kettle启动服务的系统数据处理方法，包括以下步骤：步骤S1:部署webservice服务；步骤S2：通过webservice服务接收外部发来的启动信息，启动kettle任务；步骤S3：建立日志joblog和jobdetail，保存启动信息；步骤S4：kettlejob运行完成，判断是否成功，成功则将操作成功信息保存至日志joblog和jobdetail，失败则将操作失败信息保存至日志joblog和jobdetail。特别地，所述步骤S3中，启动信息包括kettleid、logid和xmlPack。特别地，所述步骤S4中，判断方式如下：通过logid查询jobid，判断数据源数据量是否为0，如果为0，则视为操作成功，如果不为0，则视为操作失败。特别地，所述步骤2中，启动的kettle任务可以为多个。本专利技术的第二方面的目的是提供一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的方法。本专利技术的第三方面的目的是提供一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法。本专利技术的有益效果是：本专利技术的方法能够细化系统数据处理流程，建立程序框架，确定本模块与其它模块间的接口，以及确定为实现需求分析所规定的功能的主要算法，为详细设计，测试及维护文档的编写提供指导，增强交换操作易用性以及用户体验性，实用性强，适用范围广泛，易于推广。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步的详细描述，其中：图1为本专利技术的实施例一的业务逻辑流程示意图；图2为本专利技术的实施例二的业务逻辑流程示意图；图3为实施例三新建“计算差异数据入库”的操作界面示意图；图4为实施例三配置作业的作业过程示意图；图5-图18为实施例三中的进行各项具体操作的操作界面示意图。具体实施方式以下将参照附图，对本专利技术的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本专利技术，而不是为了限制本专利技术的保护范围。本专利技术中的相关专业术语定义如下：WebService：是自描述、自包含的可用网络模块，可以执行具体的业务功能，依据WebService规范实施的应用之间，无论它们所使用的语言、平台或内部协议是什么，都可以相互交换数据，能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可相互交换数据或集成，WebService也很容易部署，因为它们基于一些常规的产业标准以及已有的一些技术，诸如XML和HTTP。WebService减少了应用接口的花费。WebService为整个企业甚至多个组织之间的业务流程的集成提供了一个通用机制，适用于搭建SOA架构。实施例一如图1所示，该实施例通过webservice接收数据中心发来的启动信息，启动kettle任务，返回作业启动成功。启动信息包括：kettleid、logid、xmlPack。本实施例只能启动一个kettle作业，具体而言，该方法包括以下步骤：步骤S1:部署webservice服务；步骤S2：通过webservice服务接收外部发来的启动信息，启动kettle任务；步骤S3：建立日志joblog和jobdetail，保存启动信息；本实施例中，启动信息包括kettleid、logid和xmlPack。步骤S4：kettlejob运行完成，判断是否成功，成功则将操作成功信息保存至日志joblog和jobdetail，失败则将操作失败信息保存至日志joblog和jobdetail，判断方式如下：通过logid查询jobid，判断数据源数据量是否为0，如果为0，则视为操作成功，如果不为0，则视为操作失败。本实施例输入参数的数据头信息如下表所示：序号要求名称描述数据类型字段约束1.YkettleidKettle编号String2.Ylogid日志编号String3.NxmlPack参数String返回值的数据头信息如下表所示序号名称描述数据类型备注1.success是否成功booleantrue成功/false出错2.message出错的信息String实施例二如图2所示，该实施例是通过webservice接收数据中心发来的多个启动信息，启动多个kettle任务，返回作业启动成功。启动信息包括：kettleid、logid、xmlPack。该实本文档来自技高网...

【技术保护点】
1.采用Kettle启动服务的系统数据处理方法，其特征在于：所述方法包括以下步骤：/n步骤S1:部署webservice服务；/n步骤S2：通过webservice服务接收外部发来的启动信息，启动kettle任务；/n步骤S3：建立日志joblog和jobdetail，保存启动信息；/n步骤S4：kettle job运行完成，判断是否成功，成功则将操作成功信息保存至日志joblog和jobdetail，失败则将操作失败信息保存至日志joblog和jobdetail。/n

【技术特征摘要】
1.采用Kettle启动服务的系统数据处理方法，其特征在于：所述方法包括以下步骤：
步骤S1:部署webservice服务；
步骤S2：通过webservice服务接收外部发来的启动信息，启动kettle任务；
步骤S3：建立日志joblog和jobdetail，保存启动信息；
步骤S4：kettlejob运行完成，判断是否成功，成功则将操作成功信息保存至日志joblog和jobdetail，失败则将操作失败信息保存至日志joblog和jobdetail。


2.根据权利要求1所述的采用Kettle启动服务的系统数据处理方法，其特征在于：所述步骤S3中，启动信息包括kettleid、logid和xmlPack。


3.根据权利要求2...

【专利技术属性】
技术研发人员：丁超，温敏，鄢府，孙科，范嗣涓，孔阳恒，
申请(专利权)人：四川省金科成地理信息技术有限公司，
类型：发明
国别省市：四川;51