一种基于kettle实现档案数据自动上传同步的方法技术

本发明专利技术提供一种基于kettle实现档案数据自动上传同步的方法，其包括以下步骤：步骤S1：基于kettle工具将某类档案的明细数据进行抽取，配置SMTP服务实现明细数据定时以Excel的形式输出；步骤S2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。在利用现有服务器资源的基础上，结合kettle、数据库等技术手段实现定时自动同步和上传基础数据档案，保障数据更新的及时性，解放了生产力，改变人工操作的现状，提升了工作效率。

【技术实现步骤摘要】
一种基于kettle实现档案数据自动上传同步的方法
本专利技术属于档案数据自动化处理领域，具体涉及一种基于kettle实现档案数据自动上传同步的方法。
技术介绍
自国家电网公司成立以来，认真贯彻国家节能减排政策，深化线损管控，积极推进“四分”管理（分区、分压、分元件、分台区），节能降损工作取得显著成效。同期线损系统为保证“四分”线损计算的准确性，基础档案信息需要与源端系统（PMS、营销、GIS等系统）保持一致，而源端数据档案数据表多，数据量大，且更新异动频繁，这就需要同期线损系统做到及时同步、上传源端系统档案，此前这项工作需要安排专人触发同步、上传操作，操作过程繁琐，且耗费时间。为了节省人力成本，提高工作效率，对源端系统档案数据自动同步、自动上传机制进行深化研究，实现档案数据同步、上传的自动化是很有必要的。基础档案数据量大，更新频率快，传统的人工处理方法弊端日益明显，在利用现有服务器资源情况下，结合kettle、数据库等技术可以实现基础档案数据的自动同步与更新。
技术实现思路
本专利技术的目的是提供一种基于kettle实现档案数据自动上传同步的方法。本专利技术采用以下技术方案：一种基于kettle实现档案数据自动上传同步的方法，其特征在于：包括以下步骤：步骤S1：基于kettle工具将某类档案的明细数据进行抽取，配置SMTP服务实现明细数据定时以Excel的形式输出；步骤S2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。在本专利技术一实施例中，步骤S1中还包括以下步骤：将同步日志和数据发送至指定邮箱。进一步的，步骤S1包括以下具体步骤：步骤S11：在Kettle中配置按规则获取时间节点；步骤S12：当Kettle同步档案后，配置输出已同步档案明细文件；步骤S13：在Kettle配置添加输出文件到结果文件中；步骤S14：在Kettle邮件设置中指定邮件收或发件人信息；步骤S15：设置SMTP邮件服务器及用户验证信息；步骤S16：设置需要发送的邮件内容和附件；步骤S17：将已编辑好的kettle程序上传至目标系统的服务器，编写脚本调用kettle；步骤S18：设置crontab定时任务，定时执行已编辑好的脚本。在本专利技术一实施例中，步骤S2包括以下步骤：步骤S21：通过PL/SQL配置定时任务，每天凌晨调用执行存储过程，清除无需上传的数据；步骤S22：在kettle中配置job，设定需要上传的档案类别，将需上传的数据抽取至数据中心；步骤S23：按规则条件抽取对应档案数据；步骤S24：将档案抽取程序上传至服务器端，在服务器端通过定时任务调用执行程序；编写档案抽取脚本，执行档案抽取命令；定时调用档案抽取脚本；步骤S25：将档案上传程序上传至服务器端，在服务器端通过定时任务调用；步骤S26：编写档案上传脚本，执行档案上传操作；定时调用档案上传脚本，实现定时自动上传基础档案。与现有技术相比，本专利技术具有以下优点：在利用现有服务器资源的基础上，结合kettle、数据库等技术手段实现定时自动同步和上传基础数据档案，保障数据更新的及时性，解放了生产力，改变人工操作的现状，提升了工作效率。附图说明图1是本专利技术的分析流程图。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面将结合附图，进一步阐述本专利技术。本专利技术提供一种基于kettle实现档案数据自动上传同步的方法，其包括以下步骤：步骤S1：基于kettle工具将某类档案的明细数据进行抽取，配置SMTP服务实现明细数据定时以Excel的形式输出；步骤S2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。在本专利技术一实施例中，步骤S1中还包括以下步骤：将同步日志和数据发送至指定邮箱。进一步的，步骤S1包括以下具体步骤：步骤S11：在Kettle中配置按规则获取时间节点；步骤S12：当Kettle同步档案后，配置输出已同步档案明细文件；步骤S13：在Kettle配置添加输出文件到结果文件中；步骤S14：在Kettle邮件设置中指定邮件收或发件人信息；步骤S15：设置SMTP邮件服务器及用户验证信息；步骤S16：设置需要发送的邮件内容和附件；步骤S17：将已编辑好的kettle程序上传至目标系统的服务器，编写脚本调用kettle；步骤S18：设置crontab定时任务，定时执行已编辑好的脚本。在本专利技术一实施例中，步骤S2包括以下步骤：步骤S21：通过PL/SQL配置定时任务，每天凌晨调用执行存储过程，清除无需上传的数据；步骤S22：在kettle中配置job，设定需要上传的档案类别，将需上传的数据抽取至数据中心；步骤S23：按规则条件抽取对应档案数据；步骤S24：将档案抽取程序上传至服务器端，在服务器端通过定时任务调用执行程序；编写档案抽取脚本，执行档案抽取命令；定时调用档案抽取脚本；步骤S25：将档案上传程序上传至服务器端，在服务器端通过定时任务调用；步骤S26：编写档案上传脚本，执行档案上传操作；定时调用档案上传脚本，实现定时自动上传基础档案。本专利技术是在总结人工上传处理基础数据的基础上，提出了利用kettle实现基础数据自动化上传同步的方法，整体流程如图1所示。第一部分：通过Kettle实现自动化同步基础档案数据，并可以用邮件通知结果，具体的实现步骤如下：a.在Kettle中配置按规则获取时间节点；b.当Kettle同步档案后，配置输出已同步档案明细文件；c.在Kettle配置添加输出文件到结果文件中；d.在Kettle邮件设置中指定邮件收/发件人信息；e.设置SMTP邮件服务器及用户验证信息；f.设置需要发送的邮件内容和附件；h.将已编辑好的kettle程序上传至服务器，编写脚本调用kettle；i.设置crontab定时任务，定时执行已编辑好的脚本；第二部分：在kettle实现自动化同步数据的前提下，自动化上传配网及以下增量数据档案。a.编写存储过程定时清理数据中心的相关数据，保证只上传增量数据；b.通过PL/SQL配置定时任务，每天凌晨调用执行该存储过程，清除无需上传的数据；c.在kettle中配置job，设定需要上传的档案类别，将需上传的数据抽取至数据中心；d.按规则条件抽取对应档案数据；e.将程序上传至服务器，在服务器端通过定时任务调用执行程序。编写脚本，执行档案抽取命令；f.定时调用档案抽取脚本；g.将档案上传程序上传至服务器，在服务器端通过定时任务调用；h.编写脚本，执行档案上传操作；i.定时调用档案上传脚本，实现定时自动上传基础档案。以上是本专利技术的较佳实施例，凡依本专利技术技术方案所作的改变，所产生的功能作用未超出本专利技术技术方案的范围时，均属于本专利技术的保护范围。本文档来自技高网...

【技术保护点】
一种基于kettle实现档案数据自动上传同步的方法，其特征在于：包括以下步骤：步骤S1：基于kettle工具将某类档案的明细数据进行抽取，配置SMTP服务实现明细数据定时以Excel的形式输出；步骤S2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。

【技术特征摘要】
1.一种基于kettle实现档案数据自动上传同步的方法，其特征在于：包括以下步骤：步骤S1：基于kettle工具将某类档案的明细数据进行抽取，配置SMTP服务实现明细数据定时以Excel的形式输出；步骤S2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。2.根据权利要求1所述的基于kettle实现档案数据自动上传同步的方法，其特征在于：步骤S1中还包括以下步骤：将同步日志和数据发送至指定邮箱。3.根据权利要求2所述的基于kettle实现档案数据自动上传同步的方法，其特征在于：步骤S1包括以下具体步骤：步骤S11：在Kettle中配置按规则获取时间节点；步骤S12：当Kettle同步档案后，配置输出已同步档案明细文件；步骤S13：在Kettle配置添加输出文件到结果文件中；步骤S14：在Kettle邮件设置中指定邮件收或发件人信息；步骤S15：设置SMTP邮件服务器及用户验证信息；步骤S...

【专利技术属性】
技术研发人员：叶勇，付婷，苏运东，蔡宇翔，肖琦敏，张航，黄文思，李金湖，林海玉，
申请(专利权)人：国网福建省电力有限公司，国家电网公司，国网福建省电力有限公司信息通信分公司，
类型：发明
国别省市：福建,35