一种基于kettle实现档案数据自动上传同步的方法技术

技术编号:17974431 阅读:14 留言:0更新日期:2018-05-16 13:59
本发明专利技术提供一种基于kettle实现档案数据自动上传同步的方法,其包括以下步骤:步骤S1:基于kettle工具将某类档案的明细数据进行抽取,配置SMTP服务实现明细数据定时以Excel的形式输出;步骤S2:将档案数据以增量形式定时自动上传到目标系统,从而实现数据的自动更新。在利用现有服务器资源的基础上,结合kettle、数据库等技术手段实现定时自动同步和上传基础数据档案,保障数据更新的及时性,解放了生产力,改变人工操作的现状,提升了工作效率。

【技术实现步骤摘要】
一种基于kettle实现档案数据自动上传同步的方法
本专利技术属于档案数据自动化处理领域,具体涉及一种基于kettle实现档案数据自动上传同步的方法。
技术介绍
自国家电网公司成立以来,认真贯彻国家节能减排政策,深化线损管控,积极推进“四分”管理(分区、分压、分元件、分台区),节能降损工作取得显著成效。同期线损系统为保证“四分”线损计算的准确性,基础档案信息需要与源端系统(PMS、营销、GIS等系统)保持一致,而源端数据档案数据表多,数据量大,且更新异动频繁,这就需要同期线损系统做到及时同步、上传源端系统档案,此前这项工作需要安排专人触发同步、上传操作,操作过程繁琐,且耗费时间。为了节省人力成本,提高工作效率,对源端系统档案数据自动同步、自动上传机制进行深化研究,实现档案数据同步、上传的自动化是很有必要的。基础档案数据量大,更新频率快,传统的人工处理方法弊端日益明显,在利用现有服务器资源情况下,结合kettle、数据库等技术可以实现基础档案数据的自动同步与更新。
技术实现思路
本专利技术的目的是提供一种基于kettle实现档案数据自动上传同步的方法。本专利技术采用以下技术方案:一种基于kettle实现档案数据自动上传同步的方法,其特征在于:包括以下步骤:步骤S1:基于kettle工具将某类档案的明细数据进行抽取,配置SMTP服务实现明细数据定时以Excel的形式输出;步骤S2:将档案数据以增量形式定时自动上传到目标系统,从而实现数据的自动更新。在本专利技术一实施例中,步骤S1中还包括以下步骤:将同步日志和数据发送至指定邮箱。进一步的,步骤S1包括以下具体步骤:步骤S11:在Kettle中配置按规则获取时间节点;步骤S12:当Kettle同步档案后,配置输出已同步档案明细文件;步骤S13:在Kettle配置添加输出文件到结果文件中;步骤S14:在Kettle邮件设置中指定邮件收或发件人信息;步骤S15:设置SMTP邮件服务器及用户验证信息;步骤S16:设置需要发送的邮件内容和附件;步骤S17:将已编辑好的kettle程序上传至目标系统的服务器,编写脚本调用kettle;步骤S18:设置crontab定时任务,定时执行已编辑好的脚本。在本专利技术一实施例中,步骤S2包括以下步骤:步骤S21:通过PL/SQL配置定时任务,每天凌晨调用执行存储过程,清除无需上传的数据;步骤S22:在kettle中配置job,设定需要上传的档案类别,将需上传的数据抽取至数据中心;步骤S23:按规则条件抽取对应档案数据;步骤S24:将档案抽取程序上传至服务器端,在服务器端通过定时任务调用执行程序;编写档案抽取脚本,执行档案抽取命令;定时调用档案抽取脚本;步骤S25:将档案上传程序上传至服务器端,在服务器端通过定时任务调用;步骤S26:编写档案上传脚本,执行档案上传操作;定时调用档案上传脚本,实现定时自动上传基础档案。与现有技术相比,本专利技术具有以下优点:在利用现有服务器资源的基础上,结合kettle、数据库等技术手段实现定时自动同步和上传基础数据档案,保障数据更新的及时性,解放了生产力,改变人工操作的现状,提升了工作效率。附图说明图1是本专利技术的分析流程图。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解,下面将结合附图,进一步阐述本专利技术。本专利技术提供一种基于kettle实现档案数据自动上传同步的方法,其包括以下步骤:步骤S1:基于kettle工具将某类档案的明细数据进行抽取,配置SMTP服务实现明细数据定时以Excel的形式输出;步骤S2:将档案数据以增量形式定时自动上传到目标系统,从而实现数据的自动更新。在本专利技术一实施例中,步骤S1中还包括以下步骤:将同步日志和数据发送至指定邮箱。进一步的,步骤S1包括以下具体步骤:步骤S11:在Kettle中配置按规则获取时间节点;步骤S12:当Kettle同步档案后,配置输出已同步档案明细文件;步骤S13:在Kettle配置添加输出文件到结果文件中;步骤S14:在Kettle邮件设置中指定邮件收或发件人信息;步骤S15:设置SMTP邮件服务器及用户验证信息;步骤S16:设置需要发送的邮件内容和附件;步骤S17:将已编辑好的kettle程序上传至目标系统的服务器,编写脚本调用kettle;步骤S18:设置crontab定时任务,定时执行已编辑好的脚本。在本专利技术一实施例中,步骤S2包括以下步骤:步骤S21:通过PL/SQL配置定时任务,每天凌晨调用执行存储过程,清除无需上传的数据;步骤S22:在kettle中配置job,设定需要上传的档案类别,将需上传的数据抽取至数据中心;步骤S23:按规则条件抽取对应档案数据;步骤S24:将档案抽取程序上传至服务器端,在服务器端通过定时任务调用执行程序;编写档案抽取脚本,执行档案抽取命令;定时调用档案抽取脚本;步骤S25:将档案上传程序上传至服务器端,在服务器端通过定时任务调用;步骤S26:编写档案上传脚本,执行档案上传操作;定时调用档案上传脚本,实现定时自动上传基础档案。本专利技术是在总结人工上传处理基础数据的基础上,提出了利用kettle实现基础数据自动化上传同步的方法,整体流程如图1所示。第一部分:通过Kettle实现自动化同步基础档案数据,并可以用邮件通知结果,具体的实现步骤如下:a.在Kettle中配置按规则获取时间节点;b.当Kettle同步档案后,配置输出已同步档案明细文件;c.在Kettle配置添加输出文件到结果文件中;d.在Kettle邮件设置中指定邮件收/发件人信息;e.设置SMTP邮件服务器及用户验证信息;f.设置需要发送的邮件内容和附件;h.将已编辑好的kettle程序上传至服务器,编写脚本调用kettle;i.设置crontab定时任务,定时执行已编辑好的脚本;第二部分:在kettle实现自动化同步数据的前提下,自动化上传配网及以下增量数据档案。a.编写存储过程定时清理数据中心的相关数据,保证只上传增量数据;b.通过PL/SQL配置定时任务,每天凌晨调用执行该存储过程,清除无需上传的数据;c.在kettle中配置job,设定需要上传的档案类别,将需上传的数据抽取至数据中心;d.按规则条件抽取对应档案数据;e.将程序上传至服务器,在服务器端通过定时任务调用执行程序。编写脚本,执行档案抽取命令;f.定时调用档案抽取脚本;g.将档案上传程序上传至服务器,在服务器端通过定时任务调用;h.编写脚本,执行档案上传操作;i.定时调用档案上传脚本,实现定时自动上传基础档案。以上是本专利技术的较佳实施例,凡依本专利技术技术方案所作的改变,所产生的功能作用未超出本专利技术技术方案的范围时,均属于本专利技术的保护范围。本文档来自技高网...
一种基于kettle实现档案数据自动上传同步的方法

【技术保护点】
一种基于kettle实现档案数据自动上传同步的方法,其特征在于:包括以下步骤:步骤S1:基于kettle工具将某类档案的明细数据进行抽取,配置SMTP服务实现明细数据定时以Excel的形式输出;步骤S2:将档案数据以增量形式定时自动上传到目标系统,从而实现数据的自动更新。

【技术特征摘要】
1.一种基于kettle实现档案数据自动上传同步的方法,其特征在于:包括以下步骤:步骤S1:基于kettle工具将某类档案的明细数据进行抽取,配置SMTP服务实现明细数据定时以Excel的形式输出;步骤S2:将档案数据以增量形式定时自动上传到目标系统,从而实现数据的自动更新。2.根据权利要求1所述的基于kettle实现档案数据自动上传同步的方法,其特征在于:步骤S1中还包括以下步骤:将同步日志和数据发送至指定邮箱。3.根据权利要求2所述的基于kettle实现档案数据自动上传同步的方法,其特征在于:步骤S1包括以下具体步骤:步骤S11:在Kettle中配置按规则获取时间节点;步骤S12:当Kettle同步档案后,配置输出已同步档案明细文件;步骤S13:在Kettle配置添加输出文件到结果文件中;步骤S14:在Kettle邮件设置中指定邮件收或发件人信息;步骤S15:设置SMTP邮件服务器及用户验证信息;步骤S...

【专利技术属性】
技术研发人员:叶勇付婷苏运东蔡宇翔肖琦敏张航黄文思李金湖林海玉
申请(专利权)人:国网福建省电力有限公司国家电网公司国网福建省电力有限公司信息通信分公司
类型:发明
国别省市:福建,35

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1