一种基于作业模版的数据资源自动化共享方法及系统技术方案

本发明专利技术提供一种基于作业模版的数据资源自动化共享方法及系统，属于数据资源自动化共享应用领域，本发明专利技术采用作业模版的方式进行数据资源的自动化共享。具体作业信息根据作业模版及事件触发机制自动化生成，根据具体作业文件进行数据资源的共享，省却作业的手动配置过程，大大节省实施运维工作量。

【技术实现步骤摘要】
一种基于作业模版的数据资源自动化共享方法及系统
本专利技术涉及数据资源自动化共享应用领域，尤其涉及一种基于作业模版的数据资源自动化共享方法及系统。
技术介绍
随着信息化建设的推进，各政务单位内部集聚了大量数据资源，随着管理工作的不断深化，各类深度分析需求也不断涌现，对数据资源的深化利用需求越来越强烈。然而单位与单位之间，单位内部部门与部门之间存在着信息孤岛，为避免重复建设造成大量浪费，实现不同单位部门异构应用系统间信息交换与共享，进一步发挥信息资源和应用系统的效能，提升信息化建设对业务和管理的支撑作用，数据资源整合共享显得尤为急迫。数据资源的共享采用作业的方式进行传输流转，针对某一具体订阅者可设计具体一条作业进行相关支持。由于政务单位数量的庞大，针对某一数据资源的订阅者可能几十上百，如果手动进行作业的相关配置，无疑是巨大的工作量，浪费较多的人力物力。。
技术实现思路
为了解决以上技术问题，本专利技术提出了一种基于作业模版的数据资源自动化共享方法。针对某一数据资源订阅者众多的情况下，每条作业手动配置耗时耗力，运用本专利技术，可以根据订阅者输入的信息，事件触发文件引擎自动生成作业，全过程不需要运维实施人员参与，大大提高相关工作效率。本专利技术的技术方案是：一种基于作业模版的数据资源自动化共享方法，采用作业进行传输，针对一个资源，采用作业模版的方式，事件触发结合具体作业模版生成针对具体订阅方的作业文件，采用数据资源同步工具执行作业文件，完成数据资源的流转，全程可不需要运维实施人员进行相关配置。采用事件触发机制，订阅者填写相关具体参数信息，文件引擎定时检测到具体参数的输入，将会调用具体作业模版，将相关具体参数传入作业模版中生成具体作业文件，数据传输工具将会按照具体作业文件信息，将相关具体数据资源同步给订阅者。基于作业模版的数据资源自动化共享方法针对事件触发收集的订阅信息及作业模版借助文件引擎生成可执行作业文件，传输工具直接执行相关作业文件完成数据资源的同步。本专利技术还公开了一种基于作业模版的数据资源自动化共享系统，包括作业模版、事件触发、文件引擎、可执行作业文件、数据同步等模块。其中，作业模版模块，每个数据资源都有一个作业模版，关于数据资源固有的属性信息：资源数据源、资源表名、日志相关表信息可以作为常量存储在作业模版内，资源订阅者相关信息：订阅方数据源、订阅方表名作为变量存储在作业模版内；事件触发模块，订阅者需在系统内填写相关订阅信息，提交以后相关信息储存到redis内，redis服务请求启动文件引擎；文件引擎模块，文件引擎每隔10s监听一次redis数据变化，根据传入的数据选择合适的作业模版，并将redis中的参数数据替换模版文件中的变量值，生成可执行作业文件；可执行作业文件模块，订阅操作触发文件引擎，生成可执行作业文件；数据同步模块，系统命令调用数据同步工具api，执行可执行作业文件，完成数据同步工作。本专利技术的有益效果是针对某一资源，订阅者只要在系统内填写相关订阅信息，可执行作业文件就会生成，数据传输工具根据可执行作业文件，定时执行，数据被传送给订阅者，全程运维实施人员不需参与，节省人力物力。附图说明图1是本专利技术的工作示意图。具体实施方式下面对本专利技术的内容进行更加详细的阐述：本专利技术的基于作业模版的数据资源自动化共享方法针对事件触发收集的订阅信息及作业模版借助文件引擎生成可执行作业文件，传输工具直接执行相关作业文件完成数据资源的同步。包括作业模版、事件触发、文件引擎、可执行作业文件、数据同步等模块。作业模版每个数据资源都有一个作业模版，关于数据资源固有的属性信息：资源数据源、资源表名、日志相关表等信息可以作为常量存储在作业模版内，资源订阅者相关信息：订阅方数据源、订阅方表名等作为变量存储在作业模版内。事件触发订阅者需在系统内填写相关订阅信息，提交以后相关信息储存到redis内，redis服务请求启动文件引擎(confd为例)文件引擎文件引擎confd每隔10s监听一次redis数据变化，根据传入的数据选择合适的作业模版，并将redis中的参数数据替换模版文件中的变量值，生成可执行作业文件。/etc/confd/conf.d/redis_kettle_job.toml：[template]src＝″redis_kettle_job_module.tmpl″dest＝″/etc/confd/redis_kettle_job_list.conf″mode＝″0777″keys＝[″/kettle″]check_cmd＝″″reload_cmd＝″cd/etc/confd/conf.d&javaConfdTemplateSplit/etc/confd/redis_kettle_：src：指定配置模板文件dest：根据模板文件生成的配置模板列表文件，生成的该文件内容是根据数据key不同生成的若干个配置集合mode：生成文件的权限keys：redis中存放数据的目录check_cmd：检查配置文件脚本，如：nginx-t-c{{.src}}，验证nginx配置文件正确性reload_cmd：重新加载配置文件脚本，如：nginx-sreload，重启nginx；该例中，此处指定配置模板表文件(/etc/confd/redis_kettle_list.conf)的处理脚本。创建模板列表文件：可执行作业文件：/etc/confd/redis_kettle_job_list.conf：[template]src＝″module1_job.kjb″dest＝″/tmp/1000_fogray_job.conf″keys＝[″/kettle/1000_fogray″]check_cmd＝″″reload_cmd＝″″[template]src＝″module2_job.kjb″dest＝″/tmp/1001_fogray1_job.conf″keys＝[″/kettle/1001_fogray1″]check_cmd＝″″reload_cmd＝″″······可执行作业文件订阅操作触发文件引擎，生成可执行作业文件。数据同步系统命令调用数据同步工具api，执行可执行作业文件，完成数据同步工作。kitchen/fileE：\data\data_sync\job\drive_job.kjb2018/06/1210：00：23-use_1000_fogray-开始执行任务2018/06/1210：00：24-use_1000_fogray-开始项[1000_fogray_trans]2018/06/1210：00：24-1000_fogray_trans-LoadingtransformationfromXMLfile[file：///E：/浪潮/文档/项目/gxb/资源订阅/生成的作业以及转换文件/1000_fogray_trans.ktr]2018/06/1210：00：241000_fogray_transUsingrunconfiguration[Pentaholocal]2018/06/1210∶00∶24-1000fogray_trans-Usinglegacyexecutionengine2018/06/1210：00：24本文档来自技高网...

【技术保护点】
1.一种基于作业模版的数据资源自动化共享方法，其特征在于，采用作业进行传输，针对一个资源，采用作业模版的方式，事件触发结合具体作业模版生成针对具体订阅方的作业文件，采用数据资源同步工具执行作业文件，完成数据资源的流转，全程可不需要运维实施人员进行相关配置。

【技术特征摘要】
1.一种基于作业模版的数据资源自动化共享方法，其特征在于，采用作业进行传输，针对一个资源，采用作业模版的方式，事件触发结合具体作业模版生成针对具体订阅方的作业文件，采用数据资源同步工具执行作业文件，完成数据资源的流转，全程可不需要运维实施人员进行相关配置。2.根据权利要求1所述的方法，其特征在于，采用事件触发机制，订阅者填写相关具体参数信息，文件引擎定时检测到具体参数的输入，将会调用具体作业模版，将参数传入作业模版中生成具体作业文件，数据传输工具将会按照具体作业文件信息，将数据资源同步给订阅者。3.一种基于作业模版的数据资源自动化共享系统，其特征在于，主要包括：作业模版模块、事件触发模块、文件引擎模块、可执行作业文件模块、数据同步模...

【专利技术属性】
技术研发人员：高冉，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东,37