一种调度系统脚本同步和执行方法技术方案

本发明专利技术提供了一种调度系统脚本同步和执行方法，方法包括：获得第一调度系统，第一调度系统包括server端和worker端；根据server端，获得数据开发用户提交的第一脚本开发信息，且对第一脚本开发信息进行git资源配置，获得第一配置信息；基于zookeeper，将第一脚本开发信息传输至第一worker节点，生成第一变更指令；根据第一变更指令，第一worker节点在server端拉取第一脚本开发信息，且server端生成第一执行指令；根据第一执行指令，第一worker节点上的数据处理服务器执行第一脚本开发信息。的数据处理服务器执行第一脚本开发信息。的数据处理服务器执行第一脚本开发信息。

【技术实现步骤摘要】
一种调度系统脚本同步和执行方法


[0001]本专利技术涉及数据处理相关
，具体涉及一种调度系统脚本同步和执行方法。

技术介绍

[0002]随着计算机技术的不断发展，企业数字化的程度逐渐加深，针对于数据处理的自动化手段也不断成熟，使用任务调度结合脚本开发的方式实现数据自动化处理是当前常规使用的一类方式，例如linuxcrontab进行任务调度，在服务器进行脚本开发的工作方式较为广泛。
[0003]但本申请在实现本申请中专利技术技术方案的过程中，发现上述技术至少存在如下技术问题：
[0004]现有技术中只考虑到任务调度、任务依赖关系和脚本执行，存在无法保障脚本及被引用脚本代码同时为最新版本，以及任务调度失败回滚时无法回滚引用脚本的技术问题。

技术实现思路

[0005]本申请通过提供了一种调度系统脚本同步和执行方法，解决了现有技术中只考虑到任务调度、任务依赖关系和脚本执行，存在无法保障脚本及被引用脚本代码同时为最新版本，以及任务调度失败回滚时无法回滚引用脚本的技术问题。通过将任务调度系统分为server端和worker端，在server端调取开发人员提供的脚本开发信息，并基于脚本开发信息在git仓库中对进行资源配置；通过zookeeper程序得到和脚本开发信息相对应的发生变更的worker节点，根据变更信息worker节点在server端拉取脚本开发信息，进而依据资源配置结果和拉取的脚本开发信息执行任务，实现了保障脚本和脚本引用代码为最新版本，且由于git仓库的存在，回滚时可以同时回滚脚本和被引用的脚本代码的技术效果。
[0006]鉴于上述问题，本申请提供了一种调度系统脚本同步和执行方法。
[0007]第一方面，本申请提供了一种调度系统脚本同步和执行方法，所述方法包括：获得第一调度系统，所述第一调度系统包括server端和worker端；根据所述server端，获得数据开发用户提交的第一脚本开发信息，且对所述第一脚本开发信息进行git资源配置，获得第一配置信息；基于zookeeper，将所述第一脚本开发信息传输至第一worker节点，生成第一变更指令，其中，所述zookeeper与所述server端通信链接，且所述第一worker节点包含于所述worker端；根据所述第一变更指令，所述第一worker节点在所述server端拉取所述第一脚本开发信息，且所述server端生成第一执行指令；根据所述第一执行指令，所述第一worker节点上的数据处理服务器执行所述第一脚本开发信息。
[0008]另一方面，本申请提供了一种调度系统脚本同步和执行系统，所述系统包括：第一获得单元，所述第一获得单元用于获得第一调度系统，所述第一调度系统包括server端和worker端；第二获得单元，所述第二获得单元用于根据所述server端，获得数据开发用户提
交的第一脚本开发信息，且对所述第一脚本开发信息进行git资源配置，获得第一配置信息；第一生成单元，所述第一生成单元用于基于zookeeper，将所述第一脚本开发信息传输至第一worker节点，生成第一变更指令，其中，所述zookeeper与所述server端通信链接，且所述第一worker节点包含于所述worker端；第一处理单元，所述第一处理单元用于根据所述第一变更指令，所述第一worker节点在所述server端拉取所述第一脚本开发信息，且所述server端生成第一执行指令；第一执行单元，所述第一执行单元用于根据所述第一执行指令，所述第一worker节点上的数据处理服务器执行所述第一脚本开发信息。
[0009]第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
[0010]第四方面，本申请提供了一种计算机可读存储介质，其中，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
[0011]本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0012]由于采用了通过将任务调度系统分为server端和worker端，在server端调取开发人员提供的脚本开发信息，并基于脚本开发信息在git仓库中对进行资源配置；通过zookeeper程序得到和脚本开发信息相对应的发生变更的worker节点，根据变更信息worker节点在server端拉取脚本开发信息，进而依据资源配置结果和拉取的脚本开发信息执行任务的技术方案，实现了保障脚本和脚本引用代码为最新版本，且由于git仓库的存在，回滚时可以同时回滚脚本和被引用的脚本代码的技术效果。
[0013]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0014]图1为本申请提供了一种调度系统脚本同步和执行方法流程示意图；
[0015]图2为本申请提供了一种调度系统脚本同步和执行方法流程中的更新情况检索方法流程示意图；
[0016]图3为本申请提供了一种调度系统脚本同步和执行方法流程中出现异常工作状态前后文件同步方法流程示意图；
[0017]图4为本申请提供了一种调度系统脚本同步和执行系统结构示意图；
[0018]图5为本申请示例性电子设备的结构示意图。
[0019]附图标记说明：第一获得单元11，第二获得单元12，第一生成单元13，第一处理单元14，第一执行单元15，电子设备300，存储器301，处理器302，通信接口303，总线架构304。
具体实施方式
[0020]本申请通过提供了一种调度系统脚本同步和执行方法，解决了现有技术中只考虑到任务调度、任务依赖关系和脚本执行，存在无法保障脚本及被引用脚本代码同时为最新版本，以及任务调度失败回滚时无法回滚引用脚本的技术问题。通过将任务调度系统分为server端和worker端，在server端调取开发人员提供的脚本开发信息，并基于脚本开发信
息在git仓库中对进行资源配置；通过zookeeper程序得到和脚本开发信息相对应的发生变更的worker节点，根据变更信息worker节点在server端拉取脚本开发信息，进而依据资源配置结果和拉取的脚本开发信息执行任务，实现了保障脚本和脚本引用代码为最新版本，且由于git仓库的存在，回滚时可以同时回滚脚本和被引用的脚本代码的技术效果。
[0021]申请概述
[0022]随着计算机技术的不断发展，企业数字化的程度逐渐加深，针对于数据处理的自动化手段也不断成熟，使用任务调度结合脚本开发的方式实现数据自动化处理是当前常规使用的一类方式，但现有技术中只考虑到任务调度、任务依赖关系和脚本执行，存在无法保障脚本及被引用脚本代码同时为最新版本，以及任务调度失败回滚时无法回滚引用脚本的技术问题。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调度系统脚本同步和执行方法，其特征在于，所述方法包括：获得第一调度系统，所述第一调度系统包括server端和worker端；根据所述server端，获得数据开发用户提交的第一脚本开发信息，且对所述第一脚本开发信息进行git资源配置，获得第一配置信息；基于zookeeper，将所述第一脚本开发信息传输至第一worker节点，生成第一变更指令，其中，所述zookeeper与所述server端通信连接，且所述第一worker节点包含于所述worker端；根据所述第一变更指令，所述第一worker节点在所述server端拉取所述第一脚本开发信息，且所述server端生成第一执行指令；根据所述第一执行指令，所述第一worker节点上的数据处理服务器执行所述第一脚本开发信息。2.如权利要求1所述的方法，其特征在于，所述方法包括：构建git仓库，其中，所述git仓库包括webhook配置信息、资源类型配置信息；根据所述资源类型配置信息，对所述git仓库进行地址配置和ssh公钥配置，生成所述第一配置信息；根据所述资源类型配置信息，对所述数据处理服务器进行存储路径配置。3.如权利要求2所述的方法，其特征在于，所述方法包括：所述数据开发用户提交所述第一脚本开发信息后，根据所述webhook配置信息，生成所述第一脚本开发信息的webhook代码更新提醒指令；根据所述webhook代码更新提醒指令，提醒所述server端进行配置更新。4.如权利要求3所述的方法，其特征在于，所述方法包括：获得本地代码分支信息和git远程代码分支信息；调用git diff命令，对所述本地代码分支信息和所述git远程代码分支信息进行对比，获得当前更新文件；将所述当前更新文件录入数据库。5.如权利要求1所述的方法，其特征在于，所述第一worker节点上的数据处理服务器执行所述第一脚本开发信息，之前包括：对所述zookeeper的历史同步文件进行检索，判断是否存在未同步完成文件；若不存在所述未同步完成文件，...

【专利技术属性】
技术研发人员：李金伟，罗永，
申请(专利权)人：百融至信北京征信有限公司，
类型：发明
国别省市：