一种任务部署的方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种任务部署的方法、装置、设备及存储介质，可应用于大数据领域或金融领域。通过根据用户的任务部署请求，配置任务部署的策略文件；根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；根据所述已配置数据表，调用所述更新后的工作流中的任务。本申请通过配置的策略文件，根据已配置数据表，调用更新后的工作流中的任务，实现自动调度和部署，有效降低了作业过程中的人为干预程度，提高了任务调度和部署的安全性以及可靠性。度和部署的安全性以及可靠性。度和部署的安全性以及可靠性。

【技术实现步骤摘要】
一种任务部署的方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，特别是涉及一种任务部署的方法、装置、设备及存储介质。

技术介绍

[0002]随着云计算和大数据的兴起和发展，大数据处理平台受到广泛的应用，运用大数据平台完成数据处理，可以提升加快数据处理效率。
[0003]现有技术中需要通过在大数据平台上进行大量的手动操作以实现任务部署，例如建立数据表、配置系统表信息、上传数据加工脚本、上传工作流配置文件以及上传部署脚本文件等操作。
[0004]然而，现有技术中人为干预程度较高，为任务部署过程引入了许多不确定因素，特别是面对日益庞大的数据量，任务部署过程的安全性以及可靠性都不能得到有效的保障。

技术实现思路

[0005]基于上述问题，本申请提供了一种任务部署的方法、装置、设备及存储介质。
[0006]本申请实施例公开了如下技术方案：
[0007]本申请实施例提供一种任务部署的方法，包括：
[0008]根据用户的任务部署请求，配置任务部署的策略文件；
[0009]根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；
[0010]将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；
[0011]根据所述已配置数据表，调用所述更新后的工作流中的任务。
[0012]进一步地，所述根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流，包括：
[0013]将所述策略文件中的数据表和工作流与所述原数据表和所述原工作流进行对比，获得对比结果；
[0014]若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流；
[0015]若所述对比结果表示新增数据表和工作流，根据所述策略文件中的数据表和工作流创建数据表和工作流，获得所述更新后的数据表和所述更新后的工作流。
[0016]进一步地，所述若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流之后，还包括：
[0017]将所述原数据表和所述原工作流进行备份。
[0018]进一步地，还包括：
[0019]当需要终止所述工作流中的任务时，对所述任务进行冻结、终止和/或停止。
[0020]进一步地，还包括：
[0021]查询所述工作流的状态，获得所述工作流的当前状态；
[0022]反馈所述当前状态。
[0023]本申请实施例还提供一种任务部署的装置，包括：
[0024]配置模块、更新模块、获得模块以及调用模块；
[0025]所述配置模块，用于根据用户的任务部署请求，配置任务部署的策略文件；
[0026]所述更新模块，用于根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；
[0027]所述获得模块，用于将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；
[0028]所述调用模块，用于根据所述已配置数据表，调用所述更新后的工作流中的任务。
[0029]进一步地，所述更新模块，包括：
[0030]第一获得单元、第二获得单元以及第三获得单元；
[0031]所述第一获得单元，用于将所述策略文件中的数据表和工作流与所述原数据表和所述原工作流进行对比，获得对比结果；
[0032]所述第二获得单元，用于若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流；
[0033]所述第三获得单元，用于若所述对比结果表示新增数据表和工作流，根据所述策略文件中的数据表和工作流创建数据表和工作流，获得所述更新后的数据表和所述更新后的工作流。
[0034]进一步地，所述第二获得单元中，还包括：
[0035]备份单元；
[0036]所述备份单元，用于将所述原数据表和所述原工作流进行备份。
[0037]进一步地，还包括：终止模块；
[0038]所述终止模块，用于当需要终止所述工作流中的任务时，对所述任务进行冻结、终止和/或停止。
[0039]进一步地，还包括：查询模块和反馈模块；
[0040]所述查询模块，用于查询所述工作流的状态，获得所述工作流的当前状态；
[0041]所述反馈模块，用于反馈所述当前状态。本申请实施例还提供一种计算机设备，所述计算机设备包括处理器以及存储器：
[0042]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0043]所述处理器用于根据所述程序代码中的指令执行如上所述的一种任务部署的方法的步骤。
[0044]本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种任务部署的方法的步骤。
[0045]相较于现有技术，本申请具有以下有益效果：
[0046]本申请通过根据用户的任务部署请求，配置任务部署的策略文件；根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；根据所述已配置数据表，调用所述更新后的工作流中的任务。本申请通过配置的策略文件，根据已配置数据表，调用更新后的工作流中的任务，实现自动部署和调度，有效降低了作业过程中的人为干预程度，提高了任务部署和调度的安全性以及可靠性。
附图说明
[0047]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0048]图1为本申请实施例提供的一种任务部署的方法的流程图；
[0049]图2为本申请实施例提供的一种更新原数据表和原工作流的方法的流程图；
[0050]图3为本申请实施例提供的一种任务部署的装置的结构示意图。
具体实施方式
[0051]正如前文描述，目前如何提高任务部署的安全性以及可靠性，成为本领域技术人员亟待解决的技术问题。
[0052]专利技术人经过研究发现，现有技术中需要通过在大数据平台上进行大量的手动操作以实现任务部署，例如建立数据表、配置系统表信息、上传数据加本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务部署的方法，其特征在于，包括：根据用户的任务部署请求，配置任务部署的策略文件；根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流；将系统数据添加至所述更新后的数据表，获得已配置数据表；所述系统数据用于调用所述更新后的工作流中的任务；根据所述已配置数据表，调用所述更新后的工作流中的任务。2.根据权利要求1所述的方法，其特征在于，所述根据所述策略文件中的数据表和工作流，更新大数据平台的原数据表和原工作流，获得更新后的数据表和更新后的工作流，包括：将所述策略文件中的数据表和工作流与所述原数据表和所述原工作流进行对比，获得对比结果；若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流；若所述对比结果表示新增数据表和工作流，根据所述策略文件中的数据表和工作流创建数据表和工作流，获得所述更新后的数据表和所述更新后的工作流。3.根据权利要求2所述的方法，其特征在于，所述若所述对比结果表示更新数据表和工作流，将所述原数据表和所述原工作流更新为所述策略文件中的数据表和工作流，获得所述更新后的数据表和所述更新后的工作流之后，还包括：将所述原数据表和所述原工作流进行备份。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，还包括：当需要终止所述工作流中的任务时，对所述任务进行冻结、终止和/或停止。5.根据权利要求1
‑
3任一项所述的方法，其特征在于，还包括：查询所述工作流的状态，获得所述工作流的当前状态；反馈所述当前状态。6.一种任务部署的装置，其特征在于，包括：配置模块、更新模块、获得模块以及调用模块；所述配置模...

【专利技术属性】
技术研发人员：黄钊港，敖倩，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：