The present invention discloses a task execution method, device, and server, which includes the task description file corresponding to the task, the path of the database public packet for the execution of the task, the path of the database script file to represent the entity of the task, and the first parameter corresponding to the task. The first parameter is used to replace the variables in the database script file; the database script file is pushed to the computing node, the computing node has the database public package, the database public package is called according to the path of the database public package, and the database script file is obtained by the path of the database script file by the database public package. The first parameter is used to replace the variables in the database script file, and the database script file is executed to get the execution result of the task. According to the invention, the code duplication is greatly reduced while the task becomes simpler and the manpower is saved.
【技术实现步骤摘要】
任务执行方法、装置和服务器
本专利技术涉及计算机
,尤其涉及一种任务执行方法、装置和服务器。
技术介绍
Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架:通过在数据处理过程中成本更低的Suffle(数据清洗算法)方式,将MapReduce(一种编程模型)提升到一个更高的层次;利用内存数据存储和接近实时的处理能力,其性能比其他大数据处理技术要快很多倍。传统数据清洗任务,往往需要开发大量的代码来支撑,当清洗任务很多的时候,往往工程包会变得臃肿不堪,从而带来各种弊端。例如:1.代码重复率高,人力浪费严重。当工程很大的时候,不同的开发人员之间会存在相当一部分的重复功能代码,再合并代码复杂度,将会大大浪费人力资源。2.代码维护成本太高。若当工程运行时发现某个任务存在漏洞,需要调整,势必要停掉整个工程,这样将导致大多数良好任务等待一个问题任务的情况,造成环境资源的严重浪费。3.代码灵活性差。当需要交付时,若某几个任务代码存在问题,会导致项目整体无法交付。4.代码调试、运行、转移等不便。由于任务多而导致的工程变大,会使代码的调试、运行时间变得更长,会使代码转移变得艰难。
技术实现思路
本专利技术的目的在于提供一种任务执行方法、装置和服务器,以解决传统清洗任务代码重复、工程过大、任务管理不便中的至少一个难题。本专利技术解决上述技术问题所采用的技术方案如下:提供的一种任务执行方法,包括:读取任务对应的任务描述文件,所述任务描述文件中记录用于执行所述任务的数据库公共包的路径、用于表示所述任务的实体的数据库脚本文件的路径、以及所述任务对应的第一参数,所述第一参数 ...
【技术保护点】
1.一种任务执行方法,其特征在于,包括:读取任务的任务描述文件,所述任务描述文件中记录用于执行所述任务的数据库公共包的路径、用于表示所述任务的实体的数据库脚本文件的路径、以及所述任务对应的第一参数;将数据库脚本文件推送到计算节点,所述计算节点处具有数据库公共包;根据所述数据库公共包的路径调用所述数据库公共包,通过所述数据库公共包按所述数据库脚本文件的路径,获取数据库脚本文件并使用所述第一参数替换所述数据库脚本文件中的变量,以及执行所述数据库脚本文件,得到所述任务的执行结果。
【技术特征摘要】
1.一种任务执行方法,其特征在于,包括:读取任务的任务描述文件,所述任务描述文件中记录用于执行所述任务的数据库公共包的路径、用于表示所述任务的实体的数据库脚本文件的路径、以及所述任务对应的第一参数;将数据库脚本文件推送到计算节点,所述计算节点处具有数据库公共包;根据所述数据库公共包的路径调用所述数据库公共包,通过所述数据库公共包按所述数据库脚本文件的路径,获取数据库脚本文件并使用所述第一参数替换所述数据库脚本文件中的变量,以及执行所述数据库脚本文件,得到所述任务的执行结果。2.根据权利要求1所述的方法,其特征在于,所述任务描述文件中还记录任务配置文件的路径,所述任务配置文件记录用于替换所述数据库脚本文件的门限值的第二参数;所述方法还包括:将所述任务配置文件推送到所述计算节点;通过所述数据库公共包按所述任务配置文件的路径,获取所述任务配置文件中的所述第二参数来替换所述数据库脚本文件中的门限值。3.根据权利要求1所述的方法,其特征在于,获取所述数据库脚本文件并使用所述第一参数替换所述数据库脚本文件中的变量,具体包括:根据预设的数据交换语言,将所述任务描述文件生成数据交换文件,从所述数据交换文件中提取所述第一参数来替换所述数据库脚本文件中的变量。4.根据权利要求1所述的方法,其特征在于,还包括:根据所述任务的优先级、所述任务所需数据是否已获取,将所述任务添加到记录有按顺序排列的一个或多个任务的任务列表中;根据所述任务在所述任务列表中的顺序,从所述任务列表中读取所述任务后,执行获取所述数据库脚本文件并使用所述第一参数替换所述数据库脚本文件中的变量,以及根据所述数据库公共包的路径调用所述数据库公共包执行所述数据库脚本文件,得到所述任务的执行结果。5.根据权利要求1所述的方法,其特征在于,所述任务描述文件中包括所述任务对应的输入表的信息、输出表的信息;所述调用所述数据库公共包执行所述数据库脚本文件,具体包括:从所述输入表获取所述数据库脚本的输入数据并执行所述数据库脚本文件,将得到的结果加入所述输出表中。6.一种任务执行装置,其特征在于,包括:读取模块,用于...
【专利技术属性】
技术研发人员:单立明,钟陈练,匡林林,
申请(专利权)人:中兴通讯股份有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。