作业处理方法、装置、存储介质及设备制造方法及图纸

本发明专利技术公开了一种作业处理方法、装置、存储介质及设备，属于大数据处理技术领域。方法包括：基于计算环境中计算节点的数量以及待处理作业的优先级，在待处理作业中确定当前并行处理的至少两个目标作业；对于每一个目标作业，基于存储映射从第三方存储获取目标作业的应用程序包以及输入数据，存储映射指代第三方存储挂载到本地；在计算环境包含的计算节点中确定执行目标作业的目标计算节点，并调用目标计算节点基于应用程序包以及输入数据执行目标作业。本发明专利技术在进行作业处理时，利用存储映射从第三方存储获取作业的应用程序包以及输入数据，实现了数据安全地导入计算节点；另外，在一个计算环境中可并行处理多个作业，实现了计算资源的高效使用。

【技术实现步骤摘要】
作业处理方法、装置、存储介质及设备
本专利技术涉及大数据处理
，特别涉及一种作业处理方法、装置、存储介质及设备。
技术介绍
批量计算是一种适用于大规模并行批处理作业的分布式云服务。其中，作业是指进行批处理的最小单位。目前批量计算已经广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等
，以为企业或科研单位等提供计算服务。比如，时下常常基于批量计算处理MPI(MessagePassingInterface，信息传递接口)作业，以满足高性能并行计算的需求。其中，目前在处理MPI作业时数据导入计算节点需依赖公开下载，因此存在不安全的问题，这使得如何基于批量计算来执行MPI作业，成为了本领域技术人员亟待解决的一个问题。
技术实现思路
本专利技术实施例提供了一种作业处理方法、装置、存储介质及设备，解决了相关技术数据导入计算节点不安全的问题。所述技术方案如下：一方面，提供了一种作业处理方法，所述方法包括：基于计算环境中计算节点的数量以及待处理作业的优先级，在所述待处理作业中确定当前并行处理的至少两个目标作业；对于每一个目标作业，基于存储映射从第三方存储获取所述目标作业的应用程序包以及输入数据，所述存储映射指代所述第三方存储挂载到本地；在所述计算环境包含的计算节点中确定执行所述目标作业的目标计算节点，并调用所述目标计算节点基于所述应用程序包以及所述输入数据执行所述目标作业。另一方面，提供了一种作业处理装置，所述装置包括：确定模块，用于基于计算环境中计算节点的数量以及待处理作业的优先级，在所述待处理作业中确定当前并行处理的至少两个目标作业；获取模块，用于对于每一个目标作业，基于存储映射从第三方存储获取所述目标作业的应用程序包以及输入数据，所述存储映射指代所述第三方存储挂载到本地；处理模块，用于在所述计算环境包含的计算节点中确定执行所述目标作业的目标计算节点，调用所述目标计算节点基于所述应用程序包以及所述输入数据执行所述目标作业。在另一个实施例中，所述目标作业包括主任务和与所述主任务对应的至少一个子任务，所述存储映射包括任务存储映射和计算环境存储映射，所述任务存储映射为生命周期与所述主任务的生命周期一致的存储映射，所述计算环境存储映射为生命周期与所述计算环境的生命周期一致的存储映射，所述获取模块，用于基于所述任务存储映射，从第三方存储的主任务目录获取所述主任务的第一应用程序包以及与所述主任务匹配的第一输入数据；基于所述计算环境存储映射，从第三方存储的子任务目录获取所述至少一个子任务的第二应用程序包以及与所述至少一个子任务匹配的第二输入数据。在另一个实施例中，所述处理模块，用于在所述计算环境包含的计算节点中确定执行所述主任务的第一计算节点，并调用所述第一计算节点基于所述第一应用程序包以及所述第一输入数据执行所述主任务，所述第一计算节点用于在执行所述主任务过程中调用所述计算环境中的第二计算节点，以使所述第二计算节点基于所述第二应用程序包以及所述第二输入数据执行所述至少一个子任务。在另一个实施例中，所述处理模块，还用于基于所述存储映射，将所述目标计算节点输出的输出数据保存至所述第三方存储。在另一个实施例中，所述输出数据包括标准输出数据和标准错误数据，所述处理模块，还用于基于所述任务存储映射，将所述第一计算节点输出的标准输出数据保存至所述第三方存储的标准输出目录，将所述第一计算节点输出的标准错误数据保存至所述第三方存储的标准错误目录；基于所述计算环境存储映射，将所述第二计算节点输出的标准输出数据和标准错误数据保存至所述第三方存储的目标输出数据目录。在另一个实施例中，所述获取模块，还用于基于所述存储映射，将保存在所述第三方存储的第一目录下的密钥对挂载到所述计算环境中每一个计算节点的指定目录。在另一个实施例中，所述获取模块，还用于当已挂载的密钥对失效时，以保存在所述第三方存储的第二目录下的任意一个密钥对替换所述第一目录下的密钥对，所述第二目录为所述第一目录的备用目录；基于所述存储映射，将保存在所述第一目录下的已更新密钥对挂载到所述计算环境中每一个计算节点的指定目录。另一方面，提供了一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的作业处理方法。另一方面，提供了一种作业处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的作业处理方法。本专利技术实施例提供的技术方案带来的有益效果是：在进行作业处理时，本专利技术实施例利用存储映射从第三方存储获取作业的应用程序包以及输入数据，由于为数据传输提供了安全通道，所以实现了数据安全地导入计算节点；另外，本专利技术实施例在一个计算环境中可并行处理多个作业，能够充分地调度计算环境中各个计算节点的有效计算能力，实现了计算资源的高效使用。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种作业处理方法所涉及的实施环境图；图2是本专利技术实施例提供的一种基于批量计算运行LinuxMPI应用程序的流程图；图3是本专利技术实施例提供的一种作业处理方法的流程图；图4是本专利技术实施例提供的一种主任务的程序代码示意图；图5是本专利技术实施例提供的一种作业处理装置的结构示意图；图6是本专利技术实施例提供的一种作业处理设备的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。在对本专利技术实施例进行详细地解释说明之前，先对本专利技术实施例涉及的一些名词进行解释说明。MPI(MessagePassingInterface，信息传递接口)：是一个跨语言的通讯协议，用于编写并行计算机，广泛地应用于诸如气象、金融、生物、科研等领域。批量计算：英文全称BatchCompute，简称Batch。Batch是应对海量批处理作业的分布式计算平台。即，Batch是一种适用于大规模并行批处理作业的分布式云服务，目的是给具有大数据计算业务的企业或科研单位等提供高性价比且易用的计算服务。作业：Batch进行批处理的最小单位，通常一个作业由单个或多个具有依赖关系的任务组成。计算节点：运行作业的节点，其可能是物理机、虚拟机或容器等。任务：实际在计算节点上被执行的应用程序。存储映射：一种将第三方存储挂载到本地的方法，实现数据安全导入和导出。其中，第三方存储包括但不限于对象存储、文件存储等。计算环境存储映射：指代生命周期与计算环境一致的存储映射，在删除计算环境后，存储映射不可用。任务存储映射：指代生命周期与作业任务一致的存储映射，任务执行完成后，存储映射不可用。挂载：在linux操作系统中，挂载是指将一个设备(通常是存储设备)挂接到一个已存在的目录上。即要访问存储设备中的文件，必须将文件所在的分区挂载到一个已存在的目录上，然后通过访问这个目录来访问存储设备。计算环境：指代包含一个或多个计算节点的集合。其中，同一个用户可创建多个计算环境。CVM(CloudVirtu本文档来自技高网...

【技术保护点】
一种作业处理方法，其特征在于，所述方法包括：基于计算环境中计算节点的数量以及待处理作业的优先级，在所述待处理作业中确定当前并行处理的至少两个目标作业；对于每一个目标作业，基于存储映射从第三方存储获取所述目标作业的应用程序包以及输入数据，所述存储映射指代所述第三方存储挂载到本地；在所述计算环境包含的计算节点中确定执行所述目标作业的目标计算节点，并调用所述目标计算节点基于所述应用程序包以及所述输入数据执行所述目标作业。

【技术特征摘要】
1.一种作业处理方法，其特征在于，所述方法包括：基于计算环境中计算节点的数量以及待处理作业的优先级，在所述待处理作业中确定当前并行处理的至少两个目标作业；对于每一个目标作业，基于存储映射从第三方存储获取所述目标作业的应用程序包以及输入数据，所述存储映射指代所述第三方存储挂载到本地；在所述计算环境包含的计算节点中确定执行所述目标作业的目标计算节点，并调用所述目标计算节点基于所述应用程序包以及所述输入数据执行所述目标作业。2.根据权利要求1所述的方法，其特征在于，所述目标作业包括主任务和与所述主任务对应的至少一个子任务，所述存储映射包括任务存储映射和计算环境存储映射，所述任务存储映射为生命周期与所述主任务的生命周期一致的存储映射，所述计算环境存储映射为生命周期与所述计算环境的生命周期一致的存储映射，所述基于存储映射从第三方存储获取所述目标作业的应用程序包以及输入数据，包括：基于所述任务存储映射，从第三方存储的主任务目录获取所述主任务的第一应用程序包以及与所述主任务匹配的第一输入数据；基于所述计算环境存储映射，从第三方存储的子任务目录获取所述至少一个子任务的第二应用程序包以及与所述至少一个子任务匹配的第二输入数据。3.根据权利要求2所述的方法，其特征在于，所述在所述计算环境包含的计算节点中确定执行所述目标作业的目标计算节点，并调用所述目标节点基于所述应用程序包以及所述输入数据执行所述目标作业，包括：在所述计算环境包含的计算节点中确定执行所述主任务的第一计算节点，并调用所述第一计算节点基于所述第一应用程序包以及所述第一输入数据执行所述主任务，所述第一计算节点用于在执行所述主任务过程中调用所述计算环境中的第二计算节点，以使所述第二计算节点基于所述第二应用程序包以及所述第二输入数据执行所述至少一个子任务。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于所述存储映射，将所述目标计算节点输出的输出数据保存至所述第三方存储。5.根据权利要求4所述的方法，其特征在于，所述输出数据包括标准输出数据和标准错误数据，所述基于所述存储映射，将所述目标计算节点输出的输出数据保存至所述第三方存储，包括：基于所述任务存储映射，将所述第一计算节点输出的标准输出数据保存至所述第三方存储的标准输出目录，将所述第一计算节点输出的标准错误数据保存至所述第三方存储的标准错误目录；基于所述计算环境存储映射，将所述第二计算节点输出的标准输出数据和标准错误数据保存至所述第三方存储的目标输出数据目录。6.根据权要利要求1至5中任一权利要求所述的方法，其特征在于，所述方法还包括：基于所述存储映射，将保存在所述第三方存储的第一目录下的密钥对挂载到所述计算环境中每一个计算节点的指定目录。7.根据权利要求6所述的方法，其特征在于，所述密钥对为安全外壳协议ssh密钥对，所述第一目录为.ssh目录，所述ssh密钥对由终端设备生成并上传到所述第三方存储，所述密钥对中包括公钥文件、私...

【专利技术属性】
技术研发人员：王斌，李力，贾卷，王旻，陈煜东，
申请(专利权)人：腾讯科技深圳有限公司，腾讯云计算北京有限责任公司，
类型：发明
国别省市：广东,44