私有云环境下作业的执行方法、装置制造方法及图纸

本公开提供一种私有云环境下作业的执行方法，涉及大数据、云服务、云计算、深度学习等人工智能技术领域。作业的执行方法包括：通过作业查询接口获取目标作业；根据所述目标作业，确定私有云环境下的候选机器集群中的目标机器集群；通过节点查询接口获取所述目标机器集群中节点的节点信息，根据所述节点信息与所述目标作业确定所述目标机器集群中的目标节点；通过作业创建接口将与所述目标作业对应的目标数据发送到所述目标节点，以用于所述目标节点创建所述目标作业并处理所述目标数据。本公开能够实现在无侵入私有云环境的情况进行作业的执行，增强了私有云的安全性、提升了私有云在执行作业时的效率。有云在执行作业时的效率。有云在执行作业时的效率。

【技术实现步骤摘要】
私有云环境下作业的执行方法、装置


[0001]本公开涉及数据处理
，尤其涉及大数据、云服务、云计算、深度学习等人工智能
提供了一种私有云环境下作业的执行方法、装置、电子设备与可读存储介质。

技术介绍

[0002]随着云计算服务的快速发展，越来越多的企业使用私有云进行云计算服务，以满足他们的计算需求。但是由于私有云在使用时具有严格的限制，如何在确保私有云的安全性的前提下进行作业执行是目前亟待解决的技术问题。

技术实现思路

[0003]根据本公开的第一方面，提供了一种私有云环境下作业的执行方法，包括：通过作业查询接口获取目标作业；根据所述目标作业，确定私有云环境下的候选机器集群中的目标机器集群；通过节点查询接口获取所述目标机器集群中节点的节点信息，根据所述节点信息与所述目标作业确定所述目标机器集群中的目标节点；；通过作业创建接口将与所述目标作业对应的目标数据发送到所述目标节点，以用于所述目标节点创建所述目标作业并处理所述目标数据。
[0004]根据本公开的第二方面，提供了一种私有云环境下作业的执行装置，包括：获取单元，用于通过作业查询接口获取目标作业；第一确定单元，用于根据所述目标作业，确定私有云环境下的候选机器集群中的目标机器集群；第二确定单元，用于通过节点查询接口获取所述目标机器集群中节点的节点信息，根据所述节点信息与所述目标作业确定所述目标机器集群中的目标节点；执行单元，用于通过作业创建接口将与所述目标作业对应的目标数据发送到所述目标节点，以用于所述目标节点创建所述目标作业并处理所述目标数据。
[0005]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
[0006]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。
[0007]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
[0008]根据本公开的第六方面，提供了一种私有云环境下作业的执行系统，包含上述电子设备、私有云环境下的机器集群与存储装置。
[0009]由以上技术方案可以看出，本公开在无需对私有云环境下的机器集群进行组件安装等侵入性操作的情况下，实现了在私有云环境下执行作业的目的，增强了私有云的安全性，且本实施例将目标数据直接发送到所确定的目标节点，无需由私有云环境下的机器集
群再进行目标节点的确定，从而提升了私有云在执行作业时的效率。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开第一实施例的示意图；
[0013]图2是根据本公开第二实施例的示意图；
[0014]图3是根据本公开第三实施例的示意图；
[0015]图4是根据本公开第四实施例的示意图；
[0016]图5是根据本公开第五实施例的示意图；
[0017]图6是根据本公开第六实施例的示意图；
[0018]图7是根据本公开第七实施例的示意图；
[0019]图8是用来实现本公开实施例的私有云环境下作业的执行方法的电子设备的框图。
具体实施方式
[0020]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和机构的描述。
[0021]图1是根据本公开第一实施例的示意图。如图1所示，本实施例的私有云环境下作业的执行方法，具体包括如下步骤：
[0022]S101、通过作业查询接口获取目标作业；
[0023]S102、根据所述目标作业，确定私有云环境下的候选机器集群中的目标机器集群；
[0024]S103、通过节点查询接口获取所述目标机器集群中节点的节点信息，根据所述节点信息与所述目标作业确定所述目标机器集群中的目标节点；
[0025]S104、通过作业创建接口将与所述目标作业对应的目标数据发送到所述目标节点，以用于所述目标节点创建所述目标作业并处理所述目标数据。
[0026]本实施例的私有云环境下作业的执行方法，通过不同的接口完成目标作业的获取、目标节点的确定以及目标数据的发送，从而在无需对私有云环境下的机器集群进行组件安装等侵入性操作的情况下，实现了在私有云环境下执行作业的目的，能够增强私有云的安全性，且本实施例将目标数据直接发送到目标机器集群中的目标节点，无需由私有云环境下的机器集群再进行目标节点的确定，从而提升了私有云在执行作业时的效率。
[0027]本实施例的私有云环境下作业的执行方法的执行主体，可以为通过多个接口与私有云连接的服务器或者终端设备；该服务器或者终端设备仅依赖对私有云环境下的机器集群中节点的查询权限，即可在无侵入私有云的情况下，实现在私有云中执行作业的目的。
[0028]本实施例在执行S101时，通过作业查询接口获取目标作业，所获取的目标作业即为要在机器集群中执行的任务，例如模型训练作业、语音识别作业等，本实施例对目标作业
的作业类型不进行限定。
[0029]其中，本实施例中的服务器或者终端设备，通过作业查询接口与存储装置连接，存储装置中存储有用户所创建的作业、以及与不同的作业对应的作业数据，例如与模型训练作业对应的训练样本、与语音识别作业对应的语音数据等。
[0030]本实施例执行S101获取的目标作业的个数可以为一个，即在私有云环境下执行一个目标作业；也可以为多个，即在私有云环境下下同时执行多个目标作业，多个目标作业的作业类型可以相同，也可以不同。
[0031]本实施例在执行S101通过作业查询接口获取目标作业之后，还可以对所获取的目标作业进行注册，进而根据目标作业的注册信息，完成在私有云环境下执行目标作业、管理目标作业、同步目标作业的状态等操作；其中，不同的目标作业具有不同的注册信息。
[0032]本实施例在执行S101对目标作业进行注册时，可以采用静态注册的方式，也可以采用动态注册的方式；其中，静态注册为本地注册，通过位于本地的配置文件进行注册；动态注册为通过RPC(Remote Procedure Call Protocol，远程过程调用协议)服务器所提供的注册服务进行注册。
[0033]本实施例在执行S101完成目标作业的注册之后，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种私有云环境下作业的执行方法，包括：通过作业查询接口获取目标作业；根据所述目标作业，确定私有云环境下的候选机器集群中的目标机器集群；通过节点查询接口获取所述目标机器集群中节点的节点信息，根据所述节点信息与所述目标作业确定所述目标机器集群中的目标节点；通过作业创建接口将与所述目标作业对应的目标数据发送到所述目标节点，以用于所述目标节点创建所述目标作业并处理所述目标数据。2.根据权利要求1所述的方法，其中，所述根据所述目标作业，确定私有云环境下的候选机器集群中的目标机器集群包括：获取所述目标作业的作业信息；将所述候选机器集群中与所述作业信息相匹配的机器集群，作为所述目标机器集群。3.根据权利要求1所述的方法，其中，所述根据所述目标作业，确定私有云环境下的候选机器集群中的目标机器集群包括：对所述私有云环境进行权限验证；在确定权限验证结果为所述私有云环境能够执行所述目标作业的情况下，执行根据所述目标作业，确定所述私有云环境下的候选机器集群中的目标机器集群的操作。4.根据权利要求1所述的方法，其中，所述通过节点查询接口获取所述目标机器集群中节点的节点信息，根据所述节点信息与所述目标作业确定所述目标机器集群中的目标节点包括：获取所述目标作业的作业信息；将与所述作业信息匹配的节点信息对应的节点，作为候选节点；从所述候选节点中确定所述目标节点。5.根据权利要求4所述的方法，其中，所述将与所述作业信息匹配的节点信息对应的节点，作为候选节点包括：根据所述作业信息确定所述目标作业的资源请求量；根据所述节点信息确定节点的可用资源量；将所述可用资源量大于所述资源请求量的节点，作为所述候选节点。6.根据权利要求5所述的方法，其中，所述将所述可用资源量大于所述资源请求量的节点，作为所述候选节点包括：将所述资源可用量大于所述资源请求量的节点，作为初始节点；根据所述初始节点的节点信息，确定所述初始节点的标识信息和/或标签；将与所述作业信息匹配的标识信息和/或标签对应的初始节点，作为所述候选节点。7.根据权利要求1所述的方法，其中，所述通过作业创建接口将与所述目标作业对应的目标数据发送到所述目标节点包括：将所述目标作业拆分为多个子目标作业；通过所述作业创建接口将与所述多个子目标作业对应的子目标数据发送到多个目标节点，以用于所述多个目标节点分别创建子目标作业并处理所述子目标数据。8.根据权利要求1所述的方法，还包括，获取与所述目标作业对应的操作请求；
通过作业管理接口将所述操作请求发送到所述目标节点，以用于所述目标节点根据所述操作请求处理所述目标作业。9.根据权利要求1所述的方法，还包括，通过作业管理接口获取所述目标节点发送的作业状态；通过所述作业查询接口将所述作业状态发送到存储装置，以用于所述存储装置对所述作业状态进行展示。10.根据权利要求1
‑
9中任一项所述的方法，还包括，在通过所述作业查询接口获取所述目标作业之后，确定与所述目标作业对应的目标插件。11.根据权利要求10所述的方法，其中，所述通过作业创建接口将与所述目标作业对应的目标数据发送到所述目标节点包括：通过所述作业创建接口与所述目标插件，将与所述目标作业对应的目标数据发送到所述目标节点。12.根据权利要求10所述的方法，其中，所述通过作业管理接口将所述操作请求发送到所述目标节点包括：通过所述作业管理接口与所述目标插件，将所述操作请求发送到所述目标节点。13.根据权利要求10所述的方法，其中，所述通过作业管理接口获取所述目标节点发送的作业状态包括：通过所述作业管理接口与所述目标插件，获取所述目标节点发送的作业状态。14.一种私有云环境下作业的执行装置，包括：获取单元，用于通过作业查询接口获取目标作业；第一确定单元，用于根据所述目标作业，确定私有云环境下的候选机器集群中的目标机器集群；第二确定单元，用于通过节点查询接口获取所述目标机器集...

【专利技术属性】
技术研发人员：董泽照，乔爽爽，于佃海，沙燕霖，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：