提交结构化机器学习计算任务到计算集群的方法技术

本发明专利技术公开一种提交结构化机器学习计算任务到计算集群的方法，属于集群计算、大规模计算、机器学习技术领域，特别涉及一种提交结构化机器学习计算任务到计算集群的系统，包括：代码包、用户端代理程序以及集群内组件；代码包至少包括：包含项目文件以及定义文件的文件系统的目录，其中，定义文件用于定义代码包的详细信息和运行方式，代码包的详细信息至少包括版本、名称、描述，运行方式至少包括目标和动作的定义；用户端代理程序用于通过读取代码包的定义文件来执行用户指定的动作；用户端代理程序与集群内组件建立连接，进行数据通信。本发明专利技术提出目标、动作的抽象并给出代码包的定义文件规约，使提交计算任务到计算集群操作简单、便捷。便捷。便捷。

【技术实现步骤摘要】
提交结构化机器学习计算任务到计算集群的方法


[0001]本专利技术属于集群计算、大规模计算、机器学习
，特别涉及一种提交结构化机器学习计算任务到计算集群的方法、装置及系统。

技术介绍

[0002]在计算机中，集群是使用多个计算机，如典型的个人计算机或UNIX工作站，多个存储设备和记忆冗余的互连线路来组成一个对用户来说单一的、高可用的系统。集群计算(clustering computing)能够被用来实现负载均衡。
[0003]集群计算还可以被用来进行成本低廉的并行计算，这些并行计算通常为科学计算、机器学习、数据分析或其它需要并行计算的应用服务。
[0004]本专利技术人经研究发现，在现有技术中，在采用诸如kubectl的集群管理工具时，用户的手动操作多，需要运行额外的命令去获得计算结果，监视状态，并进行人工判断；如果使用程序脚本来实现所有的动作、控制逻辑和工作流等，又需要较高的软件工程能力，工作难度高，并且会耗费额外的时间。

技术实现思路

[0005]为了至少解决上述技术问题，本专利技术提供了一种提交结构化机器学习计算任务到计算集群的方法及装置。
[0006]根据本专利技术第一方面，提供了一种提交结构化机器学习计算任务到计算集群的方法，包括：获取用户创建的代码包；在用户端代理程序被调用时，运行代码包；将用户端代理程序与集群内组件建立连接，并进行数据通信。
[0007]进一步的，所述获取用户创建的代码包，包括：获取用户创建的包含项目文件以及定义文件的文件系统的目录，将包含项目文件以及定义文件的文件系统的目录作为代码包。
[0008]进一步的，所述定义文件用于定义代码包的详细信息和运行方式；其中，代码包的详细信息至少包括版本、名称、描述；运行方式至少包括目标和动作的定义。
[0009]进一步的，所述运行代码包，包括：用户端代理程序通过读取代码包的定义文件来执行用户指定的动作。
[0010]进一步的，所述将用户端代理程序与集群内组件建立连接，并进行数据通信，包括：将用户端代理程序与集群内组件暴露的公开接口建立连接，采用计算机网络应用层协议中的任一种进行用户端代理程序与集群内组件之间的数据通信。
[0011]进一步的，所述方法还包括：集群内组件在接收到来自用户端代理程序的请求时
首先检查用户是否具有运行该计算任务的权限。
[0012]进一步的，所述方法还包括：用户端代理程序设置有工作流机制；在运行某个目标时，用户端代理程序递归地解析所有依赖的目标，动态地构建一个有向无环图，串行或者并行地运行图中当前没有依赖或依赖已经运行完毕的目标。
[0013]进一步的，所述方法包括：获取用户创建的包含项目文件以及定义文件的文件系统的目录作为代码包；其中，定义文件用于定义代码包的详细信息和运行方式，代码包的详细信息至少包括版本、名称、描述；运行方式至少包括目标和动作的定义；在用户端代理程序被调用时，用户端代理程序通过读取代码包的定义文件来执行用户指定的动作；对于需要位于计算集群中的集群内组件提供必要支持的部分动作，用户端代理程序向集群内组件发送请求；在运行某个目标时，用户端代理程序递归地解析所有依赖的目标，动态地构建一个有向无环图，串行或者并行地运行图中当前没有依赖或依赖已经运行完毕的目标；用户端代理程序在执行动作时，与集群持续通信来监控当前动作的状态，从而根据用户预先设定的策略来处理各种情形；将用户端代理程序与集群内组件建立连接，用户端代理程序向集群内组件发送请求，并接收集群内组件返回的结果；用户端代理程序还能够与其他服务器建立连接，向与其建立连接的服务器发送请求，并能够接收返回结果。
[0014]根据本专利技术第二方面，一种提交结构化机器学习计算任务到计算集群的装置，包括：获取模块，用于获取用户创建的代码包；调用模块，用于在用户端代理程序被调用时，运行代码包；通信模块，用于将用户端代理程序与集群内组件建立连接，并进行数据通信。
[0015]根据本专利技术第三方面，一种提交结构化机器学习计算任务到计算集群的系统，包括：代码包、用户端代理程序以及集群内组件；所述代码包至少包括：包含项目文件以及定义文件的文件系统的目录，其中，定义文件用于定义代码包的详细信息和运行方式，代码包的详细信息至少包括版本、名称、描述，运行方式至少包括目标和动作的定义；所述用户端代理程序用于通过读取代码包的定义文件来执行用户指定的动作；所述用户端代理程序与所述集群内组件接口建立连接，进行数据通信。
[0016]根据本专利技术第四方面，一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术第一方面任一项所述方法的步骤。
[0017]根据本专利技术第五方面，一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序被执行时，能够实现如本专利技术第一方面任一项所述的方法。
[0018]本专利技术的有益效果：提供一种分解、抽象、结构化机器学习计算任务的方法，提出
目标、动作的抽象并给出代码包的定义文件规约，其以简单清晰的方式声明代码包的运行方式，创建新的代码包或者将既有的机器学习项目修改为代码包都非常容易。进一步地，用户端代理程序能够自动解析目标的依赖关系并执行工作流，能够独立地监视动作的执行状态，并以用户预先设定的策略决定接下来的行为，从而替代人工判断和操作，节约工作时间，降低工作难度，操作简单、方便。
[0019]另外本专利技术方案引入了集群内组件，其一方面能够验证计算任务的提交具有相应的权限，保证计算集群的安全，另一方面能够为计算任务的运行提供支持。
附图说明
[0020]本专利技术上述的和 / 或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，图1为本专利技术提供的一种提交结构化机器学习计算任务到计算集群的方法流程图；图2为本专利技术提供的一种提交结构化机器学习计算任务到计算集群的系统结构示意图。
具体实施方式
[0021]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0022]为了更清楚地说明本专利技术，下面结合优选实施例和附图对本专利技术做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本专利技术的保护范围。
[0023]在本专利技术的第一方面，提供一种提交结构化机器学习计算任务到计算集群的方法，如图1所示，包括：步骤101：获取用户创建的代码包；本专利技术中，用户创建的代码包至少包括：包含项目文件以及定义文件的文件系统的目录，其中，定义文件用于定义代码包的详细信息和运行方式，进一步地，代码包的详细信息至少包括版本、名称、描述。运行方式至少包括目标和动作的定义。
[0024]也就是说，代码包是对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提交结构化机器学习计算任务到计算集群的方法，其特征在于，包括：获取用户创建的代码包；在用户端代理程序被调用时，运行代码包；将用户端代理程序与集群内组件建立连接，并进行数据通信。2.如权利要求1所述的方法，其特征在于，所述获取用户创建的代码包，包括：至少获取用户创建的包含项目文件以及定义文件的文件系统的目录，将包含项目文件以及定义文件的文件系统的目录作为代码包。3.如权利要求2所述的方法，其特征在于，所述定义文件用于定义代码包的详细信息和运行方式；其中，代码包的详细信息至少包括版本、名称、描述；运行方式至少包括目标和动作的定义。4.如权利要求1所述的方法，其特征在于，所述运行代码包，包括：用户端代理程序通过读取代码包的定义文件来执行用户指定的动作。5.如权利要求1所述的方法，其特征在于，所述将用户端代理程序与集群内组件建立连接，并进行数据通信，包括：将用户端代理程序与集群内组件暴露的公开接口建立连接，采用计算机网络应用层协议中的任一种进行用户端代理程序与集群内组件之间的数据通信。6.如权利要求5所述的方法，其特征在于，所述方法还包括：集群内组件在接收到来自用户端代理程序的请求时首先检查用户是否具有运行该计算任务的权限。7.如权利要求1所述的方法，其特征在于，所述方法还包括：用户端代理程序设置有工作流机制；在运行某个目标时，用户端代理程序递归地解析所有依赖的目标，动态地构建一个有向无环图，串行或者并行地运行图中当前没有依赖或依赖已经运行完毕的目标。8.如权利要求1所述的方法，其特征在于，所述方法包括：获取用户创建的包含项目文件以及定义文件的文件系统的目录作为代码包；其中，定义文件用于定...

【专利技术属性】
技术研发人员：王明亮，肖宇轩，
申请(专利权)人：北京向量栈科技有限公司，
类型：发明
国别省市：