一种机器学习单机算法编排系统及方法技术方案

本发明专利技术提供一种机器学习单机算法编排系统及方法。所述系统特征在于包括：机器学习算法依赖模块，用于预定义机器学习算法容器镜像，并存储创建的所述机器学习算法容器镜像；应用容器平台，用于基于所述机器学习算法容器镜像创建应用容器；自定义业务算法模块，用于将业务算法代码存储于代码仓库或者以静态文件存储于分布式文件系统；算法环境框架，用于嵌入所述应用容器，具体为一种编程语言Python实现的方法和接口。实现了机器学习算法环境秒级创建、保证算法执行完毕、支持多算法任务负载的效果。

A Single Machine Learning Arithmetic Arrangement System and Method

【技术实现步骤摘要】
一种机器学习单机算法编排系统及方法
本专利技术涉及计算机技术，特别涉及一种机器学习单机算法编排系统、方法及算法运行方法。
技术介绍
Docker是基于LXC的应用程序容器技术，作为通用的容器方案，具有在宿主机中控制容器应用的资源分配作用，包括控制CPU核心数量、内存、网络以及磁盘卷大小。一个完整的Docker一般由以下几个部分组成：dockerClient客户端、DockerDaemon守护进程、DockerImage镜像、DockerContainer容器。Docker采用C/S架构Dockerdaemon作为服务端接受来自客户的请求，并处理这些请求(创建、运行、分发容器)。客户端和服务端既可以运行在一个机器上，也可通过socket或者RESTfulAPI来进行通信。Dockerdaemon一般在宿主主机后台运行，等待接收来自客户端的消息。Docker客户端则为用户提供一系列可执行命令，用户用这些命令实现跟Dockerdaemon交互。HadoopYARN是分布式集群资源管理和分配的调度系统，支持资源队列隔离和计算节点分组管理的能力，可以支持管理多种分布式算法和框架的资源申请。Ha本文档来自技高网...

【技术保护点】
1.一种机器学习单机算法编排系统，其特征在于，包括：机器学习算法依赖模块，用于预定义机器学习算法容器镜像，并存储创建的所述机器学习算法容器镜像；应用容器平台，用于基于所述机器学习算法容器镜像创建应用容器；以及自定义业务算法模块，用于将业务算法代码存储于代码仓库或者以静态文件存储于分布式文件系统，所述业务算法代码在所述应用容器中完成算法的输入和输出；算法环境框架，用于嵌入所述应用容器，控制业务算法代码在所述应用容器中执行。

【技术特征摘要】
1.一种机器学习单机算法编排系统，其特征在于，包括：机器学习算法依赖模块，用于预定义机器学习算法容器镜像，并存储创建的所述机器学习算法容器镜像；应用容器平台，用于基于所述机器学习算法容器镜像创建应用容器；以及自定义业务算法模块，用于将业务算法代码存储于代码仓库或者以静态文件存储于分布式文件系统，所述业务算法代码在所述应用容器中完成算法的输入和输出；算法环境框架，用于嵌入所述应用容器，控制业务算法代码在所述应用容器中执行。2.根据权利要求1所述的机器学习单机算法编排系统，其特征在于，所述算法环境框架包括：算法运行主控，用于将派发进所述应用容器的算法任务资源描述整合。3.根据权利要求1所述的机器学习单机算法编排系统，其特征在于，所述应用容器平台包括：容器管理主控，用于感知并根据外部请求部署所述应用容器。4.根据权利要求3所述的机器学习单机算法编排系统，其特征在于，所述应用容器包括：运行代理，用于负责与所述算法运行主控通讯，处理算法环境初始化以及在算法运行结束时向所述算法运行主控传回算法状态和结果描述；算法模块，用于接收所述运行代理派发的参数并运行反馈。5.根据权利要求2所述的机器学习单机算法编排系统，其特征在于，所述算法运行主控描述整合的算法任务资源包括算法参数、算法依赖、算法资源。6.根据权利要求1-5任意一种所述的机器学习单机算法编排系统，其特征在于，所述机器学习算法依赖模块还包括：外部软件包，存储于对应软件类的库管理系统中或纯粹以文件形式存储于分布式文件系统，用于支持所述算法环境框架完成机器学习算法。7.根据权利要求1-5任意一种所述的机器学习单机算法编排系统，其特征在于，所述算法环境框架还包括：日志和监控单元，用于收集并监控输出日志信息的程序语言访问对象发送的内容；以及存储单元，用于存取算法参数的程序语言访问对象和存取分析数据内容的分布式文件系统。8.一种机器学习单机算法编排方法，其特征在于，包括：镜像创建步骤，预定义机器学习算法容器镜像，并存储创建的所述机器学习算法容器镜像；业务算法代码应用步骤，预定义算法业务应用代码；需求指令步骤，算法环境框架根据外部算法任务指令需求，提交任务前的参数收集、整理情况；应用容器创建步骤，基于匹配的所述镜像创建应用容器。9.根据权利要求8所述的机器学习单机算法编排方法，其特征在于，在所述应用容器创建步骤之前还包括资源计算和环境检查步骤，包括：所述算法环境框架对所述应用容器创建的所需要的资源进行描述整合计算并对所述应用容器创建需要的环境进行检查。10.根据权利要求9所述的机器学习单机算法编排方法，其特征在于，所述资源计算和环境检查步骤还包括：算法参数传入步骤，将相关算法参数传入；算法依赖库列出步骤，将机器学习算法运行和计算依赖的外部程序和代码列出用于准备可能依赖的环境安装包和脚本；算法资源申请步...

【专利技术属性】
技术研发人员：吕天贵，张明，史红新，张凡，吴跃光，尚伟，刘育花，吕晓琳，剧建军，刘冠军，周悦淇，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：北京,11