一种基于分布式系统的机器学习程序运行的方法和装置制造方法及图纸

本发明专利技术公开了一种基于分布式系统的机器学习程序运行的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；根据所述资源中服务器节点的端口信息和标识信息，生成启动参数；将所述机器学习程序以及所述启动参数发送给对应的服务器节点，使得所述服务器节点启动运行所述机器学习程序。能够根据用户提交的运行请求自动获取资源，并根据获取资源的服务器节点的端口信息和标识信息，生成启动参数，则可通过该启动参数对应的启动服务器节点自动运行机器学习程序，提高了机器学习程序运行的效率。

【技术实现步骤摘要】
一种基于分布式系统的机器学习程序运行的方法和装置
本专利技术涉及计算机
，尤其涉及一种基于分布式系统的机器学习程序运行的方法和装置。
技术介绍
如今，在很多领域都有应用到机器学习或者深度学习，例如图像识别、语音识别、自动驾驶等领域。目前比较流行的深度学习框架有Tensorflow、Caffe等，使用这些框架进行分布式处理时，需要人为登录到每台服务器，将待运行的机器学习程序拷贝到该服务器中，以及人工启动程序在该服务器中运行，进而存在运行效率低的问题。
技术实现思路
有鉴于此，本专利技术实施例提供一种基于分布式系统的机器学习程序运行的方法和装置，能够根据用户提交的运行请求自动获取资源，并根据获取资源的服务器节点的端口信息和标识信息，生成启动参数，则可通过该启动参数对应的启动服务器节点自动运行机器学习程序，提高了机器学习程序运行的效率。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种的基于分布式系统的机器学习程序运行方法。本专利技术实施例的基于分布式系统的机器学习程序运行的方法包括：根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；根据所述资源中服务器本文档来自技高网...

【技术保护点】
1.一种基于分布式系统的机器学习程序运行的方法，其特征在于，包括：根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；根据所述资源中服务器节点的端口信息和标识信息，生成启动参数；将所述机器学习程序以及所述启动参数发送给对应的服务器节点，使得所述服务器节点启动运行所述机器学习程序。

【技术特征摘要】
1.一种基于分布式系统的机器学习程序运行的方法，其特征在于，包括：根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；根据所述资源中服务器节点的端口信息和标识信息，生成启动参数；将所述机器学习程序以及所述启动参数发送给对应的服务器节点，使得所述服务器节点启动运行所述机器学习程序。2.根据权利要求1所述的方法，其特征在于，根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源的步骤包括：根据机器学习程序的运行请求，确定出运行所述机器学习程序所需的资源；向分布式系统的资源管理器申请所需的资源；以及，获取所述资源管理器返回的资源。3.根据权利要求1所述的方法，其特征在于，在获取分布式系统中用于运行所述机器学习程序的资源之后，以及在根据所述资源中服务器节点的端口信息和标识信息，生成启动参数之前，还包括：确认获取的资源中服务器节点已就绪；向所述资源中服务器节点的任务管理器发送启动信息，使得所述任务管理器绑定其服务器节点的端口。4.根据权利要求1所述的方法，其特征在于，在将所述机器学习程序以及所述启动参数发送给对应的服务器节点之后，还包括：接收所述服务器节点返回的心跳信息；根据所述心跳信息，判断所述服务器节点中是否存在异常服务器节点；如果存在，则根据该异常服务器节点的端口信息和标识信息生成重启参数，将所述重启参数发送给所述异常服务器。5.根据权利要求1所述的方法，其特征在于，在将所述机器学习程序以及所述启动参数发送给对应的服务器节点之后，还包括：获取所有服务器节点的运行数据；根据预设的存储路径存储所述运行数据。6.一种基于分布式系统的机器学习程序运行的装置，其特征在于，包括：资源获取模块，用于根据...

【专利技术属性】
技术研发人员：吴怡燃，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11