一种深度学习平台容器镜像获取、共享方法及系统技术方案

本申请公开了一种深度学习平台容器镜像获取、共享方法及系统，应用于主节点，本申请仅在全部节点未存储有与训练任务请求对应的目标容器镜像的时候，才由主节点直接从容器镜像库中获取目标容器镜像，尽可能的将目标容器镜像的下载过程转换为利用集群系统内部网络进行节点之间互传的方式提高目标容器镜像的下载过程，同时，节点之间采用点对点的传输方式传输目标容器镜像，进一步的提高节点之间容器镜像的传输速度，且原本未存储目标容器镜像的第二节点得到目标容器镜像后，可以变为第一节点一同进行目标容器镜像的传输，加快目标容器镜像的传输速度，为训练任务能够尽快执行提供了前提，提高了训练效率。

A method and system of container image acquisition and sharing for deep learning platform

【技术实现步骤摘要】
一种深度学习平台容器镜像获取、共享方法及系统
本专利技术涉及集群运算领域，特别涉及一种深度学习平台容器镜像获取、共享方法及系统。
技术介绍
在现有的深度学习平台中，提交一个深度学习任务的流程为：用户创建深度学习operater(应用)，利用kube-batch(调度器)创建一个job(深度学习训练任务)，并将这个job调度到多个节点，然后从Harbor仓库拉取深度学习框架到本地节点，创建容器，启动深度学习任务的训练过程。然而，由于深度学习框架较大，拉取过程需要一定的时间，不少用户采取了预先下载镜像的方法，让各节点事先分批获取镜像，然后在创建训练任务时启动应用。这种办法在一定程度上缓解了问题，但是仍然存在从Harbor仓库分发镜像时造成访问拥堵和传输速度慢的情况。因为，现有技术中多个节点在接收到下载任务时，会同时访问Harbor仓库下载镜像，导致Harbor仓库访问速度变慢，进而影响下载速度，同时其本身并没有提高镜像的下载速度，还是需要下载，预下载在面对有规划的训练任务时还可以发挥较大效果，但若面对临时任务时，采用上述方法就无法加本文档来自技高网...

【技术保护点】
1.一种深度学习平台容器镜像获取方法，其特征在于，应用于主节点，包括：/n接收训练任务请求；/n判断是否有已存储与所述训练任务请求对应的目标容器镜像的第一节点；/n若有第一节点，则发送共享指令至的第一节点和第二节点，以使第一节点根据所述共享指令以点对点的传输方式传输所述目标容器镜像至第二节点；/n若无第一节点，则从容器镜像库中获取所述目标容器镜像；/n发送所述共享指令至第二节点；/n以点对点的传输方式传输所述目标容器镜像至第二节点；/n其中，第一节点为存储有目标容器镜像的节点，第二节点为与所述训练任务请求对应的未存储有所述目标容器镜像的节点。/n

【技术特征摘要】
1.一种深度学习平台容器镜像获取方法，其特征在于，应用于主节点，包括：
接收训练任务请求；
判断是否有已存储与所述训练任务请求对应的目标容器镜像的第一节点；
若有第一节点，则发送共享指令至的第一节点和第二节点，以使第一节点根据所述共享指令以点对点的传输方式传输所述目标容器镜像至第二节点；
若无第一节点，则从容器镜像库中获取所述目标容器镜像；
发送所述共享指令至第二节点；
以点对点的传输方式传输所述目标容器镜像至第二节点；
其中，第一节点为存储有目标容器镜像的节点，第二节点为与所述训练任务请求对应的未存储有所述目标容器镜像的节点。


2.根据权利要求1所述的深度学习平台容器镜像获取方法，其特征在于，所述以点对点的传输方式传输所述目标容器镜像至第二节点的过程，包括：
切分所述目标容器镜像，得到所述目标容器镜像的多个Layer；
以点对点的传输方式逐个传输所述目标容器镜像的Layer至第二节点。


3.根据权利要求2所述的深度学习平台容器镜像获取方法，其特征在于，所述以点对点的传输方式逐个传输所述目标容器镜像的Layer至第二节点的过程，包括：
通过BT客户端代理直接以点对点的传输方式逐个传输所述目标容器镜像的Layer至第二节点的BT客户端代理中。


4.根据权利要求1至3任一项所述的深度学习平台容器镜像获取方法，其特征在于，还包括：
将所述目标容器镜像导入Dockerdaemon。


5.一种深度学习平台容器镜像共享方法，其特征在于，应用于第一节点，包括：
根据主节点发送的共享指令以点对点的传输方式传输所述目标容器镜像至第二节点；
其中，第一节点为存储有目标容器镜像的节点，第二节点为与所述训练任务请求对应的未存储有所述目标容器镜像的节点。


6.根据权利要求5所述的深度学习平台容器镜像共享方法，其特征在于，所述根据主节点发送的共享指令以点对点的传输方式传输所述目标容器镜像至第二节点的过程，包括：
判断是否存储有所述目标容器镜像的Layer；
若未存储有Lay...

【专利技术属性】
技术研发人员：郑玉会，
申请(专利权)人：广东浪潮大数据研究有限公司，
类型：发明
国别省市：广东;44