一种深度学习模型训练容错方法、系统、终端及存储介质技术方案

本发明专利技术提供一种深度学习模型训练容错方法、系统、终端及存储介质，包括：通过设置内部事件实时将模型状态数据保存至容器所在物理节点；获取异常容器的配置信息；获取所述模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象；利用kuberentes根据所述容器对象恢复容器，读取所述恢复容器的模型状态数据恢复容器训练状态。本发明专利技术可以最大限度的将训练过程恢复到发生异常的状态，将异常带来的损失降到最低，极大弥补了容器不稳定在深度学习领域带来的问题。同时该发明专利技术极大的提高了可以极大的提高aistation在同类产品中的竞争力。

A fault tolerance method, system, terminal and storage medium for deep learning model training

【技术实现步骤摘要】
一种深度学习模型训练容错方法、系统、终端及存储介质
本专利技术涉及服务器测试
，具体涉及一种深度学习模型训练容错方法、系统、终端及存储介质。
技术介绍
深度学习训练过程在容器中进行，是当前主流的技术方向，尤其是kuberentes这一优秀的容器管理平台的出现，让这种技术方案被更多的企业和个人所接受，而且是产品化的一个主要技术。Kuberentes对于容器的调度，自动运维功能，让训练任务可以更容易的在容器运行，但是现在有一个比较严重的问题，就是容器相比较虚拟机，物理机，它的稳定性还是比较差的，如果训练任务在容器中运行，则必须要承担容器异常，训练被终止的风险。可是训练任务有时候周期会比较长，如果训练到末尾容器异常，那么之前的训练则可能前功尽弃，需要重新再来，这种成本付出是很多企业和个人无法忍受的。因此，急需一种具有高容错性的深度学习训练模型。
技术实现思路
针对现有技术的上述不足，本专利技术提供一种深度学习模型训练容错方法、系统、终端及存储介质，以解决上述技术问题。第一方面，本专利技术提供一种深度学习模型训本文档来自技高网...

【技术保护点】
1.一种深度学习模型训练容错方法，其特征在于，包括：/n通过设置内部事件实时将模型状态数据保存至容器所在物理节点；/n获取异常容器的配置信息；/n获取所述模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象；/n利用kuberentes根据所述容器对象恢复容器，读取所述恢复容器的模型状态数据恢复容器训练状态。/n

【技术特征摘要】
1.一种深度学习模型训练容错方法，其特征在于，包括：
通过设置内部事件实时将模型状态数据保存至容器所在物理节点；
获取异常容器的配置信息；
获取所述模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象；
利用kuberentes根据所述容器对象恢复容器，读取所述恢复容器的模型状态数据恢复容器训练状态。


2.根据权利要求1所述的深度学习模型训练容错方法，其特征在于，所述获取异常容器的配置信息，包括：
读取etcd组件中容器资源的配置信息；
从所述配置信息中筛选异常容器的资源配置信息和所在物理节点IP信息。


3.根据权利要求1所述的深度学习模型训练容错方法，其特征在于，所述获取模型状态数据存储路径，并根据所述存储路径和所述配置信息定义容器对象，包括：
获取所述异常容器的模型状态数据的存储路径信息；
将所述存储路径信息写入容器对象的挂载路径信息。


4.根据权利要求1所述的深度学习模型训练容错方法，其特征在于，所述利用kuberentes根据所述容器对象恢复容器，包括：
将所述容器对象插入kuberentes调度队列；
利用kubelet组件会从队列中获取所述容器对象的定义信息；
根据所述定义信息在相应物理节点上创建容器。


5.根据权利要求1所述的深度学习模型训练容错方法，其特征在于，在所述利用kuberentes根据所述容器对象恢复容器之前，所述方法还包括：
确认所述容器对象对应的物理节点资源不足；
选取所述对应物理节点中与所述容器对象资源匹配度最高的低级容器；
删除所述低级容器释放所述对应物理节点资源；
通过锁定所述对应物理节点，不再向所述对应物理节点调度新容器；
确认容器恢复完成，解除对所述对应物理节点的锁定。...

【专利技术属性】
技术研发人员：刘娜，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32