【技术实现步骤摘要】
一种任务状态更新方法、装置、设备及介质
本专利技术涉及计算机
,特别涉及一种任务状态更新方法、装置、设备及介质。
技术介绍
目前,以深度学习为代表的人工智能技术取得了飞速的发展,这些技术正落地应用于各行各业。随着深度学习的广泛应用,很多领域产生了大量的、强烈的高效便捷训练人工智能模型方面的需求,而这些训练都是依赖于深度学习训练平台。深度学习平台管理需要对平台的任务进行管控,其中最重要的一点就是对任务的生命周期进行管理,这些都是依赖任务的状态更新机制。在目前的技术中,大部分深度学习平台都是支持平台任务状态的更新的,主要通过两种方式来实现训练任务的状态更新,一种是通过实时查询底层kubernetes(以下简称K8S)平台提供的API实时返回Pod的状态信息,然后平台进行映射返回任务的状态信息;另外一种是后台定时任务定时通过查询底层K8S平台提供的API实时返回Pod的状态信息,然后平台进行映射后得到任务的状态信息保存到平台的数据库中。上述两种任务更新方式不能很好的适应大规模集群、多用户并行使用、大量任务运行的场景下 ...
【技术保护点】
1.一种任务状态更新方法,其特征在于,应用于深度学习平台,包括:/n创建K8S事件监听器、Pod状态更新监听器和任务状态更新监听器;/n利用所述K8S事件监听器对K8S事件进行监听,得到Pod状态变更事件,并基于所述Pod状态变更事件生成及发布相应的Pod状态更新事件;/n利用所述Pod状态更新监听器对所述Pod状态更新事件进行监听,当所述Pod状态更新监听器监听到所述Pod状态更新事件,则将所述Pod状态更新事件对应的Pod状态确定为所述深度学习平台中相应的目标任务的Pod状态,并生成及发布与所述目标任务对应的任务状态更新事件;/n利用所述任务状态更新监听器对所述任务状态 ...
【技术特征摘要】
1.一种任务状态更新方法,其特征在于,应用于深度学习平台,包括:
创建K8S事件监听器、Pod状态更新监听器和任务状态更新监听器;
利用所述K8S事件监听器对K8S事件进行监听,得到Pod状态变更事件,并基于所述Pod状态变更事件生成及发布相应的Pod状态更新事件;
利用所述Pod状态更新监听器对所述Pod状态更新事件进行监听,当所述Pod状态更新监听器监听到所述Pod状态更新事件,则将所述Pod状态更新事件对应的Pod状态确定为所述深度学习平台中相应的目标任务的Pod状态,并生成及发布与所述目标任务对应的任务状态更新事件;
利用所述任务状态更新监听器对所述任务状态更新事件进行监听,当所述任务状态更新监听器监听到所述任务状态更新事件,则将当前所述目标任务的状态更新为所述目标任务的Pod状态。
2.根据权利要求1所述的任务状态更新方法,其特征在于,所述利用所述K8S事件监听器对K8S事件进行监听,得到Pod状态变更事件,包括:
利用所述K8S事件监听器对所述K8S事件进行监听,对监听到的所述K8S事件进行过滤,得到Pod状态变更事件。
3.根据权利要求2所述的任务状态更新方法,其特征在于,所述对监听到的所述K8S事件进行过滤,包括:
根据监听到的所述K8S事件的空间名称对所述K8S事件进行过滤。
4.根据权利要求1所述的任务状态更新方法,其特征在于,所述基于所述Pod状态变更事件生成及发布相应的Pod状态更新事件,包括:
从与所述Pod状态变更事件对应的数据报文中提取出目标数据,并利用所述目标数据重构数据报文;
根据重构后的数据报文生成相应的Pod状态更新事件并进行发布。
5.根据权利要求1所述的任务状态更新方法,其特征在于,所述将所述Pod状态更新事件对应的Pod状态确定为所述深度学习平台中相应的目标任务的Pod状态,包括:
通过Pod状态映射器将所述Pod状态更新事件对应的Pod状...
【专利技术属性】
技术研发人员:邢良占,
申请(专利权)人:山东英信计算机技术有限公司,
类型:发明
国别省市:山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。