一种任务状态更新方法、装置、设备及介质制造方法及图纸

技术编号:28978041 阅读:23 留言:0更新日期:2021-06-23 09:23
本申请公开了一种任务状态更新方法、装置、设备及介质,应用于深度学习平台,包括:利用K8S事件监听器监听K8S事件,得到Pod状态变更事件,基于Pod状态变更事件生成Pod状态更新事件;利用Pod状态更新监听器监听Pod状态更新事件,当监听到Pod状态更新事件,将Pod状态更新事件对应的Pod状态确定为深度学习平台中相应的目标任务的Pod状态,并生成任务状态更新事件;利用任务状态更新监听器监听任务状态更新事件,当监听到任务状态更新事件,将当前目标任务的状态更新为目标任务的Pod状态。本申请通过监听并实时分析K8S事件来更新任务状态,提高大规模集群、多用户并行使用、大量任务运行场景下的任务状态更新的实时性和准确度,同时也提高查询任务状态的响应速度。

【技术实现步骤摘要】
一种任务状态更新方法、装置、设备及介质
本专利技术涉及计算机
,特别涉及一种任务状态更新方法、装置、设备及介质。
技术介绍
目前,以深度学习为代表的人工智能技术取得了飞速的发展,这些技术正落地应用于各行各业。随着深度学习的广泛应用,很多领域产生了大量的、强烈的高效便捷训练人工智能模型方面的需求,而这些训练都是依赖于深度学习训练平台。深度学习平台管理需要对平台的任务进行管控,其中最重要的一点就是对任务的生命周期进行管理,这些都是依赖任务的状态更新机制。在目前的技术中,大部分深度学习平台都是支持平台任务状态的更新的,主要通过两种方式来实现训练任务的状态更新,一种是通过实时查询底层kubernetes(以下简称K8S)平台提供的API实时返回Pod的状态信息,然后平台进行映射返回任务的状态信息;另外一种是后台定时任务定时通过查询底层K8S平台提供的API实时返回Pod的状态信息,然后平台进行映射后得到任务的状态信息保存到平台的数据库中。上述两种任务更新方式不能很好的适应大规模集群、多用户并行使用、大量任务运行的场景下的任务状态更新,甚至本文档来自技高网...

【技术保护点】
1.一种任务状态更新方法,其特征在于,应用于深度学习平台,包括:/n创建K8S事件监听器、Pod状态更新监听器和任务状态更新监听器;/n利用所述K8S事件监听器对K8S事件进行监听,得到Pod状态变更事件,并基于所述Pod状态变更事件生成及发布相应的Pod状态更新事件;/n利用所述Pod状态更新监听器对所述Pod状态更新事件进行监听,当所述Pod状态更新监听器监听到所述Pod状态更新事件,则将所述Pod状态更新事件对应的Pod状态确定为所述深度学习平台中相应的目标任务的Pod状态,并生成及发布与所述目标任务对应的任务状态更新事件;/n利用所述任务状态更新监听器对所述任务状态更新事件进行监听,当...

【技术特征摘要】
1.一种任务状态更新方法,其特征在于,应用于深度学习平台,包括:
创建K8S事件监听器、Pod状态更新监听器和任务状态更新监听器;
利用所述K8S事件监听器对K8S事件进行监听,得到Pod状态变更事件,并基于所述Pod状态变更事件生成及发布相应的Pod状态更新事件;
利用所述Pod状态更新监听器对所述Pod状态更新事件进行监听,当所述Pod状态更新监听器监听到所述Pod状态更新事件,则将所述Pod状态更新事件对应的Pod状态确定为所述深度学习平台中相应的目标任务的Pod状态,并生成及发布与所述目标任务对应的任务状态更新事件;
利用所述任务状态更新监听器对所述任务状态更新事件进行监听,当所述任务状态更新监听器监听到所述任务状态更新事件,则将当前所述目标任务的状态更新为所述目标任务的Pod状态。


2.根据权利要求1所述的任务状态更新方法,其特征在于,所述利用所述K8S事件监听器对K8S事件进行监听,得到Pod状态变更事件,包括:
利用所述K8S事件监听器对所述K8S事件进行监听,对监听到的所述K8S事件进行过滤,得到Pod状态变更事件。


3.根据权利要求2所述的任务状态更新方法,其特征在于,所述对监听到的所述K8S事件进行过滤,包括:
根据监听到的所述K8S事件的空间名称对所述K8S事件进行过滤。


4.根据权利要求1所述的任务状态更新方法,其特征在于,所述基于所述Pod状态变更事件生成及发布相应的Pod状态更新事件,包括:
从与所述Pod状态变更事件对应的数据报文中提取出目标数据,并利用所述目标数据重构数据报文;
根据重构后的数据报文生成相应的Pod状态更新事件并进行发布。


5.根据权利要求1所述的任务状态更新方法,其特征在于,所述将所述Pod状态更新事件对应的Pod状态确定为所述深度学习平台中相应的目标任务的Pod状态,包括:
通过Pod状态映射器将所述Pod状态更新事件对应的Pod状...

【专利技术属性】
技术研发人员:邢良占
申请(专利权)人:山东英信计算机技术有限公司
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1