【技术实现步骤摘要】
日志的处理方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种日志的处理方法、装置、计算机设备和存储介质。
技术介绍
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。然而，在使用分布式机器学习系统进行深度学习训练过程中，用户往往需要查看在进行深度学习训练时生成的日志文件，从而及时找出深度学习训练过程中存在的异常。然而，分布式机器学习系统往往会产生数量庞大的日志文件，且缺乏统一地配置和管理，使得用户往往需要进行复杂的手工配置和处理，这大大降低了用户查看日志的效率，使得深度学习训练过程中存在信息处理效率不高的问题。因此，现有技术在进行深度学习训练过程中存在信息处理效率不高的问题。
技术实现思路
基于此，有必要针对现有技术在进行机器学习训练过程中存在信息处理效率不高的问题，提供一种能够提高信息处理效率的日志的处理方法、装置、计...
【技术保护点】
1.一种日志的处理方法，应用于分布式平台，所述分布式平台用于运行分布式任务，所述分布式任务包括多个子任务，所述子任务对应有用于处理所述子任务的应用容器，其特征在于，所述方法包括：/n采集原始容器日志；所述原始容器日志为运行在所述分布式平台中的各个应用容器输出的日志；/n确定所述原始容器日志中的变动容器日志；所述变动容器日志为出现文件变动的原始容器日志；/n确定用于输出所述变动容器日志的应用容器所属的目标子任务；/n将所述变动容器日志划分至与所述目标子任务对应的子任务日志中，得到用于表征所述分布式任务的运行状态的任务日志；所述任务日志用于供用户监控所述分布式任务。/n
【技术特征摘要】
1.一种日志的处理方法，应用于分布式平台，所述分布式平台用于运行分布式任务，所述分布式任务包括多个子任务，所述子任务对应有用于处理所述子任务的应用容器，其特征在于，所述方法包括：
采集原始容器日志；所述原始容器日志为运行在所述分布式平台中的各个应用容器输出的日志；
确定所述原始容器日志中的变动容器日志；所述变动容器日志为出现文件变动的原始容器日志；
确定用于输出所述变动容器日志的应用容器所属的目标子任务；
将所述变动容器日志划分至与所述目标子任务对应的子任务日志中，得到用于表征所述分布式任务的运行状态的任务日志；所述任务日志用于供用户监控所述分布式任务。
2.根据权利要求1所述的方法，其特征在于，所述将所述变动容器日志划分至与所述目标子任务对应的子任务日志中，得到用于表征所述分布式任务的运行状态的任务日志，包括：
判断所述目标子任务是否属于所述分布式任务中的子任务；
若所述目标子任务属于所述分布式任务中的子任务，则在预存的多个候选子任务日志中，确定所述目标子任务对应的子任务日志；
将所述变动容器日志划分至所述子任务日志中，得到所述分布式任务对应的任务日志。
3.根据权利要求2所述的方法，其特征在于，所述将所述变动容器日志划分至所述子任务日志中，得到所述分布式任务对应的任务日志，包括：
提取所述变动容器日志的日志内容；
将所述日志内容转存至所述子任务日志中，得到转存后的子任务日志；
将所述转存后的子任务日志，作为所述分布式任务对应的任务日志。
4.根据权利要求1所述的方法，其特征在于，所述确定用于输出所述变动容器日志的应用容器所属的目标子任务，包括：
获取所述变动容器日志对应的应用容器标识；所述应用容器标识为所述用于输出所述变动容器日志的应用容器所对应的标识；
查询所述应用容器标识对应的子任务标识；所述子任务标识为所述用于输出所述变动容器日志的应用容器所属的目标子任务所对应的标识；
根据所述子任务标识，确定所述用于输出所述变动容器日志的应用容器所属的目标子任务。
5.根据权利要求4所述的方法，其特征在于，在所述获取所述变动容器日志对应的应用容器标识的步骤之前，还包括：
确定所述...
【专利技术属性】
技术研发人员：朱思创，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。