任务运行日志的处理方法、装置、设备及存储介质制造方法及图纸

本公开提出了一种任务运行日志的处理方法、装置、设备及存储介质，该方法包括：获取并保存预置的报错原因关键词和对应的报错规则；当任务运行失败时，根据所保存的报错规则去匹配任务运行日志；将匹配成功的报错规则所对应的报错原因关键词展示到前端。

【技术实现步骤摘要】
任务运行日志的处理方法、装置、设备及存储介质
本专利技术涉及人工智能领域，更具体地，涉及一种任务运行日志的处理方法、一种任务运行日志的处理装置、一种包括至少一个计算装置和至少一个存储装置的设备、及一种计算机可读存储介质。
技术介绍
目前，在人工智能领域，普遍无法做到运行错误自动探测和运行状态透明化。现有技术中，当任务运行失败时，用户需要对日志进行关键词搜索和定位，然后人工发现问题，该种方法主要依赖于人工手动发现问题，极大浪费时间和工作量，导致效率低下；同时，在任务运行失败时，其仅能在任务运行结束后由人工手动去进行分析，无法做到事中实时展示，也无法提供运行失败原因的自动探测，对于金融、政府等要求可信可靠的行业用户，是无法被实际应用的。
技术实现思路
本公开实施例的一个目的是提供一种任务运行日志的处理的新的技术方案。根据本公开的第一方面，提供了一种任务运行日志的处理方法，其包括：获取并保存预置的报错原因关键词和对应的报错规则；当任务运行失败时，根据所保存的报错规则去匹配任务运行日志；将匹配成功的报错规则所对应的报错原因关键词展示到前端。可选地，所述报错原因关键词和对应的报错规则包括如下中的至少一种：内存不足，对应单个关键字报错；license超限，对应同时满足多个关键字且不在同一行报错；算法参数配置错误，对应同时满足多个关键字且不在同一行报错；脚本语法错误，对应同时满足多个关键字且不在同一行报错；集群时区不同步，对应同时满足多个关键字且不在同一行报错；权限不足，对应单个关键字报错。可选地，所述方法还包括：根据所述任务中的执行步骤的先后顺序，对所述任务的运行日志进行分类收集，从而得到多个子日志文件；所述根据所保存的报错规则去匹配任务运行日志包括：根据所述多个子日志文件的产生顺序的倒序去进行匹配。可选地，所述多个子日志文件包括：引擎日志、非业务日志和业务日志。可选地，所述引擎日志用于记录调度执行引擎时的系统相关信息；所述非业务日志用于记录任务运行时的系统相关信息；所述业务日志用于记录任务运行时的算法相关信息。可选地，所述引擎日志在所述任务运行之前的第一阶段生成，所述非业务日志在所述任务运行的第二阶段生成，所述业务日志在所述任务运行的第三阶段生成，所述第二阶段、所述第三阶段依时间顺序先后执行。可选地，所述多个子日志文件包括引擎日志和非业务日志，所述根据所述多个子日志文件的产生顺序的倒序去进行匹配，包括：从最后一条所述非业务日志开始从后向前依次匹配。可选地，所述多个子日志文件包括引擎日志、非业务日志和业务日志，所述根据所述多个子日志文件的产生顺序的倒序去进行匹配，包括：从最后一条所述业务日志开始从后向前依次匹配。可选地，当任务运行失败时，由执行引擎向调度器报错，由调度器执行所述匹配和展示到前端的步骤。可选地，所述方法还包括：获取预置的与所展示的报错原因关键词对应的修复程序，运行所述修复程序。可选地，所述方法还包括：在运行所述修复程序之前提示用户是否执行一键修复，当用户确认时再执行所述修复程序。可选地，所述方法还包括：将运行所述修复程序的过程也写入所述任务的运行日志中。可选地，通过Websocket协议与前端建立通讯连接。可选地，所述方法还包括：根据所述任务的类型，获取预置与所述任务的类型对应的运行状态捕捉规则模型；当所述任务运行时，由所述运行状态捕捉规则模型获取该任务的运行状态信息，并发送到前端进行展示。可选地，所述运行日志包括业务日志，所述任务为GBDT算法训练任务，所述由所述运行状态捕捉规则模型获取该任务的运行状态信息，并发送到前端进行展示，包括：利用所述运行状态捕捉规则模型定位所述业务日志中的树建立信息，以获取所述树建立信息中的树建立开始时间、树建立结束时间、GBDT算法效果、所述任务的资源消耗、所述任务对应的加工数据条数；将所述树建立信息进行绘图并实时发送到前端进行展示。可选地，所述运行日志包括业务日志，所述任务为特征抽取任务，所述由所述运行状态捕捉规则模型获取该任务的运行状态信息，并发送到前端进行展示，包括：利用所述运行状态捕捉规则模型定位所述业务日志中的每一行数据、每一种特征方法的处理信息，以获取所述处理信息中的处理开始时间、处理结束时间、特征方法是否生效、所述任务的任务所耗资源、特征方法生效比例；将所述处理信息进行绘图并实时发送到前端进行展示。可选地，所述运行日志包括业务日志，所述方法还包括：在任务运行时，将实时接收的业务日志推送到前端，以使所述前端解析所述业务日志并进行实时展示。可选地，所述运行日志包括业务日志，所述方法还包括：接收调度引擎推送的任务运行时生成的业务日志，所述业务日志用于记录所述执行引擎执行对应算子来运行所述任务时的算法相关信息；解析所述业务日志并实时展示给用户，以使所述用户根据展示的所述任务的运行状态确定是否继续执行所述任务。可选地，所述运行日志包括业务日志，所述方法还包括：实时查看所述任务运行时生成的业务日志；根据所述业务日志判断所述任务的运行状态是否满足预设的任务结束运行条件；在所述任务的运行状态满足所述预设的任务结束运行条件的情况下，结束所述任务的运行。根据本公开的第二方面，还提供一种任务运行日志的处理装置，其包括：获取模块，用于获取并保存预置的报错原因关键词和对应的报错规则；匹配模块，用于当任务运行失败时，根据所保存的报错规则去匹配任务运行日志；展示模块，用于将匹配成功的报错规则所对应的报错原因关键词展示到前端。可选地，所述报错原因关键词和对应的报错规则包括如下中的至少一种：内存不足，对应单个关键字报错；license超限，对应同时满足多个关键字且不在同一行报错；算法参数配置错误，对应同时满足多个关键字且不在同一行报错；脚本语法错误，对应同时满足多个关键字且不在同一行报错；集群时区不同步，对应同时满足多个关键字且不在同一行报错；权限不足，对应单个关键字报错。可选地，所述装置还包括分类模块，所述分类模块，用于根据所述任务中的执行步骤的先后顺序，对所述任务的运行日志进行分类收集，从而得到多个子日志文件；所述匹配模块，用于根据所述多个子日志文件的产生顺序的倒序去进行匹配。可选地，所述装置还包括分类模块，所述分类模块，用于根据所述任务中的执行步骤的先后顺序，对所述任务的运行日志进行分类收集，从而得到多个子日志文件；所述匹配模块，用于根据所述多个子日志文件的产生顺序的倒序去进行匹配。可选地，所述多个子日志文件包括：引擎日志、非业务日志和业务日志。可选地，所述引擎日本文档来自技高网...

【技术保护点】
1.一种任务运行日志的处理方法，其特征在于，所述方法包括：/n获取并保存预置的报错原因关键词和对应的报错规则；/n当任务运行失败时，根据所保存的报错规则去匹配任务运行日志；/n将匹配成功的报错规则所对应的报错原因关键词展示到前端。/n

【技术特征摘要】
1.一种任务运行日志的处理方法，其特征在于，所述方法包括：
获取并保存预置的报错原因关键词和对应的报错规则；
当任务运行失败时，根据所保存的报错规则去匹配任务运行日志；
将匹配成功的报错规则所对应的报错原因关键词展示到前端。


2.根据权利要求1所述的方法，其中，所述报错原因关键词和对应的报错规则包括如下中的至少一种：
内存不足，对应单个关键字报错；
license超限，对应同时满足多个关键字且不在同一行报错；
算法参数配置错误，对应同时满足多个关键字且不在同一行报错；
脚本语法错误，对应同时满足多个关键字且不在同一行报错；
集群时区不同步，对应同时满足多个关键字且不在同一行报错；
权限不足，对应单个关键字报错。


3.根据权利要求1所述的方法，其中，所述方法还包括：根据所述任务中的执行步骤的先后顺序，对所述任务的运行日志进行分类收集，从而得到多个子日志文件；
所述根据所保存的报错规则去匹配任务运行日志包括：根据所述多个子日志文件的产生顺序的倒序去进行匹配。


4.根据权利要求3所述的方法，其中，
所述多个子日志文件包括：引擎日志、非业务日志和业务日志。


5.根据权利要求4所述的方法，其中，
所述引擎日志用于记录调度执行引擎时的系统相关信息；<...

【专利技术属性】
技术研发人员：王昱森，林静露，王勃，罗伟锋，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：北京;11