基于日志文件的实时任务管理方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及大数据技术领域，公开了一种基于日志文件的实时任务管理方法、装置、设备及介质，方法包括：获取实时任务的标志信息，将标志信息与实时任务的日志文件进行关联，并将日志文件储存为历史日志文件，基于实时任务的执行状态，从至少一组对策触发条件与预设对策的对应关系中，确定与实时任务的执行状态相匹配的目标对策，最后根据标志信息，从历史日志文件中定位目标日志文件，并执行目标对策，本发明专利技术能够对日志文件进行快速定位，避免因为多个并行的实时任务在同一日志文件中覆盖写入而出现的日志内容丢失的情况，对日志文件的处理和对实时任务的管理形成闭环，有利于提高大数据框架下的实时任务管理效率。据框架下的实时任务管理效率。据框架下的实时任务管理效率。

【技术实现步骤摘要】
基于日志文件的实时任务管理方法、装置、设备及介质


[0001]本专利技术涉及大数据
，尤其涉及一种基于日志文件的实时任务管理方法、装置、设备及介质。

技术介绍

[0002]实时任务的处理是大数据行业内最常见的工作内容之一，在各类架构的数据处理框架中，实时任务的处理情况一般都会通过日志文件进行记录，以便通过日志文件记载的内容，对实时任务在执行过程中出现的问题进行分析，而要获取到记录有实时任务执行状态的日志文件里的内容，必须对该日志文件进行定位。
[0003]在现有技术中，主要通过对写入日志文件的内容进行识别和筛查，基于从日志文件的内容中读取到与实时任务的执行错误信息，对日志文件进行定位和读取，而日志文件又大多采用覆盖写入的方式对日志内容进行动态更新，现有技术至少存在如下缺陷：定位逻辑和定位后的执行策略单一，需要从大量堆叠的日志内容中对实时任务的执行错误信息进行识别，容易出现信息反馈延迟，而随着日志内容在覆盖写入的过程中更新，针对日志内容的定位极易因为信息反馈延迟而出现定位失败的问题，导致无法准确定位，无法针对实时任务的执行情况采取及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于日志文件的实时任务管理方法，其特征在于，包括：获取实时任务的标志信息，将所述标志信息与所述实时任务的日志文件进行关联；将所述日志文件储存为历史日志文件；基于所述实时任务的执行状态对预设的对策触发条件进行匹配，根据匹配情况，从至少一组所述对策触发条件与预设对策的对应关系中，确定与所述实时任务的所述执行状态相匹配的目标对策；根据所述标志信息，从所述历史日志文件中，定位与所述实时任务对应的目标日志文件，对所述目标日志文件执行所述目标对策。2.如权利要求1所述的基于日志文件的实时任务管理方法，其特征在于，所述获取实时任务的标志信息，将所述标志信息与所述实时任务的日志文件进行关联的步骤，包括：响应于实时任务的启动动作，生成对应于所述实时任务的日志文件，并记录所述实时任务的任务启动时间；对所述实时任务的执行上下文进行读取，得到所述实时任务的任务名，将所述任务名和所述任务启动时间作为标志信息；利用所述标志信息，对所述日志文件的日志文件名称进行赋值。3.如权利要求1所述的基于日志文件的实时任务管理方法，其特征在于，在将所述日志文件储存为历史日志文件之后，包括：读取所述历史日志文件的储存时长；根据所述储存时长，对预设的清理触发条件进行匹配，以从至少一组所述清理触发条件与预设清理方案的对应关系中，确定与所述历史日志文件相匹配的目标清理方案；基于所述目标清理方案对所述历史日志文件进行清理。4.如权利要求3所述的基于日志文件的实时任务管理方法，其特征在于，所述清理触发条件与预设清理方案的对应关系，包括：第一对应关系，若满足第一清理触发条件，则删除所述历史日志文件，所述第一清理条件包括所述储存时长大于或等于预设的最大储存时长；第二对应关系，若满足第二清理触发条件，则保留所述历史日志文件，所述第二清理条件包括所述储存时长小于所述最大储存时长。5.如权利要求2所述的基于日志文件的实时任务管理方法，其特征在于，所述根据匹配情况，从至少一组所述对策触发条件与预设对策的对应关系中，确定与所述实时任务的所述执行状态相匹配的目标对策的步骤，包括：利用集群架构对所述实时任务的执行情况进行监测，所述集群架构基于所述实...

【专利技术属性】
技术研发人员：孙高华，张中杰，
申请(专利权)人：平安付科技服务有限公司，
类型：发明
国别省市：