基于非结构化日志的大数据组件故障辅助修复系统技术方案

本发明专利技术提供一种基于非结构化日志的大数据组件故障辅助修复系统，包括：日志采集模块，用于集群各节点上大数据组件异常日志的采集；日志预处理模块，用于将大数据组件异常日志中包含主要异常信息的非结构化日志解析为结构化日志；并找出异常信息相应的日志关键词；修复方案知识库则存有规则，规则包括两部分，一个部分为异常信息相应的日志关键词，另一个部分为异常信息对应的自动化修复脚本或修复方案；推理机，将经过预处理后异常日志中异常信息相应的日志关键词与修复方案知识库进行匹配，并根据匹配的结果调用故障修复模块去执行异常信息对应的自动化修复脚本或提供异常信息对应的修复方案。本发明专利技术能够快速解决故障。

【技术实现步骤摘要】
基于非结构化日志的大数据组件故障辅助修复系统
本专利技术涉及基于日志的故障修复系统，尤其是一种基于非结构化日志的大数据组件故障辅助修复系统。
技术介绍
在当今这个大数据的时代，集群的规模越来越大，对于计算、存储的要求越来越高。大数据平台一般搭建于大规模集群之上，而面对各种业务需求，大数据平台需要各种各样的组件来共同搭建。面对一个这样大规模的平台，对于运维人员是一个巨大的挑战，运维人员需要在平台出现故障时能够快速定位故障，并采取快速的解决方案。一般来讲，查阅日志是运维人员最常用的手段之一，运维人员通过查阅日志等一系列操作，分析出故障原因，然后根据专业知识及经验，做出相应的修复。随着大数据的发展，现今系统规模越来越大，产生的日志规模十分巨大。对于提供全球服务的一些大型系统，每天的日志数据量甚至可以达到几十TB。而大数据组件往往是部署在集群当中，在发生故障时，需要运维人员逐个节点去查阅日志，给故障定位增加了不小的难度，直接延长了故障修复的时间。并且大数据组件异常日志的关键信息是由组件源代码产生的非结构化文本。因此，实现一个能从集群中部署的组件中收集故障日志，并提供自动修复或修复方案的系统，本文档来自技高网...

【技术保护点】
1.一种基于非结构化日志的大数据组件故障辅助修复系统，其特征在于，包括：日志采集模块、日志预处理模块、修复方案知识库、推理机、故障修复模块；所述日志采集模块，用于集群各节点上大数据组件异常日志的采集；所述日志预处理模块，用于将大数据组件异常日志中包含主要异常信息的非结构化日志解析为结构化日志；并找出异常信息相应的日志关键词；所述修复方案知识库则存有规则，规则包括两部分，一个部分为异常信息相应的日志关键词，另一个部分为异常信息对应的自动化修复脚本或修复方案；所述推理机，将经过预处理后异常日志中异常信息相应的日志关键词与修复方案知识库进行匹配，并根据匹配的结果调用故障修复模块去执行异常信息对应的自...

【技术特征摘要】
1.一种基于非结构化日志的大数据组件故障辅助修复系统，其特征在于，包括：日志采集模块、日志预处理模块、修复方案知识库、推理机、故障修复模块；所述日志采集模块，用于集群各节点上大数据组件异常日志的采集；所述日志预处理模块，用于将大数据组件异常日志中包含主要异常信息的非结构化日志解析为结构化日志；并找出异常信息相应的日志关键词；所述修复方案知识库则存有规则，规则包括两部分，一个部分为异常信息相应的日志关键词，另一个部分为异常信息对应的自动化修复脚本或修复方案；所述推理机，将经过预处理后异常日志中异常信息相应的日志关键词与修复方案知识库进行匹配，并根据匹配的结果调用故障修复模块去执行异常信息对应的自动化修复脚本或提供异常信息对应的修复方案。2.如权利要求1所述的基于非结构化日志的大数据组件故障辅助修复系统，其特征在于，推理机包括模式匹配器、议程和执行引擎；模式...

【专利技术属性】
技术研发人员：冯士龙，马玉峰，台宪青，赵旦谱，王艳军，
申请(专利权)人：江苏物联网研究发展中心，
类型：发明
国别省市：江苏,32