一种基于Solr的用于Insight HD平台的日志收集分析系统及方法技术方案

本发明专利技术公开一种基于Solr的用于Insight HD平台的日志收集分析系统，涉及日志分析技术领域。针对Insight HD平台的各组件遇到问题手动查找日志效率低的缺陷，采用方案包括：多个日志监控及处理装置、日志索引装置和Web页面，多个日志监控及处理装置用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置用于整理过滤后的日志文件并发送至Solr建立索引，Web页面用于展示建立的日志文件索引信息，用户通过Web页面进行直观查看，并筛选找到最想查看的日志文件信息，从而了解各个组件的运行情况，解决实际应用中日志文件分析效率低的问题。本发明专利技术还公开一种基于Solr的用于Insight HD平台的日志收集分析方法，与上述系统结合，缩短故障排查时间。

【技术实现步骤摘要】
一种基于Solr的用于InsightHD平台的日志收集分析系统及方法
本专利技术涉及日志分析
，具体的说是一种基于Solr的用于InsightHD平台的日志收集分析系统及方法。
技术介绍
日志文件是关于系统或者软件状态的相关记录。日志文件收集和分析可以帮助用户更好的了解系统及软件当前的运行状态，方便对集群系统进行安全维护、性能优化以及故障排查。因此，日志文件采集分析工具已经成为维持系统正常运行不可缺少的工具。Solr是一个高性能、采用Java开发、基于Lucene的全文搜索服务器。它对外提供类似于Web-service的API接口,并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。用户可以通过http请求，向搜索引擎服务器提交一定格式的文件，生成索引；也可以通过HttpGet操作提出查找请求，并得到查询结果。InsightHD是浪潮研发的、以Hadoop生态体系为主线，通过构建大规模分布式存储与计算集群，实现多源信息的融合采集、数据组织与管理、数据存储与计算等处理过程，深度挖掘海量数据的全新价值并实现海量数据的高效分析与利用。该平台提供了很多大数据处理组件，这些组本文档来自技高网...

【技术保护点】
1.一种基于Solr的用于Insight HD平台的日志收集分析系统，其特征在于,该系统包括多个日志监控及处理装置、日志索引装置和Web页面，多个日志监控及处理装置用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置用于整理过滤后的日志文件并发送至Solr建立索引，Web页面用于展示建立的日志文件索引信息，用户通过Web页面进行直观查看，用户在查看过程中可以根据Web页面展示的日志文件索引信息进行筛选，以找到最想查看的日志文件信息。

【技术特征摘要】
1.一种基于Solr的用于InsightHD平台的日志收集分析系统，其特征在于,该系统包括多个日志监控及处理装置、日志索引装置和Web页面，多个日志监控及处理装置用于采集、监控并解析过滤多个节点多个组件的日志文件，日志索引装置用于整理过滤后的日志文件并发送至Solr建立索引，Web页面用于展示建立的日志文件索引信息，用户通过Web页面进行直观查看，用户在查看过程中可以根据Web页面展示的日志文件索引信息进行筛选，以找到最想查看的日志文件信息。2.根据权利要求1所述的一种基于Solr的用于InsightHD平台的日志收集分析系统，其特征在于，所述日志监控及处理装置包括：采集模块，用于采集节点和组件的日志文件；监控模块，用于监控所采集的日志文件；解析模块，用于解析日志文件的配置级别；过滤模块，用于根据日志文件的配置级别过滤日志文件信息；处理模块，用于将过滤后的日志文件信息进行分类标记并发送至日志索引装置进行存储。3.根据权利要求2所述的一种基于Solr的用于InsightHD平台的日志收集分析系统，其特征在于，所述采集模块采集日志文件的过程中，首先需要配置采集日志文件所需的信息，该信息包括采集的组件、组件的日志文件目录、日志文件格式、日志文件级别，随后，日志监控及处理装置根据配置信息对采集日志文件进行解析过滤，解析模块根据配置信息获取日志文件的配置级别后传送至过滤模块。4.根据权利要求2所述的一种基于Solr的用于InsightHD平台的日志收集分析系统，其特征在于，所述日志监控及处理装置还包括选择模块；所述选择模块用于选择包含异常信息的日志文件，并将包含异常信息的日志文件传送至监控模块进行监控。5.根据权利要求2所述的一种基于Solr的用于InsightHD平...

【专利技术属性】
技术研发人员：尚平平，
申请(专利权)人：上海浪潮云计算服务有限公司，
类型：发明
国别省市：上海,31