【技术实现步骤摘要】
一种基于OpenStack云计算的日志分析方法及系统
[0001]本专利技术属于机场信息处理
，尤其涉及一种基于OpenStack云计算的日志分析方法及系统。
技术介绍
[0002]在OpenStack中，由于涉及的组件众多，日志往往分散在不同的节点和服务中，这给故障排查带来了困难。因为日志信息不集中，需要从多个日志文件中进行查找和分析，增加了故障处理时间。因此，在OpenStack运维中，如何有效地管理和分析日志显得尤为重要。为了解决这一问题，需要一个专门的日志检索和分析工具来协助我们快速定位问题，并解决系统隐患。以下是五点详细说明：（1）目前许多系统的日志收集、存储和处理都比较复杂，导致日志信息不易获取和分析。因此，需要一种简单方便的日志收集工具，能够自动化地收集并存储日志信息，以便后续进行分析。
[0003]（2）其次，针对大规模的系统，我们需要一种高效的日志检索工具来帮助我们快速查找到关键信息。这种工具需要支持全文搜索、过滤、排序等功能，以便用户可以快速定位到特定的日志信息。
[0004]（3）...
【技术保护点】
【技术特征摘要】
1.一种基于OpenStack云计算的日志分析方法，其特征在于，该方法包括以下步骤：S1，利用OpenStack作为基础构架，构建日志分析工具；利用所述日志分析工具自动化地提取、处理和存储的日志数据，并对所述日志数据检索、查询和可视化展示；S2，在日志分析工具的基础上，采用异常检测机器算法对日志数据存在的问题进行关键信息识别与异常检测；所述异常检测机器算法包括：通过创建数据准确基线，自动分析检测到的时间序列数据；通过对比基线识别出异常事件，在弹性存储组件Elasticsearch中存储数据和提取数据进行分析，在界面显示组件Kibana管理异常检测作业，将分析后的异常结果显示在界面显示组件Kibana的仪表板界面中，仪表板界面提供图表，展示出实际数据值、预期值的基线以及在这些基线之外发生的异常；S3，针对不同的问题类型，基于上述关键信息识别与异常检测分析结果，根据日志问题等级给出处理建议，所述处理建议包括：通过将告警级别和案例进行关联，当出现告警后通过参考关联的案例进行异常告警处理；所述案例根据实际需要进行添加编写；S4，通过后台数据计算与图表展示，呈现不同的问题类型、建议。2.根据权利要求1所述的基于OpenStack云计算的日志分析方法，其特征在于，在步骤S1中，构建日志分析工具包括：在源主机安装代理插件，在日志插件中配置源主机的IP和端口号，通过syslog模式发送到日志服务器，发送的内容包含：日志源、组件服务、消息、时间戳；利用文件模式在日志系统的配置文件中写入源主机的IP和日志文件的绝对路径，对目标日志主动进行收集。3.根据权利要求1所述的基于OpenStack云计算的日志分析方法，其特征在于，在步骤S2中，所述异常检测机器算法异常检测机器算法对日志数据进行过滤以及基于日志数据中的关键字和性能指标，进行判断问题的严重程度判断；所述异常检测机器算法使用时间序列分解、贝叶斯分布建模和相关性分析进行实现，机器学习分析通过对比历史数据和计算新数据，对数据的基于时间的特征进行统计建模，将异常结果进行显示；每个异常都有一个异常分数，该分数表明数据点异常的严重性，异常分数在0到100之间，接近100的值表示当前检测到的最大的异常情况；当前异常值比以前检测到的任何其他异常都要大时，以前的异常的分数会减小；所述异常检测机器算法调整异常分数的过程为重整化，异常情况检测作业将时序数据拆分为数据块，对数据块的值进行异常检测记录，当某段时间段频繁出现异常记录时，异常分就会升高，表示该时间段存在异常需要关注；异常检测的指标：主机异常检测是基于内存使用量和网络出入流量，检测是否存在异常的峰值，访问日志检测是基于日志中关键字，包括：低速率请求、异常IP访问、异常状态代码，检测是否存在异常的活动；运行日志检测异常检测是基于日志的速率设定，当检测到日志速率的显著下降，表明某个应用停止响应，日志速率的急速升高，表示有拒绝服务攻击。4.根据权利要求3所述的基于OpenStack云计算的日志分析方法，其特征在于，异常检测机器算法自动识别出与用户关注的日志问题相关的信息，并创建正常行为的准...
【专利技术属性】
技术研发人员：潘建辉，杜建国，戴伟杰，牟文刚，张辉，张城玮，徐立中，刘晓疆，
申请(专利权)人：青岛民航凯亚系统集成有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。