【技术实现步骤摘要】
本专利技术涉及云平台监控领域，尤其涉及一种基于日志架构的云平台监控方法、装置、设备及存储介质。
技术介绍
1、云平台作为一个复杂的集群系统，包含了大量的节点和组件，同时处理着海量的数据和请求，如何对这些节点、组件和请求进行有效的管理和监控，日志管理就显得尤为重要。
2、但传统的云平台日志分析主要依赖人工检查，而随着云业务规模的扩大，日志数据呈爆炸式增长，海量的日志数据对人工分析造成了巨大压力；同时，日志分布在云平台的各个层面，缺乏统一的日志架构；这些因素导致日志分析效率低下，无法满足云平台安全监控的实时性要求。
3、因此，现有技术还有待于改进和发展。
技术实现思路
1、本专利技术的主要目的在于解决现有技术中基于日志架构的云平台监控依赖人工检查和缺乏统一的日志架构而导致日志分析效率低下以及无法满足云平台安全监控实时性要求的问题。
2、本专利技术第一方面提供了一种基于日志架构的云平台监控方法，包括：获取存储在日志存储系统中不同类型的历史日志，对所述历史日志进行预处理，对经过预处理的历史日志进行聚类，得到多个聚类中心，根据多个所述聚类中心得到费马点，对所述费马点到多个所述聚类中心的多个距离求和，得到第一距离和；根据不同类型的当前日志，得到当前日志特征向量，利用多个所述聚类中心构建正常行为基线模型，将所述当前日志特征向量输入到所述正常行为基线模型，得到所述当前日志特征向量到多个所述聚类中心的多个距离；对所述当前日志特征向量到多个所述聚类中心的多个距离求和
3、可选的，在本专利技术第一方面的第一种实现方式中，所述获取存储在日志存储系统中不同类型的历史日志，对所述历史日志进行预处理，对经过预处理的历史日志进行聚类，得到多个聚类中心，根据多个所述聚类中心得到费马点，对所述费马点到多个所述聚类中心的多个距离求和，得到第一距离和的步骤包括：获取存储在日志存储系统中不同类型的历史日志，对所述历史日志进行清洗、去重和格式解析，提取所述历史日志对应的历史关键字段，根据所述历史关键字段得到历史日志特征向量；利用聚类算法对所述历史日志特征向量进行聚类，得到多个聚类中心；利用matlab计算出所述聚类中心的费马点，计算所述费马点到多个所述聚类中心的多个距离之和，得到第一距离和。
4、可选的，在本专利技术第一方面的第二种实现方式中，所述根据不同类型的当前日志，得到当前日志特征向量，利用多个所述聚类中心构建正常行为基线模型，将所述当前日志特征向量输入到所述正常行为基线模型，得到所述当前日志特征向量到多个所述聚类中心的多个距离的步骤包括：对不同类型的所述当前日志进行清洗、去重和格式解析，提取对应的当前关键字段，根据对应的所述当前关键字段得到对应的当前日志特征向量；将对应的所述当前日志特征向量输入到所述正常行为基线模型中，计算对应的所述当前日志特征向量与多个所述聚类中心的多个距离。
5、可选的，在本专利技术第一方面的第三种实现方式中，所述对不同类型的所述当前日志进行清洗、去重和格式解析，提取当前关键字段的步骤包括：对不同类型的所述当前日志进行清洗、去重和格式解析，得到解析后的日志格式；若所述日志格式不符合对应类型的预设格式，则判断所述当前日志异常，并统计所述异常日志的数量；若所述日志格式符合对应类型的预设格式，则判断所述当前日志正常，并输出所述日志对应的当前关键字段。
6、可选的，在本专利技术第一方面的第四种实现方式中，所述对所述当前日志特征向量到多个所述聚类中心的多个距离求和得到距离和，计算所述距离和与所述第一距离和的差值，比较所述差值与预设距离阈值的大小，并输出所述当前日志对应的比较结果的步骤包括：计算所述当前日志特征向量到多个所述聚类中心的多个距离之和，得到距离和；计算所述距离和与所述第一距离和的差值，并比较所述差值与预设距离阈值的大小；若所述差值大于所述预设距离阈值，则判断对应的所述当前日志异常，并统计所述异常日志的数量；若所述差值不大于所述预设距离阈值，则判断对应的所述当前日志正常，并输出所述当前日志对应的当前日志特征向量。
7、可选的，在本专利技术第一方面的第五种实现方式中，所述将所述比较结果输入到所述时间序列模型，得到所述当前日志的生成时间，若所述当前日志的生成时间异常，则判断所述当前日志异常，并发出警告的步骤包括：将所述当前日志对应的当前日志特征向量输入到所述时间序列模型，判断所述当前日志的生成时间是否正常；若所述当前日志的生成时间正常，则判断所述当前日志为正常日志，并生成日志信息表；若所述当前日志的生成时间异常，则判断所述当前日志异常，并统计所述异常日志的数量；若所有异常日志的数量大于预设数量，则向客户端发送警告邮件。
8、可选的，在本专利技术第一方面的第六种实现方式中，所述若所述当前日志的生成时间正常，则判断所述当前日志为正常日志，并生成日志信息表的步骤包括：若所述当前日志的生成时间正常，则判断所述当前日志为正常日志；将不同类型的所述正常日志进行关联，得到关联信息；根据所述关联信息，预测所述正常日志对应事件的性质，得到预测结果；根据所述关联信息和所述预测结果，生成所述日志信息表，并利用所述日志信息表对所述正常行为基线模型进行训练，得到优化后的正常行为基线模型。
9、本专利技术第二方面提供了一种基于日志架构的云平台监控装置，包括：历史日志处理模块，用于获取存储在日志存储系统中不同类型的历史日志，对所述历史日志进行预处理，对经过预处理的历史日志进行聚类，得到多个聚类中心，根据多个所述聚类中心，得到多个所述聚类中心的费马点，对所述费马点到多个所述聚类中心的多个距离求和，得到第一距离和；当前日志处理模块，用于根据不同类型的当前日志，得到当前日志特征向量，利用多个所述聚类中心构建正常行为基线模型，将所述当前日志特征向量输入到所述正常行为基线模型，得到所述当前日志特征向量到多个所述聚类中心的多个距离；比较模块，用于对所述当前日志特征向量到多个所述聚类中心的多个距离求和得到距离和，计算所述距离和与所述第一距离和的差值，比较所述差值与预设距离阈值的大小，并输出所述当前日志对应的比较结果；报警模块，用于构建时间序列模型，将所述比较结果输入到所述时间序列模型，得到所述当前日志的生成时间，若所述当前日志的生成时间异常，则判断所述当前日志异常，并发出警告。
10、可选的，在本专利技术第二方面的第一种实现方式中，所述历史日志处理模块包括：历史日志处理单元，用于获取存储在日志存储系统中不同类型的历史日志，对所述历史日志进行清洗、去重和格式解析，提取所述历史日志对应的历史关键字段，根据所述历史关键字段得到历史日志特征向量；历史日志聚类单元，用于利用聚类算法对所述历史日志特征向量进行聚类，得到多个聚类中心；第本文档来自技高网...
【技术保护点】
1.一种基于日志架构的云平台监控方法，其特征在于，所述基于日志架构的云平台监控方法包括：
2.根据权利要求1所述基于日志架构的云平台监控方法，其特征在于，所述获取存储在日志存储系统中不同类型的历史日志，对所述历史日志进行预处理，对经过预处理的历史日志进行聚类，得到多个聚类中心，根据多个所述聚类中心得到费马点，对所述费马点到多个所述聚类中心的多个距离求和，得到第一距离和的步骤包括：
3.根据权利要求1所述基于日志架构的云平台监控方法，其特征在于，所述根据不同类型的当前日志，得到当前日志特征向量，利用多个所述聚类中心构建正常行为基线模型，将所述当前日志特征向量输入到所述正常行为基线模型，得到所述当前日志特征向量到多个所述聚类中心的多个距离的步骤包括：
4.根据权利要求3所述基于日志架构的云平台监控方法，其特征在于，所述对不同类型的所述当前日志进行清洗、去重和格式解析，提取当前关键字段的步骤包括：
5.根据权利要求1所述基于日志架构的云平台监控方法，其特征在于，所述对所述当前日志特征向量到多个所述聚类中心的多个距离求和得到距离和，计算所述
6.根据权利要求5所述基于日志架构的云平台监控方法，其特征在于，所述将所述比较结果输入到所述时间序列模型，得到所述当前日志的生成时间，若所述当前日志的生成时间异常，则判断所述当前日志异常，并发出警告的步骤包括：
7.根据权利要求6所述基于日志架构的云平台监控方法，其特征在于，所述若所述当前日志的生成时间正常，则判断所述当前日志为正常日志，并生成日志信息表的步骤包括：
8.一种基于日志架构的云平台监控装置，其特征在于，包括：
9.一种基于日志架构的云平台监控设备，其特征在于，包括存储器和至少一个处理器，所述存储器中存储有计算机可读指令；
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述基于日志架构的云平台监控方法的各个步骤。
...【技术特征摘要】
1.一种基于日志架构的云平台监控方法，其特征在于，所述基于日志架构的云平台监控方法包括：
2.根据权利要求1所述基于日志架构的云平台监控方法，其特征在于，所述获取存储在日志存储系统中不同类型的历史日志，对所述历史日志进行预处理，对经过预处理的历史日志进行聚类，得到多个聚类中心，根据多个所述聚类中心得到费马点，对所述费马点到多个所述聚类中心的多个距离求和，得到第一距离和的步骤包括：
3.根据权利要求1所述基于日志架构的云平台监控方法，其特征在于，所述根据不同类型的当前日志，得到当前日志特征向量，利用多个所述聚类中心构建正常行为基线模型，将所述当前日志特征向量输入到所述正常行为基线模型，得到所述当前日志特征向量到多个所述聚类中心的多个距离的步骤包括：
4.根据权利要求3所述基于日志架构的云平台监控方法，其特征在于，所述对不同类型的所述当前日志进行清洗、去重和格式解析，提取当前关键字段的步骤包括：
5.根据权利要求1所述基于日志架构的云平台监控方法，其特征在于，所述对所述当前日志特征向量到多个所...
【专利技术属性】
技术研发人员：钱忠杰，姚广，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。