一种基于深度学习的云计算系统异常检测方法技术方案

发明专利技术涉及一种基于深度学习的云计算系统自动化故障检测方法。基于聚类将格式和内容相似的日志进行聚集，进而提取日志模式；将每个模式作为一个词，并将离散模式集作为一个文档，从而得到低维度特征空间；使用递归神经网络处理标记数据以得到跨序列的依赖性，从而生成信号以检测云计算系统异常。

【技术实现步骤摘要】
一种基于深度学习的云计算系统异常检测方法
本专利技术涉及一种基于深度学习的云计算系统异常检测方法，属于软件

技术介绍
随着云计算技术的发展，大量在线服务和关键任务依赖于异构的云计算系统来完成，最小化这些系统的停机时间非常重要。控制台日志记录了云计算系统的操作状态和事件，并且具有丰富的描述性信息。当前，日志分析的相关研究主要集中在系统异常检测与诊断领域，目的是快速检测出异常发生时的信号，并确定异常的根本原因。云计算环境下，基于日志的异常检测需要在可接受的性能条件下，处理分析大量系统特征（T.Kimura,K.Ishibashi,T.Mori,H.Sawada,T.Toyono,K.Nishimatsu,A.Watanabe,A.Shimoda,andK.Shiomoto,"Spatio-temporalfactorizationoflogdataforunderstandingnetworkevents,"2014IEEEConferenceonComputerCommunications,INFOCOM2014,Toronto,Canada,April27-May2,2014,2014,pp.610–618.）。同时，控制台日志通常是由不同的应用程序或服务生成，因此日志具有异构性，表现为多样化和不均衡的单词分布，使得传统的文本挖掘方法(如，主题建模)从云计算系统的控制台日志中提取有意义的特征非常困难（X.NingandG.Jiang,“HLAer:Asystemforheterogeneousloganalysis,”inProceedingsoftheSDMWorkshoponHeterogeneousLearning,2014.）。此外，虽然控制台日志记录了云计算系统的健康状态信息，但现有的系统管理技术主要在出现问题后分析错误，时效性较差（T.Kimura,A.Watanabe,T.Toyono,andK.Ishibashi,“Proactivefailuredetectionlearninggenerationpatternsoflargescalenetworklogs,”inNetworkandServiceManagement,201511thInternationalConferenceon,Nov2015,pp.8–14.）。现有工作分析源代码以建立日志的常规格式，但该类方法只能在源代码应用，不能将不同编程语言和日志样式的不同应用程序的异构日志混合起来（W.Xu,L.Huang,A.Fox,D.Patterson,andM.I.Jordan,“Detectinglarge-scalesystemproblemsbyminingconsolelogs,”inProceedingsoftheACMSIGOPS22ndsymposiumonOperatingsystemsprinciples.ACM,2009,pp.117–132.）。控制台日志通常是由应用程序源代码中定义的模板生成，因此具有预定义的格式。在应用程序运行过程中，日志常常是多余的，找到规则的格式来表示并总结类似的日志信息可以减少冗余而不丢失重要信息，从而高效获取日志数据的含义。
技术实现思路
本专利技术的目的：提出一种基于深度学习的云计算系统异常检测方法，从控制台日志中提取通用特征，建模为时序深度神经网络，以执行自动化的检测系统异常。本专利技术的原理：本文首先从异构日志中学习日志格式，将相似的日志聚在一起，并提取日志集合的模式。然后，基于这些模式提取随时间推移的顺序特征，以缩减特征维度。最后，将异常检测抽象化为序列分类问题，编码日志特征并映射到低维向量空间中，通过LSTM（LongShort-TermMemory）进行异常检测。本专利技术技术解决方案如下：第一步，日志信息和时间戳标准化：对日志数据进行标记以识别和检索每个日志记录的单词或短语的基本信息。但是，来自不同应用程序和系统的异构日志有不同的格式以及分隔符。如果没有特定的知识或人工检查，为所有异构日志数据集预先定义相同的分隔符会很不公平，因此，应该使用通用的分隔符，以避免符号间的干扰。本文将空格作为分隔符，用来分开除了数字之外的所有单词和特殊符号。异构日志可以有许多不同类型的时间戳格式，本文在日志中检测所有的时间戳并将其转换为标准格式；第二步，日志聚类：由于没有日志格式、用法和来源等方面的领域知识，理解和分析异构日志首先需要理解日志数据的语法结构。聚类算法基于数据内在属性和关系，对数据实例进行分类。因此，本文将聚类算法应用于异构日志，以获得数据的初始化“视图”。采用分层聚类生成异构日志的层次结构，提供了多粒度的数据视图，根据位置将日志从粗到细粒度组织成树结构。同时，数据索引和搜索是建立在分层树结构基础上，以达到提高效率的目的。本文使用的分层树结构使用OPTIC(M.Ankerst,M.M.Breunig,H.-P.Kriegel,andJ.Sander,“Optics:Orderingpointstoidentifytheclusteringstructure,”inProceedingsofthe1999ACMSIGMODInternationalConferenceonManagementofData,ser.SIGMOD’99.NewYork,NY,USA:ACM,1999,pp.49–60.)聚类方法。OPTIC通过从一个特定的数据点向所有邻近的数据点扩展，从而搜索密集的数据区域，这些数据点在一个预定义的阈值下足够接近。聚类算法根据数据点排序生成层次化的聚类结构，将较为稀疏的数据区域内的密集数据区域作为聚类，形成较稀疏区域的子聚类。OPTIC具有两个参数eps和min-points，其中，eps指定聚类的最大宽度，min-points控制有效聚类需要包含的最小样本数量。第三步，模式识别与匹配：在对日志数据进行聚类之后，生成异构日志的整体语法结构，但仍然需要在每个聚类中获得具体模式。由于在每个聚类中，日志记录具有相似的格式，在聚类中使用序列比对进行模式识别。模式识别首先在叶节点中完成，然后从叶子向后传播到根节点。在生成日志模式后，需要对输入的异构日志进行解析，本文将这些模式表示为正则表达式。任何输入日志都将与提取的日志模式，即正则表达式匹配，如果不能匹配，则生成异常值。第四步，特征表示：使用提取的模式解析输入日志，将日志映射到一个模式。本文提取模式的集合,计算每个模式的频率，而不是简单搜集时间间隔的日志数据。选择合适的时间间隔，首先需要降级特征表示的稀疏性，同时使用较小的时间粒度来进行更精细的检测。本文借鉴TF-IDF思想，从日志中提取合适的特征。TF-IDF在信息检索和文本挖掘中，表示文档的特征。本文将每种模式作为一个词，而发生在时间阶段之间的众多模式作为一个文档。(1)(2)(3)其中，为模式，为时间周期模式集合，E为全部时间监测集合，为模式在时间周期中出现的频率，为时间周期的数量，为出现模式的时间周期的数量。第五步，异常检测：给定云计算系统组件为K，控制台日志集合为，推断在时间窗口W内发生异常的概率为。输入是长度为L的历史特征序列：；目标是二元向量：在t时本文档来自技高网...

【技术保护点】
1.一种基于深度学习的云计算系统自动化故障检测方法，方法特征在于实现步骤如下：第一步，日志信息和时间戳标准化：将空格作为分隔符，用来分开除了数字之外的所有单词和特殊符号；对日志数据进行标记以识别和检索每个日志记录的单词或短语的基本信息；检测所有的时间戳并将其转换为标准格式；第二步，日志聚类：采用分层聚类生成异构日志的层次结构，根据位置将日志从粗到细粒度组织成树结构；将较为稀疏的数据区域内的密集数据区域作为聚类，形成较稀疏区域的子聚类；第三步，模式识别与匹配：生成日志的整体语法结构；从叶子向后传播到根节点，以生成日志模式；对输入的异构日志进行解析，表示为正则表达式；任何输入日志都将与提取的日志模式，即正则表达式匹配；第四步，异常检测：给定云计算系统组件为

【技术特征摘要】
1.一种基于深度学习的云计算系统自动化故障检测方法，方法特征在于实现步骤如下：第一步，日志信息和时间戳标准化：将空格作为分隔符，用来分开除了数字之外的所有单词和特殊符号；对日志数据进行标记以识别和检索每个日志记录的单词或短语的基本信息；检测所有的时间戳并将其转换为标准格式；第二步，日志聚类：采用分层聚类生成异构日志的层次结构，根据位置将日志从粗到细粒度组织成树结构；将较为稀疏的数据区域内的密集数据区域作为聚类，形成较稀疏区域的子聚类；...

【专利技术属性】
技术研发人员：周红卫，刘延新，吴昊，
申请(专利权)人：江苏润和软件股份有限公司，
类型：发明
国别省市：江苏,32