【技术实现步骤摘要】
一种基于HDP算法的服务器日志分析方法及系统
本申请涉及服务器日志
，特别是涉及一种基于HDP(HierarchicalDirichletProcess，层次狄利克雷过程)算法的服务器日志分析方法及系统。
技术介绍
在服务器运行过程中，经常需要对服务器日志进行分析，定期的对服务器进行日志分析，不仅可以帮助用户了解服务器的运行状况，还可以大大减少服务器故障。目前，对服务器日志进行分析的方法，通常是人工对日志进行结构化整理。具体地，收集当前所有的待分析日志，并指定主题个数，利用手工标注的方法对这些待分析日志进行整理。然而，目前对服务器日志进行分析的方法中，由于需要采用手工标注，自动化程度较低，日志分析效率较低。而且，由于采用手工进行标注，日志分析结果依赖于用户所输入的参数，因此，日志分析结果的准确性较低。
技术实现思路
本申请提供了一种基于HDP算法的服务器日志分析方法及系统，以解决现有技术中的服务器日志分析效率较低和日志分析结果的准确性较低的问题。为了解决上述技术问题，本申请实...
【技术保护点】
1.一种基于HDP算法的服务器日志分析方法，其特征在于，所述方法包括：/n获取待测服务器日志的日志文件，所述日志文件的长度为N，时间戳为毫秒、秒或者分钟，所述日志文件对应的时间段为所述时间戳的k倍，其中，N为自然数，k为自然数，且N为k的整数倍；/n将所述日志文件构造为N/k行、k列的矩阵；/n根据日志字典，对所述矩阵进行数字特征转换，获取N/k行、q列的特征矩阵，其中，q为日志字典的长度；/n利用HDP算法对所述特征矩阵进行主题分析，获取待测服务器日志的主题个数和概率分布；/n根据所述服务器日志的主题个数和概率分布，判断当前时间段内待测服务器日志的主题是否异常。/n
【技术特征摘要】
1.一种基于HDP算法的服务器日志分析方法，其特征在于，所述方法包括：
获取待测服务器日志的日志文件，所述日志文件的长度为N，时间戳为毫秒、秒或者分钟，所述日志文件对应的时间段为所述时间戳的k倍，其中，N为自然数，k为自然数，且N为k的整数倍；
将所述日志文件构造为N/k行、k列的矩阵；
根据日志字典，对所述矩阵进行数字特征转换，获取N/k行、q列的特征矩阵，其中，q为日志字典的长度；
利用HDP算法对所述特征矩阵进行主题分析，获取待测服务器日志的主题个数和概率分布；
根据所述服务器日志的主题个数和概率分布，判断当前时间段内待测服务器日志的主题是否异常。
2.根据权利要求1所述的一种基于HDP算法的服务器日志分析方法，其特征在于，根据所述服务器日志的主题个数和概率分布，判断当前时间段内待测服务器日志的主题是否异常的方法，包括：
获取与当前时间段等长时间内的标准日志；
对所述标准日志运行HDP算法，获取标准主题结果；
获取当前时间段内的待测服务器日志；
对所述待测服务器日志运行HDP算法，获取待测主题结果；
根据所述标准主题结果和待测主题结果，利用KL散度的方法，计算所述标准日志和待测服务器日志的相似度数值；
判断所述相似度数值是否大于设定的阈值；
如果是，判定当前时间段内的待测服务器日志异常；
如果否，判定当前时间段内的待测服务器日志正常。
3.根据权利要求2所述的一种基于HDP算法的服务器日志分析方法，其特征在于，根据所述标准主题结果和待测主题结果，利用KL散度的方法，计算所述标准日志和待测服务器日志的相似度数值之前，所述方法还包括：
判断所述待测主题结果和标准主题结果中的主题个数是否一致；
如果是，执行下一步；
如果否，对主题个数较少的主题结果进行补零操作，使所述待测主题结果和标准主题结果中的主题个数一致。
4.根据权利要求2所述的一种基于HDP算法的服务器日志分析方法，其特征在于，所述待测主题结果和标准主题结果中的主题均按照相同的顺序排列。
5.根据权利要求1-4中任一所述的一种基于HDP算法的服务器日志分析方法，其特征在于，所述当前时间段...
【专利技术属性】
技术研发人员：赵静，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。