【技术实现步骤摘要】
一种基于支持向量机的日志分类管理方法及系统
本专利技术属于日志管理
，具体涉及一种基于支持向量机的日志分类管理方法及系统。
技术介绍
日志：网络设备、系统及服务程序等，在运作时都会产生一个叫日志的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。支持向量机(SVM)：支持向量机是一种基于统计学习与结构风险最小化原理的机器学习方法，在样本较少的情况下，其同样具有优异的学习能力。在存储集群的日程运行中，随着数据访问量的增大，集群系统所产生的日志文件随时间逐渐开始暴增。运维人员和研发人员一般都是根据系统产生的日志进行系统的了解和优化，但是因为大多数原始的系统日志是非结构化的文本信息，且存在大量冗余，这给运维和研发人员带来了繁琐的工作量。此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种基于支持向量机的日志分类管理方法及系统，是非常有必要的。
技术实现思路
针对现有技术的上述集群系统产生大量日志文件，给运维和研发人员带来繁琐工作量的缺陷，本专利技术提供一...
【技术保护点】
1.一种基于支持向量机的日志分类管理方法，其特征在于，包括如下步骤：/nS1.获取原始系统日志，并对原始系统日志进行解析得到结构化日志数据；/nS2.对结构化日志数据进行特征提取，针对每条日志提取一组数字特征向量，所有数字特征向量形成特征数据集；/nS3.对提取的特征数据集进行样本标注，并按照设定比例分为训练集和测试集；/nS4.获取支持向量机模型，通过训练集对支持向量机模型进行训练，再通过测试集对支持向量机模型进行验证；/nS5.训练好并验证过的支持向量机模型对新产生日志进行分类，并对各类别日志设置对应管理策略。/n
【技术特征摘要】
1.一种基于支持向量机的日志分类管理方法，其特征在于，包括如下步骤：
S1.获取原始系统日志，并对原始系统日志进行解析得到结构化日志数据；
S2.对结构化日志数据进行特征提取，针对每条日志提取一组数字特征向量，所有数字特征向量形成特征数据集；
S3.对提取的特征数据集进行样本标注，并按照设定比例分为训练集和测试集；
S4.获取支持向量机模型，通过训练集对支持向量机模型进行训练，再通过测试集对支持向量机模型进行验证；
S5.训练好并验证过的支持向量机模型对新产生日志进行分类，并对各类别日志设置对应管理策略。
2.如权利要求1所述的基于支持向量机的日志分类管理方法，其特征在于，步骤S1具体步骤如下：
S11.获取原始系统日志；
S12.通过logkey方法对原始系统日志进行解析，得到常量结构数据和变量结构数据；所述常量结构数据包括系统程序源码消息，所述变量结构数据包括时间戳或参数值。
3.如权利要求1所述的基于支持向量机的日志分类管理方法，其特征在于，步骤S2具体步骤如下：
S21.对结构化日志数据进行特征提取，针对每条日志提取消息计数向量、流程状态向量、用户操作功能的频度向量以及访问热度向量；
S22.将提取的四种特征组合为一组数字特征向量，所有数字特征向量形成特征数据集。
4.如权利要求1所述的基于支持向量机的日志分类管理方法，其特征在于，步骤S3具体步骤如下：
S31.对提取的特征数据集进行关于对应日志状态的正负样本标注；
S32.将提取的特征数据集按照设定比例分为训练集和测试集。
5.如权利要求1所述的基于支持向量机的日志分类管理方法，其特征在于，步骤S4具体步骤如下：
S41.获取支持向量机模型；
S42.通过训练集对支持向量机模型进行交叉训练；
S43.选取径向基核函数，并根据训练结果对惩罚因子以及径向基核函数宽度进行调整；
S44.通过测试集对训练好的支持向量机模型进行验证和修正。
6.如权利要求1所述的基于支持向量机的日志分类管理方法，其特征在于，步骤S5具体步骤如下：
S51.通过训练好并验证过的支持向量机模型对新产生日志进行分类；
S52.对热日志设置延长日志压缩和保留时间的策略；
S53.对冷日志设置缩短压缩周期和保留时间的策略。
7.一种基于支持向量机的日志分类管理系统，其特征在于，包括
日志解析模块(1)，用于获取原始系统日志，并对原...
【专利技术属性】
技术研发人员：庆隆阳，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。