【技术实现步骤摘要】
一种日志分类方法及系统
本专利技术涉及数据挖掘
，特别是涉及一种日志分类方法及系统。
技术介绍
为了保证系统的信息安全，日志几乎内建于所有的系统中，它被用于记录系统运行时产生的信息，如日常操作、网络访问、系统警告、系统错误等事件的相关属性与信息，这些信息对了解和分析系统的运行情况起着非常重要的作用。随着计算机系统规模与复杂性的增长，日志数量随之增加，日常运维人员能够根据丰富的日志信息监视系统的运行状态，并以此进一步跟踪寻找系统异常问题的源头。但是由于计算机系统庞大，并且大多数系统日志是非结构化的原始文本，当计算机系统出现问题时，运维人员需要对这些海量日志数据进行解析分类，需要耗费大量的人力和时间，分类效率低。
技术实现思路
本专利技术的目的是提供一种日志分类方法及系统，能够准确快速地对日志进行分类。为实现上述目的，本专利技术提供了如下方案：一种日志分类方法，所述方法包括：获取待分类日志集，所述待分类日志集包括多个日志；提取各所述日志的文本特征，形成日志集特征库；
【技术保护点】
1.一种日志分类方法，其特征在于，所述方法包括：/n获取待分类日志集，所述待分类日志集包括多个日志；/n提取各所述日志的文本特征，形成日志集特征库；/n根据所述日志集特征库，采用模糊C均值聚类方法对所述日志集中的各所述日志进行聚类划分，其中，所述模糊C均值聚类方法的初始聚类中心是根据各所述日志之间的相似度确定的，所述初始聚类中心的数量与分类完成后日志类别数的差值大于类别阈值。/n
【技术特征摘要】
1.一种日志分类方法，其特征在于，所述方法包括：
获取待分类日志集，所述待分类日志集包括多个日志；
提取各所述日志的文本特征，形成日志集特征库；
根据所述日志集特征库，采用模糊C均值聚类方法对所述日志集中的各所述日志进行聚类划分，其中，所述模糊C均值聚类方法的初始聚类中心是根据各所述日志之间的相似度确定的，所述初始聚类中心的数量与分类完成后日志类别数的差值大于类别阈值。
2.根据权利要求1所述的方法，其特征在于，所述采用模糊C均值聚类方法对所述日志集中的各所述日志进行聚类划分，具体包括：
获取初始聚类数量q和误差阈值；
初始化q个聚类中心；
根据所述聚类中心和所述聚类数目，通过迭代计算下一次迭代的聚类中心，直至相邻两次迭代的目标函数值之间的变化量小于所述误差阈值，获得最终的q个聚类中心；
根据q个所述聚类中心将所述日志集中的各个日志划分为q类，获得q个日志簇；
根据各所述日志簇的类间相似度和聚类中心相似度对q个所述日志簇进行合并。
3.根据权利要求2所述的方法，其特征在于，所述初始化q个聚类中心包括：
获取聚类中心的期望数量和类间的最小相似度阈值；
计算各所述日志间的相似度；
筛选出相似度最大的两个日志作为目标日志；
将两个所述目标日志的中点作为一个聚类中心；
筛选出与所述目标日志的相似度均小于所述相似度阈值的所有日志，形成子日志集；
将所述子日志集中相似度最大的两个日志作为新的目标日志；
将两个所述目标日志的中点作为一个聚类中心；
判断当前的聚类中心数量是否等于聚类中心的期望数量q；
若否，返回所述筛选出与所述目标日志的相似度均小于所述相似度阈值的所有日志；
若是，将q个所述聚类中心作为初始聚类中心。
4.根据权利要求2所述的方法，其特征在于，所述根据各所述日志簇的类间相似度和聚类中心相似度对q个所述日志簇进行合并，具体包括：
获取各所述日志簇、类中心阈值和类间阈值；
计算各所述日志簇的聚类中心的相似度和各所述日志簇的相似度；
将聚类中心的相似度小于所述类中心阈值，且日志簇的相似度小于所述类间阈值的日志簇合并，形成新的日志簇集，返回所述计算各所述日志簇的聚类中心的相似度和各所述日志簇的相似度。
5.一种日志分类系统，其特征在于，所述系统包括：
日志集获取模块，用于获取待分类日志集，所述待分类日志集包括多个日志；
...
【专利技术属性】
技术研发人员：翟建军，陈青民，邢亚君，孟铭，郑敏波，彭海龙，
申请(专利权)人：北京安信天行科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。