本申请提供一种日志处理方法、装置、设备及计算机可读存储介质，所述方法包括：获取运行对象在运行过程中生成的日志文件，所述日志文件包括多条日志文本；根据各日志文本的特征对所述各日志文本进行向量化处理，得到所述各日志文本的向量表示；按照所述各日志文本的向量表示，对所述各日志文本进行分类，得到分类结果；基于所述分类结果对所述各日志文本进行模板化处理，得到并存储处理结果。通过结合日志文本的特征对日志文本进行分类，将特征相近的日志文本归为一类，进行模板化处理后存储至同一区域，如此不仅能够快速获取同类日志的全部信息，而且便于维护人员进行问题定位与异常检测，能够提高运行对象的稳定性。能够提高运行对象的稳定性。能够提高运行对象的稳定性。
【技术实现步骤摘要】
日志处理方法、装置、设备及计算机可读存储介质
[0001]本申请涉及计算机软件
，涉及但不限于一种日志处理方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]日志是软件系统中获取系统状态的重要来源，日志中包含的运行时状态报告以及错误信息被广泛地用于系统运维中，同时日志也是基于算法的互联网技术运维(AIOps，Algorithmic Internet Technology Operations)实践中经常要面对的数据类型。随着现阶段企业软件系统变得日益庞大和复杂，对于系统产生的海量异构日志，如何有效的处理，以使用户能够快速地掌握日志全貌，同时能够方便后续的问题定位与异常检测，成为亟需解决的问题之一。
技术实现思路
[0003]有鉴于此，本申请实施例提供一种日志处理方法、装置、设备及计算机可读存储介质。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种日志处理方法，所述方法包括：
[0006]获取运行对象在运行过程中生成的日志文件，所述日志文件包括多条日志文本；
[0007]根据各日志文本的特征对所述各日志文本进行向量化处理，得到所述各日志文本的向量表示；
[0008]按照所述各日志文本的向量表示，对所述各日志文本进行分类，得到分类结果；
[0009]基于所述分类结果对所述各日志文本进行模板化处理，得到并存储处理结果。
[0010]在一些实施例中，所述根据各日志文本的特征对所述各日志文本进行向量化处理之前，所述方法包括：
[0011]获取所述日志文件包括的日志文本的条数；
[0012]基于所述条数和预设阈值，确定向量化处理方式，所述向量化处理方式包括词转向量处理方式和对比句向量处理方式；
[0013]相应的，所述根据各日志文本的特征对所述各日志文本进行向量化处理，得到所述各日志文本的向量表示，包括：
[0014]按照所述向量化处理方式，根据各日志文本的特征对所述各日志文本进行向量化处理，得到所述各日志文本的向量表示。
[0015]在一些实施例中，当确定所述向量化处理方式为词转向量处理方式时，按照所述向量化处理方式，根据一条日志文本的特征对所述一条日志文本进行向量化处理，得到所述一条日志文本的向量表示，包括：
[0016]对一条日志文本进行分词处理，确定出所述一条日志文本中包括的多个词汇；
[0017]基于各词汇的语义信息和位置信息，对所述各词汇进行词转向量处理，得到各词
汇对应的词向量，所述词汇的语义信息根据自然语言处理得到，所述词汇的位置信息根据所述词汇在所述一条日志文本中所处的位置得到；
[0018]根据所述各词汇对应的词向量，确定所述一条日志文本的向量表示。
[0019]在一些实施例中，当确定所述向量化处理方式为对比句向量处理方式时，按照所述向量化处理方式，根据一条日志文本的特征对所述一条日志文本进行向量化处理，得到所述一条日志文本的向量表示，包括：
[0020]根据日志文本的特征，利用所述一条日志文本和所述日志文件中除所述一条日志文本之外的其他日志文本，构造正样本和负样本；
[0021]利用所述正样本和所述负样本进行对比学习训练，得到训练好的模型；
[0022]利用所述训练好的模型，对所述一条日志文本进行处理，得到所述一条日志文本的向量表示。
[0023]在一些实施例中，所述按照所述各日志文本的向量表示，对所述各日志文本进行分类，得到分类结果，包括：
[0024]根据所述各日志文本的向量表示之间的距离，对所述各日志文本的向量表示进行一次分类，得到粗分类结果；
[0025]确定所述粗分类结果中各粗分类的中心点；
[0026]将所述各粗分类的中心点作为聚类中心点，对所述各日志文本的向量表示进行聚类，得到聚类结果；
[0027]基于所述聚类结果，确定所述各日志文本的分类结果。
[0028]在一些实施例中，所述根据所述各日志文本的向量表示之间的距离，对所述各日志文本的向量表示进行一次分类，得到粗分类结果，包括：
[0029]从所述各日志文本的向量表示中选取一个日志文本的向量表示添加至第一粗聚类，并根据所述一个日志文本的向量表示确定所述第一粗聚类的第一中心点；
[0030]确定所述各日志文本的向量表示中除所述一个日志文本的向量表示之外的其他日志文本的向量表示与所述第一中心点之间的距离；
[0031]将所述距离小于第一先验值的日志文本的向量表示，添加至所述第一粗聚类中；
[0032]将所述距离小于第二先验值的日志文本的向量表示，从所述其他日志文本的向量表示中删除，得到剩余日志文本的向量表示；
[0033]将所述距离大于或等于第一先验值的日志文本的向量表示，添加至第二粗聚类，并从所述剩余日志文本的向量表示中删除所述距离大于或等于第一先验值的日志文本的向量表示，得到更新后的剩余日志文本的向量表示；
[0034]继续对所述更新后的剩余日志文本的向量表示进行分类，直至分类完成，将得到的多个粗聚类确定为粗分类结果。
[0035]在一些实施例中，所述基于所述分类结果对所述各日志文本进行模板化处理，得到并存储处理结果，包括：
[0036]根据所述分类结果，确定各分类对应的处理模板，所述处理模板用于对日志文本进行标准化处理；
[0037]利用所述各分类对应的处理模板，对所述各分类结果中包括的各日志文本进行处理，得到处理结果；
[0038]按照所述分类结果，对所述处理结果进行存储。
[0039]本申请实施例提供一种日志处理装置，所述装置包括：
[0040]第一获取模块，用于获取运行对象在运行过程中生成的日志文件，所述日志文件包括多条日志文本；
[0041]向量化处理模块，用于根据各日志文本的特征对所述各日志文本进行向量化处理，得到所述各日志文本的向量表示；
[0042]分类模块，用于按照所述各日志文本的向量表示，对所述各日志文本进行分类，得到分类结果；
[0043]模板化处理模块，用于基于所述分类结果对所述各日志文本进行模板化处理，得到处理结果；
[0044]存储模块，用于按照所述分类结果，对所述处理结果进行存储。
[0045]本申请实施例提供一种电子设备，包括：
[0046]处理器；以及
[0047]存储器，用于存储可在所述处理器上运行的计算机程序；
[0048]其中，所述计算机程序被处理器执行时实现上述日志处理方法的步骤。
[0049]本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令配置为执行上述日志处理方法的步骤。
[0050]本申请实施例提供一种日志处理方法、装置、设备及计算机可读存储介质，其中，所述方法包括：获取运行对象在运行过程中生成的日志文件，所述日志文件包括多条日志文本；根据各日志本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种日志处理方法，其特征在于，所述方法包括：获取运行对象在运行过程中生成的日志文件，所述日志文件包括多条日志文本；根据各日志文本的特征对所述各日志文本进行向量化处理，得到所述各日志文本的向量表示；按照所述各日志文本的向量表示，对所述各日志文本进行分类，得到分类结果；基于所述分类结果对所述各日志文本进行模板化处理，得到并存储处理结果。2.根据权利要求1所述的方法，其特征在于，所述根据各日志文本的特征对所述各日志文本进行向量化处理之前，所述方法包括：获取所述日志文件包括的日志文本的条数；基于所述条数和预设阈值，确定向量化处理方式，所述向量化处理方式包括词转向量处理方式和对比句向量处理方式；相应的，所述根据各日志文本的特征对所述各日志文本进行向量化处理，得到所述各日志文本的向量表示，包括：按照所述向量化处理方式，根据各日志文本的特征对所述各日志文本进行向量化处理，得到所述各日志文本的向量表示。3.根据权利要求2所述的方法，其特征在于，当确定所述向量化处理方式为词转向量处理方式时，按照所述向量化处理方式，根据一条日志文本的特征对所述一条日志文本进行向量化处理，得到所述一条日志文本的向量表示，包括：对一条日志文本进行分词处理，确定出所述一条日志文本中包括的多个词汇；基于各词汇的语义信息和位置信息，对所述各词汇进行词转向量处理，得到各词汇对应的词向量，所述词汇的语义信息根据自然语言处理得到，所述词汇的位置信息根据所述词汇在所述一条日志文本中所处的位置得到；根据所述各词汇对应的词向量，确定所述一条日志文本的向量表示。4.根据权利要求2所述的方法，其特征在于，当确定所述向量化处理方式为对比句向量处理方式时，按照所述向量化处理方式，根据一条日志文本的特征对所述一条日志文本进行向量化处理，得到所述一条日志文本的向量表示，包括：根据日志文本的特征，利用所述一条日志文本和所述日志文件中除所述一条日志文本之外的其他日志文本，构造正样本和负样本；利用所述正样本和所述负样本进行对比学习训练，得到训练好的模型；利用所述训练好的模型，对所述一条日志文本进行处理，得到所述一条日志文本的向量表示。5.根据权利要求1所述的方法，其特征在于，所述按照所述各日志文本的向量表示，对所述各日志文本进行分类，得到分类结果，包括：根据所述各日志文本的向量表示之间的距离，对所述各日志文本的向量表示进行一次分类，得到粗分类结果；确定所述粗分类结果中各粗分类的中心点；将所述各粗分类的中心点作为聚类中心点，对所述各日志...
【专利技术属性】
技术研发人员：张静，张宪波，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。