【技术实现步骤摘要】
本专利技术涉及数据安全，具体涉及日志异常检测方法、装置、设备及介质。
技术介绍
1、所属于电力企业的电力数据中台是一个庞大的信息系统，它将电力企业各个环节的数据集成、处理和管理起来，形成统一而完整的数据基础设施，并提供数据分析和应用服务，以支持企业的信息化建设和运营管理。日志记录是电力数据中台运维管理的重要工具，对于系统的故障排查与解决、性能评估与优化、以及安全审计与风险控制等具有重要作用。近年来，在信息技术飞速发展的同时，计算机系统故障频发、易受攻击等多种问题越来越凸显，包括日志在内的核心组件也面临着删除、篡改等安全隐患。基于此，如何高效且准确地识别电力数据中台日志异常成为了一类重要课题。
2、现有的日志异常检测技术主要分为基于规则和数据驱动的方法。传统的基于规则的方法依赖于先验知识和规则库来判断日志是否异常，需要经过长时间的专家经验积累和手动规则制定，难以适应复杂多变的环境且效率低下。相比之下，包括基于机器学习和深度学习在内的数据驱动的方法能够自动化地进行异常检测，减少了人工干预的需求，并且能够适应不同的环境与应用场景，因而得到了广泛关注和应用，但同时该类方法也面临着问题与挑战。现有的基于序列的异常检测方法存在着难以准确定位异常消息体、容易受到外界干扰而导致误报等问题，此外，现有方法主要依赖于日志类型的索引和语义信息，但忽略了消息体的拓扑结构对异常检测的重要性。针对电力数据中台日志异常检测，目前仍需要探索新的思路与方法以更好地解决已有问题。
技术实现思路
1、有鉴于
2、第一方面，本专利技术提供了一种日志异常检测方法，所述方法包括：获取待检测日志；将待检测日志加入到异构图中，所述异构图根据由历史日志构成的训练数据集中消息体、设备和日志类型之间的关系构建；采用参数更新训练后的图学习算法对加入所述异构图中的待检测日志进行图嵌入计算，得到计算结果，所述图学习算法根据对所述异构图中的消息体节点进行图嵌入计算得到的嵌入向量表示和训练数据集中的正负样本对构建的损失函数进行参数更新训练；根据计算结果和加入待检测日志后构建的正负样本对之间的相似度分数确定待检测日志是否异常。
3、本专利技术实施例提供的日志异常检测方法，通过采用异构图的技术，可以将设备名称、消息体、日志类型及其之间的关联进行建模，充分利用了消息体与其他类型节点之间的关联关系所包含的拓扑结构信息，有效提升了日志异常检测的准确性和可靠性。同时采用嵌入向量表示和训练数据集中的正负样本构建损失函数对图学习算法的参数进行更新，使得在无监督的环境下同样能够满足异常检测的需求。
4、在一种可选的实施方式中，所述嵌入向量表示采用如下方式确定采用参数更新训练后的图学习算法对加入所述异构图中的待检测日志进行图嵌入计算，得到计算结果，所述图学习算法根据对所述异构图中的消息体节点进行图嵌入计算得到的嵌入向量表示和训练数据集中的正负样本对构建的损失函数进行参数更新训练：对消息体、设备名称和日志类型进行特征提取，得到节点特征；以节点特征作为初始嵌入，将消息体节点的多层邻域聚合，得到消息体节点的嵌入向量表示。
5、本实施例中，通过学习消息体节点的嵌入向量表示，实现从节点的局部邻域中进行采样和聚合特征来生成嵌入，可以高效地生成新数据的节点嵌入，避免重新进行训练。
6、在一种可选的实施方式中，对消息体、设备名称和日志类型进行特征提取，得到节点特征，包括：提取日志类型的语义特征，得到日志类型特征；根据设备生成的消息体的数量确定设备特征；对消息体的时间戳进行分解、编码以及串联得到消息体特征。
7、本实施例中，针对消息体、设备名称和日志类型分别采用不同的方式实现了特征提取，获取了丰富的节点特征，提高了节点嵌入表示的质量。
8、在一种可选的实施方式中，参数更新训练采用如下方式确定根据计算结果和加入待检测日志后构建的正负样本对之间的相似度分数确定待检测日志是否异常：根据异构图中预设路径是否包含目标消息体构建目标消息体的正负样本对，目标消息体为训练数据集中任一消息体；计算目标消息体的嵌入向量表示和对应正负样本对嵌入向量表示的相似度分数；采用相似度分数和正负样本对对应的标签构建的损失函数对图学习算法的参数进行更新训练。
9、在一种可选的实施方式中，所述预设路径为异构图中长度为两跳且起点和终点不重合的路径，根据异构图中预设路径是否包含目标消息体构建目标消息体的正负样本对，包括：将以目标消息体为起点的预设路径中包含的节点以及目标消息体作为正样本对；将异构图中所有预设路径去除目标消息体之后的路径中，包含目标消息体一跳邻居的路径中的节点以及目标消息体作为负样本对。
10、本实施例中，通过构建目标消息体的正负样本对，并采用图对比学习的方式进行模型的训练，扩展了模型的应用范围，使得在无监督的环境下同样能够满足异常检测的需求。
11、在一种可选的实施方式中，计算结果包括待检测日志中待检测消息体的嵌入向量表示，根据计算结果和加入待检测日志后构建的正负样本对之间的相似度分数确定待检测日志是否异常，包括：根据待检测消息体的嵌入向量表示和对应正负样本对嵌入向量表示的相似度分数大小确定待检测日志是否异常。
12、在一种可选的实施方式中，根据待检测消息体的嵌入向量表示和对应正负样本对嵌入向量表示的相似度分数大小确定待检测日志是否异常，包括：采用多轮抽样的方式确定待检测消息体的多个正负样本对；计算待检测消息体的嵌入向量表示和正样本对嵌入向量表示的第一相似度分数以及待检测消息体的嵌入向量表示和负样本对嵌入向量表示的第二相似度分数；将第一相似度分数与第二相似度分数的差值除以多轮抽样的轮数得到异常分数；根据异常分数与预设阈值的关系确定待检测日志是否异常。
13、本实施例中，为了避免单轮采样导致的对异常的忽略，同时为了获取更为完整的邻居分布，使用多轮抽样的方式构造目标消息体的多个正负样本对；同时采用第一相似度分数与第二相似度分数以及多轮抽样的轮数确定异常分数，实现了对待检测日志异常的判断。
14、第二方面，本专利技术提供了一种日志异常检测装置，所述装置包括：日志获取模块，获取待检测日志；异构图加入模块，用于将待检测日志加入到异构图中，所述异构图根据由历史日志构成的训练数据集中消息体、设备和日志类型之间的关系构建；嵌入计算及训练模块，用于采用参数更新训练后的图学习算法对加入所述异构图中的待检测日志进行图嵌入计算，得到计算结果，所述图学习算法根据对所述异构图中的消息体节点进行图嵌入计算得到的嵌入向量表示和训练数据集中的正负样本对构建的损失函数进行参数更新训练；异常检测模块，用于根据计算结果和加入待检测日志后构建的正负样本对之间的相似度分数确定待检测日志是否异常
15、在一种可选的实施方式中，嵌入计算及训练模块包括：特征提取模块，用于对消本文档来自技高网...
【技术保护点】
1.一种日志异常检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述嵌入向量表示采用如下方式确定：
3.根据权利要求2所述的方法，其特征在于，对消息体、设备名称和日志类型进行特征提取，得到节点特征，包括：
4.根据权利要求1所述的方法，其特征在于，参数更新训练采用如下方式确定：
5.根据权利要求4所述的方法，其特征在于，所述预设路径为异构图中长度为两跳且起点和终点不重合的路径，根据异构图中预设路径是否包含目标消息体构建目标消息体的正负样本对，包括：
6.根据权利要求1所述的方法，其特征在于，计算结果包括待检测日志中待检测消息体的嵌入向量表示，根据计算结果和加入待检测日志后构建的正负样本对之间的相似度分数确定待检测日志是否异常，包括：
7.根据权利要求6所述的方法，其特征在于，根据待检测消息体的嵌入向量表示和对应正负样本对嵌入向量表示的相似度分数大小确定待检测日志是否异常，包括：
8.一种日志异常检测装置，其特征在于，所述装置包括：
9.根据权利要求8所述
10.根据权利要求9所述的装置，其特征在于，特征提取模块具体用于：提取日志类型的语义特征，得到日志类型特征；根据设备生成的消息体的数量确定设备特征；对消息体的时间戳进行分解、编码以及串联得到消息体特征。
11.根据权利要求8所述的装置，其特征在于，嵌入计算及训练模块包括：样本对构建模块，用于根据异构图中预设路径是否包含目标消息体构建目标消息体的正负样本对，目标消息体为训练数据集中任一消息体；相似度计算模块，用于计算目标消息体的嵌入向量表示和对应正负样本对嵌入向量表示的相似度分数；训练模块，用于采用相似度分数和正负样本对对应的标签构建的损失函数对图学习算法的参数进行更新训练。
12.根据权利要求11所述的装置，其特征在于，所述预设路径为异构图中长度为两跳且起点和终点不重合的路径，样本对构建模块具体用于：将以目标消息体为起点的预设路径中包含的节点以及目标消息体作为正样本对；将异构图中所有预设路径去除目标消息体之后的路径中，包含目标消息体一跳邻居的路径中的节点以及目标消息体作为负样本对。
13.根据权利要求8所述的装置，其特征在于，异常检测模块包括：检测模块，用于根据待检测消息体的嵌入向量表示和对应正负样本对嵌入向量表示的相似度分数大小确定待检测日志是否异常。
14.根据权利要求13所述的装置，其特征在于，检测模块具体用于：采用多轮抽样的方式确定待检测消息体的多个正负样本对；计算待检测消息体的嵌入向量表示和正样本对嵌入向量表示的第一相似度分数以及待检测消息体的嵌入向量表示和负样本对嵌入向量表示的第二相似度分数；将第一相似度分数与第二相似度分数的差值除以多轮抽样的轮数得到异常分数；根据异常分数与预设阈值的关系确定待检测日志是否异常。
15.一种计算机设备，其特征在于，包括：
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的日志异常检测方法。
...【技术特征摘要】
1.一种日志异常检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述嵌入向量表示采用如下方式确定：
3.根据权利要求2所述的方法，其特征在于，对消息体、设备名称和日志类型进行特征提取，得到节点特征，包括：
4.根据权利要求1所述的方法，其特征在于，参数更新训练采用如下方式确定：
5.根据权利要求4所述的方法，其特征在于，所述预设路径为异构图中长度为两跳且起点和终点不重合的路径，根据异构图中预设路径是否包含目标消息体构建目标消息体的正负样本对，包括：
6.根据权利要求1所述的方法，其特征在于，计算结果包括待检测日志中待检测消息体的嵌入向量表示，根据计算结果和加入待检测日志后构建的正负样本对之间的相似度分数确定待检测日志是否异常，包括：
7.根据权利要求6所述的方法，其特征在于，根据待检测消息体的嵌入向量表示和对应正负样本对嵌入向量表示的相似度分数大小确定待检测日志是否异常，包括：
8.一种日志异常检测装置，其特征在于，所述装置包括：
9.根据权利要求8所述的装置，其特征在于，嵌入计算及训练模块包括：特征提取模块，用于对消息体、设备名称和日志类型进行特征提取，得到节点特征；聚合嵌入模块，用于以节点特征作为初始嵌入，将消息体节点的多层邻域聚合，得到消息体节点的嵌入向量表示。
10.根据权利要求9所述的装置，其特征在于，特征提取模块具体用于：提取日志类型的语义特征，得到日志类型特征；根据设备生成的消息体的数量确定设备特征；对消息体的时间戳进行分解、编码以及串联得到消息体特征。
11.根据权利要求8所述的装置，其...
【专利技术属性】
技术研发人员：王齐，高鹏，冯谷，刘凯，顾颖程，许梦晗，
申请(专利权)人：国网智能电网研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。