微服务云环境下的多类型指标相融合异常检测方法及装置制造方法及图纸

本发明专利技术公开了一种微服务云环境下的多类型指标相融合异常检测方法及装置，所述方法包括：获取微服务系统中的待检测服务调用链；根据每一调用关系对应的响应时间，得到所述待检测服务调用链的第一子向量表示；基于每一个服务所在的所有主机指标和服务的资源利用情况，得到所述待检测服务调用链的第二子向量表示；拼接所述第一子向量表示与所述第二子向量表示，得到所述待检测服务调用链的向量表示；基于所述向量表示，计算所述待检测服务调用链的异常检测结果。本发明专利技术丰富了微服务异常检测的全面性和鲁棒性。全面性和鲁棒性。全面性和鲁棒性。

【技术实现步骤摘要】
微服务云环境下的多类型指标相融合异常检测方法及装置


[0001]本专利技术涉及微服务领域，尤其涉及一种微服务云环境下的多类型指标相融合异常检测方法及装置。

技术介绍

[0002]在容器环境的微服务体系下，时间序列异常检测，旨在识别系统运行过程中出现的异常行为。运维平台对IT系统实时监测之前，会预先定义一些指标，在系统运行过程中平台会根据这些指标采集每个系统组件的检测数据，每个指标对应一条时间序列。当时序数据中最新出现的观测值明显偏离历史数据时，如发生突变、突降、抖动等现象，通常说明了对应组件发生了某种故障，例如路由器中断、服务调用延迟等，异常检测主要通过分析特定指标的时间序列曲线从而发现上述现象。通常，关于时间序列的异常标签、先验知识很难获取。不断更新的系统对算法的实时性要求高，时间序列的异常表现形式也多种多样。异常检测算法研究的根本目的是更多地、更准确地捕获时间序列中的异常，减少重复、错误的告警。
[0003]针对微服务的异常检测主要分为基于监督学习异常检测方法和基于无监督学习方法两种，基于监督学习的异常检测方法主要利用带标签的样本数据来训练模型并且进行类别预测。例如[Zhou X,Peng X,Xie T,et al.Latent error prediction and fault localization for microservice applications by learning from system trace logs[C]//Proceedings of the 2019 27th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering.2019:683
‑
694.]提出一种基于执行轨迹日志机器学习的微服务潜在错误与故障检测方法，其需要在执行轨迹日志中充分提取出微服务故障相关的一些特征，并且基于这些特征构建微服务故障预测模型，对微服务的潜在异常进行检测。但在微服务系统中，微服务数据量巨大，先验知识和大量的异常标签很难获得，基于监督学习的方法仅仅适用于特定场景，数据格式固定，难以迁移，不能保证异常检测的时效性。
[0004]基于无监督学习方法不需要大量的先验知识和标签数据，只是对系统工作中一段时间的数据流进行特征挖掘并训练出异常检测模型。[Liu P,Xu H,Ouyang Q,et al.Unsupervised detection of microservice trace anomalies through service
‑
level deep bayesian networks[C]//2020IEEE 31st International Symposium on Software Reliability Engineering(ISSRE).IEEE,2020:48
‑
58.]提出一个基于深度贝叶斯网络的微服务Trace数据异常检测模型。该模型结合了Trace的响应时间和调用路径两种特征构建向量STV，利用深度贝叶斯网络构建的VAE变分自编码器对微服务系统Trace数据进行检测，取得了很好的效果。该模型定期线下训练，能够保证线上检测的准确度。
[0005][Zhang C,Peng X,Sha C,et al.DeepTraLog:Trace
‑
Log Combined Microservice Anomaly Detection through Graph
‑
based Deep Learning[J].2022.]结合Log和Trace数据提出了一种基于GNN的深度学习方法DeepTraLog，该模型可以把Trace间
复杂的调用结构和服务的日志时间统一建模到图结构中，然后用Deep SVDD模型进行异常检测。其中每个Trace的span作为节点，每个span的对应的log通过TF
‑
IDF嵌入作为特征向量，以此构建TEG(trace event graph)，以Gated Graph Neural Network+Attention学习图特征，以Deep
‑
SVDD作为异常检测器。该模型首次提出将Trace和Log结合的方法，在异常检测上取得了很好的效果。
[0006]但在无监督学习异常检测模型中，基于VAE(Variational Autoencoder)对微服务Trace数据进行异常检测的模型，如[Liu P,Xu H,Ouyang Q,et al.Unsupervised detection of microservice trace anomalies through service
‑
level deep bayesian networks[C]//2020IEEE 31st International Symposium on Software Reliability Engineering(ISSRE).IEEE,2020:48
‑
58.]只考虑了Trace中调用链和服务响应时间的关系，但是在现实环境大规模微服务系统中，同一服务存在多个备份，并且分布于多个机器节点中，服务的状态不能单纯依靠响应时间来判断，服务的资源利用情况以及系统中服务所在机器的环境变化情况也应该作为微服务系统异常检测的关键指标。
[0007]现有的基于图的深度学习异常检测模型尝试着将Trace和微服务日志等信息相结合构建服务传播图，如[Zhang C,Peng X,Sha C,et al.DeepTraLog:Trace
‑
Log Combined Microservice Anomaly Detection through Graph
‑
based Deep Learning[J].2022.]把微服务Log信息嵌入到Trace中进行异常检测。这样的方法需要事先在异常检测前构建好服务传播图。但是微服务系统是复杂多变的，异常检测的效果极度依赖图的构建情况，在实时性和轻量性上有所欠缺。并且服务的Trace和Log存在紧密联系，两者相结合的异常检测方法依然没有涉及到实际的机器环境。

技术实现思路

[0008]本专利技术的目的在于提出一种微服务云环境下的多类型指标相融合异常检测方法及装置，该方法可以在基于微服务调用关系Trace数据的基础上，结合微服务所在环境的信息统一进行学习。并且不需要事先构建和维护服务调用关系图，也不需要先验知识和带标签的异常数据。
[0009]本专利技术的
技术实现思路
包括：
[0010]一种微服务云环境下的多类型指标相融合异常检测方法，所述方法包括：
[0011]获取微服务系统中的待检测服务调用链；
[0012]根据每一调用关系对应的响应时间，得到所述待检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微服务云环境下的多类型指标相融合异常检测方法，其特征在于，所述方法包括：获取微服务系统中的待检测服务调用链；根据每一调用关系对应的响应时间，得到所述待检测服务调用链的第一子向量表示；基于每一个服务所在的所有主机指标和服务的资源利用情况，得到所述待检测服务调用链的第二子向量表示；拼接所述第一子向量表示与所述第二子向量表示，得到所述待检测服务调用链的向量表示；基于所述向量表示，计算所述待检测服务调用链的异常检测结果。2.如权利要求1所述的方法，其特征在于，所述根据每一调用关系对应的响应时间，得到所述待检测服务调用链的第一子向量表示，包括：将所述待检测服务调用链的所有调用关系解开；获取每一调用关系对应的响应时间；基于所述响应时间，得到所述待检测服务调用链的第一子向量表示。3.如权利要求1所述的方法，其特征在于，所述基于每一个服务所在的所有主机指标和服务的资源利用情况，构建所述待检测服务调用链的第二子向量表示，包括：获取所述待检测服务调用链中所有的服务以及所述服务在所述微服务系统中备份的主机；统计各服务对应的主机数量，并收集所述主机的主机指标；以最大主机数量基准，并利用各主机指标生成所述服务的PCA序列；利用主成分分析法对所述PCA序列进行降维，得到所述服务的PCA摘要序列；基于每一服务在各主机上的资源利用率，生成所述服务的资源利用序列；其中，所述资源利用率包括：cpu利用率和memory利用率；综合各服务的资源利用序列和PCA摘要序列，得到第二子向量表示。4.如权利要求1所述的方法，其特征在于，所述主机指标包括：cpu的值、memory的值和network的值。5.如权利要求1所述的方法，其特征在于，所述基于所述向量表示，计算所述待检测服务调用链的异常检测结果，包括：利用样本数据集训练VAE模型；基于训练后的VAE模型，对所述向量表示进行重构；利用核密度估计方法使重构后的向量学习的正常服务调用链向量表示的分布；基于学习结果，得到所述待检测服务调用链的异常检测结果。6.如权利要求5所述的方法，其特征在于，所述利用样本数据集训练VAE模型，包括：获取每一样本数据的向量表示...

【专利技术属性】
技术研发人员：施园，李杨，杨兴华，杨慧然，张棪，王伟平，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：