【技术实现步骤摘要】
本专利技术属于多模态运维数据异常检测算法，具体涉及到面向微服务架构的日志和调用链数据融合的异常检测算法。
技术介绍
1、随着数字化时代的到来，软件应用的复杂性和规模不断增加，传统的单体式应用开发模式已经不能满足日益增长的业务需求。为了更好地应对这些挑战，现代软件开发逐渐转向了微服务架构。微服务架构是一种将大型应用拆分成数个微小服务协作完成单体应用提供的等效业务服务的开发框架，它将复杂的应用拆分成一系列小型、自治的服务，这样的模块化设计使得团队可以更灵活地开发和维护应用程序，并且能够更好地适应不断变化的需求和增长的流量，随着软件接入用户数量与系统功能不断增加，微服务架构的运维也带来很大困难，比如微服务之间复杂的调用关系以及海量监控数据分析压力。
2、目前的异常检测方法主要集中在单一数据源上，比如日志数据、调用链数据等，如果仅仅依靠日志进行异常检测，将无法获得各个微服务之间的实际调用关系，从而难以发现不同微服务之间不正确的调用异常，因此，面向微服务架构，研究一套准确且鲁棒的日志和调用链数据融合的异常检测算法是有必要的。
技术实现思路
1、本专利技术所要解决的技术问题在于克服上述现有技术的缺点，提供面向微服务架构的日志和调用链数据融合的异常检测算法。
2、解决上述技术问题所采用的技术方案是：提供面向微服务架构的日志和调用链数据融合的异常检测算法，包括以下具体步骤：
3、s1、数据预处理阶段，将日志和调用链解析提取事件模板，使用分词器从语义上对单词进行细
4、通过上述技术方案，日志、调用链解析提取事件模板，利用日志解析算法提取出日志事件模板，根据调用链的span类型提取调用链事件模板，生成日志、调用链模板向量，在使用正则表达式过滤特殊词汇后，为进一步提高模板的表征能力，根据语义和词根对日志、调用链模板进行分词，使用语言模型从文本信息转化为数字向量，然后统计每个单词出现的tf-idf，根据tf-idf聚合每个模板中的词向量得到句向量，由于原始句向量表示维度太大，使用pca降维减轻计算负担，日志、调用链融合图构建，将日志、调用链事件根据traceid进行分组，分组完成后，每个事件作为图的一个节点，对于图中所有存在调用关系的调用链模板节点，添加由调用方模板节点指向被调用方模板节点的一条边，此步骤通过细粒度的预处理，得到更具有表征能力的日志、调用链融合图。
5、s2、概率标签模型与检测模型训练阶段，结合pu学习和deep svdd的思想，使用可靠正样本标签数据训练紧凑超球面，对整体样本的标签估计，为训练监督模型提供标签支持，增强模型鲁棒性，同时，基于日志、调用链图向量到超球面中心的距离设计了可灵活调整的概率标签计算方法实现标签平滑，提高模型对未知数据的判别能力，完成了概率估计模型的拟合得到所有训练样本的概率标签，基于此训练基于graphsage的日志调用链融合图二分类检测模型；
6、通过上述技术方案，标签估计阶段目的是通过pu学习基于一部分可靠标签样本估计整体标签分布，根据已知的可靠正常样本经过ggnn主干网络与deep svdd，可以训练出一个特征空间中正常日志、调用链融合图的紧凑的超球面表示通过概率标签计算公式，可以在特征空间中将日志、调用链融合图坐标到超球面中心的距离转化为概率标签，同时模型训练通过无标签训练数据集在经过概率估计后将得到所有数据的概率标签，使其与初始训练数据一起合并为一个新的数据集，这个数据集将被用于训练异常检测二分类器，此步骤是通过pu学习估计整体标签分布，并且融合了标签平滑的思想，将一般的one-hot标签编码表示为概率形式，两部分工作联合训练得到一个鲁棒的二分类模型。
7、s3、异常检测阶段，完成训练后，将日志、调用链融合图输入到算法中即可在graphsage末端得到异常概率。
8、进一步的，所述s1中的融合图所指的调用链中共有6个span，每个span的内部均有解析出的日志事件节点与调用链事件，分别对应异步调用和同步请求/响应。
9、进一步的，所述s1中对于提取的日志、事件调用链模板从语义和词根对复合词细粒度分词，并使用pca降低句向量维度得到日志、调用链事件嵌入向量；图构建时把调用链的root span当成日志事件处理。
10、进一步的，所述s2中概率标签计算方法的标签平滑公式为：
11、
12、通过上述技术方案，在标准的deep svdd中，只要此坐标位于超球中，就判断为正例，否则为负例，相当于概率只能为0或1。但有关文献显示，标签平滑能够帮助模型获得更好的泛化能力，即对于新来的日志、调用链具有更好的表现。
13、进一步的，所述标签平滑公式的对于位于超球边界的坐标的概率进行调整，从而对于deep svdd分类有误的结果，模型也能根据其修正后概率值进行更好调整。
14、进一步的，所述s2中基于日志、调用链图向量到超球面中心的距离计算日志、调用链图向量的概率标签，并可以根据设置不同参数调整平滑程度。
15、进一步的，所述s3中无标签训练数据集在经过预测概率作为标签后，将与初始训练数据一起合并为一个新的数据集，这个数据集将被用于训练故障二分类器，所述分类器的主体结构为3层graphsage网络，graphsage采用了归纳式学习的思想，通过学习一个聚合函数，用于对邻居结点的特征向量进行聚合，从而生成目标结点的特征向量，然后经过一层全连接和softmax层输出异常的概率。
16、进一步的，所述s3中概率估计模型和分类模型训练完成后，对日志、调用链融合图直接输入分类模型即可得到该样本的异常概率。
17、本专利技术的有益效果如下：(1)本专利技术提出一种面向微服务架构的日志和调用链数据融合的异常检测算法，支持在已知部分可靠标签的情况下推断整体样本标签分布，准确地检测出微服务应用的异常，具有很大的应用前景；(2)数据预处理阶段，本专利技术使用细粒度分词获得模版事件向量并借助调用图结构融合日志、调用链事件，获得比单一模态更强的系统状态表征向量，通过消融实验比较，日志、调用链结合的异常检测算法与单模态算法的f1-score最高提升48.72％；(3)本专利技术提出一套基于pu学习的模型训练方法，可以根据部分已知的可靠样本标签估计整体标签分布，并且设计了一个标签平滑公式提升模型推理能力，增强了模型的鲁棒性。与现有的日志、调用链融合异常检测算法相比，本专利在precision、recall和f1-score均达到了最高。
本文档来自技高网...【技术保护点】
1.面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，包括以下具体步骤：
2.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述S1中的融合图所指的调用链中共有6个Span，每个Span的内部均有解析出的日志事件节点与调用链事件，分别对应异步调用和同步请求/响应。
3.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述S1中对于提取的日志、事件调用链模板从语义和词根对复合词细粒度分词，并使用PCA降低句向量维度得到日志、调用链事件嵌入向量；图构建时把调用链的RootSpan当成日志事件处理。
4.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述S2中概率标签计算方法的标签平滑公式为：
5.根据权利要求4所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述标签平滑公式根据日志和调用链的融合图表示在特征空间中的坐标到超球面中心的距离对融合图的异常概率进行调整，从而对于Deep SVDD分
6.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述S2中基于日志、调用链图向量到超球面中心的距离计算日志、调用链图向量的概率标签，并可以根据设置不同参数调整平滑程度。
7.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述S3中无标签训练数据集在经过预测概率作为标签后，将与初始训练数据一起合并为一个新的数据集，这个数据集将被用于训练故障二分类器，所述分类器的主体结构为3层GraphSAGE网络，GraphSAGE采用了归纳式学习的思想，通过学习一个聚合函数，用于对邻居结点的特征向量进行聚合，从而生成目标结点的特征向量，然后经过一层全连接和softmax层输出异常的概率。
8.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于：所述S3中概率估计模型和分类模型训练完成后，对日志、调用链融合图直接输入分类模型即可得到该样本的异常概率。
...【技术特征摘要】
1.面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，包括以下具体步骤：
2.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述s1中的融合图所指的调用链中共有6个span，每个span的内部均有解析出的日志事件节点与调用链事件，分别对应异步调用和同步请求/响应。
3.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述s1中对于提取的日志、事件调用链模板从语义和词根对复合词细粒度分词，并使用pca降低句向量维度得到日志、调用链事件嵌入向量；图构建时把调用链的rootspan当成日志事件处理。
4.根据权利要求1所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述s2中概率标签计算方法的标签平滑公式为：
5.根据权利要求4所述的面向微服务架构的日志和调用链数据融合的异常检测算法，其特征在于，所述标签平滑公式根据日志和调用链的融合图表示在特征空间中的坐标到超球面中心的距离对融合图的异常概率进行调整，从而...
【专利技术属性】
技术研发人员：田富龙，何诚，杜庆峰，石晓楠，
申请(专利权)人：上海鼎茂信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。