云边端系统的异常检测模型训练、异常检测方法及系统技术方案

本发明专利技术提供可一种云边端系统的异常检测模型训练、异常检测方法及系统，模型训练方法包括：各边端对第一样本日志序列进行特征提取，获得第一向量表示序列，并将第一向量表示序列以及对应的异常标注信息发送至云端；云端基于各边端发送的第一向量表示序列以及对应的异常标注信息，对初始分类模型进行有监督训练，获得预训练分类模型并发送至各边端；各边端在预训练分类模型中增加适配层作为迁移模型，并对第二样本日志序列进行特征提取，获得第二向量表示序列；各边端基于第二向量表示序列以及对应的异常标注信息，对迁移模型进行有监督训练，获得各边端对应的异常检测模型。本发明专利技术实现了高效地针对海量的终端应用进行异常检测模型的训练和适配。常检测模型的训练和适配。常检测模型的训练和适配。

【技术实现步骤摘要】
云边端系统的异常检测模型训练、异常检测方法及系统


[0001]本专利技术属于自然语言处理与智能运维
，更具体地，涉及一种云边端系统的异常检测模型训练、异常检测方法及系统。

技术介绍

[0002]随着5G(The 5th Generation Mobile Communication Technology，第五代移动通信系统)与IoT(Internet of Things，物联网)连网装置的快速发展，传统云计算架构无法满足海量终端设备的计算需求，而云边端协同系统能够发挥云计算效率高，边缘计算低时延的特点，是未来数字化转型的重要架构。随着系统越来越庞大、终端设备越来越复杂，运维智能化的要求越来越高。
[0003]传统的异常检测方法在很大程度上依赖于系统规则和领域知识，大量耗费人力且通用性较差。利用机器学习算法自动地从海量运维数据中不断地学习、提炼并总结规则，将过去人工总结运维规则的过程变成自动学习的过程，即智能运维，是运维技术发展必然的趋势。然而，无监督学习准确度较差；有监督学习的方法训练模型时又需要大量的标注数据。实际情景中，获取标注的代价往往非常高，且传统的云计算平台无法高效地针对海量的终端应用进行模型的训练和适配。

技术实现思路

[0004]针对现有技术的缺陷，本专利技术的目的在于提供一种云边端系统的异常检测模型训练、异常检测方法及系统，旨在解决现有技术无法高效地针对海量的终端应用进行异常检测模型的训练的问题。
[0005]为实现上述目的，第一方面，本专利技术提供了一种云边端系统的异常检测模型训练方法，包括：
[0006]S101各边端对第一样本日志序列进行特征提取，获得第一向量表示序列，并将所述第一向量表示序列以及对应的异常标注信息发送至云端；
[0007]S102云端基于所述各边端发送的第一向量表示序列以及对应的异常标注信息，对初始分类模型进行有监督训练，获得预训练分类模型并发送至各边端；
[0008]S103各边端在所述预训练分类模型中增加适配层作为迁移模型，并对第二样本日志序列进行特征提取，获得第二向量表示序列；
[0009]S104各边端基于所述第二向量表示序列以及对应的异常标注信息，对迁移模型进行有监督训练，获得各边端对应的异常检测模型。
[0010]在一个可选的示例中，步骤S101之前还包括：
[0011]云端基于第三样本日志序列，对预训练模型进行自监督训练，获得特征提取模型并发送至各边端；
[0012]各边端对第一样本日志序列进行特征提取，获得第一向量表示序列，包括：
[0013]各边端基于所述特征提取模型，对第一样本日志序列进行特征提取，获得第一向
量表示序列。
[0014]在一个可选的示例中，各边端对第一样本日志序列进行特征提取，获得第一向量表示序列，包括：
[0015]各边端对所述第一样本日志序列中的各条日志进行分词，获得分词结果，并基于预设的词汇表将分词结果转化为子词序列；
[0016]各边端对所述子词序列进行编码，获得向量序列，并将向量序列中的各个向量取平均获得向量表示；
[0017]各边端将所述各条日志的向量表示组成第一向量表示序列。
[0018]在一个可选的示例中，所述适配层包括第一投影层，第二投影层以及所述第一投影层和所述第二投影层之间的激活层。
[0019]第二方面，本专利技术提供一种云边端系统的异常检测方法，所述方法应用于各边端，所述方法包括：
[0020]S601对终端上报的日志序列进行特征提取，获得向量表示序列；
[0021]S602将所述向量表示序列输入至异常检测模型，获得所述日志序列的异常检测结果并发送至云端；
[0022]其中，所述异常检测模型是基于如第一方面所述的云边端系统的异常检测模型训练方法训练得到的。
[0023]第三方面，本专利技术提供一种云边端系统的异常检测模型训练系统，所述系统包括各边端和云端；
[0024]所述各边端用于对第一样本日志序列进行特征提取，获得第一向量表示序列，并将所述第一向量表示序列以及对应的异常标注信息发送至云端；
[0025]所述云端用于基于所述各边端发送的第一向量表示序列以及对应的异常标注信息，对初始分类模型进行有监督训练，获得预训练分类模型并发送至各边端；
[0026]所述各边端还用于在所述预训练分类模型中增加适配层作为迁移模型，并对第二样本日志序列进行特征提取，获得第二向量表示序列；
[0027]所述各边端还用于基于所述第二向量表示序列以及对应的异常标注信息，对迁移模型进行有监督训练，获得各边端对应的异常检测模型。
[0028]在一个可选的示例中，所述云端还用于基于第三样本日志序列，对预训练模型进行自监督训练，获得特征提取模型并发送至各边端；
[0029]所述各边端具体用于基于所述特征提取模型，对第一样本日志序列进行特征提取，获得第一向量表示序列。
[0030]在一个可选的示例中，所述各边端具体用于对所述第一样本日志序列中的各条日志进行分词，获得分词结果，并基于预设的词汇表将分词结果转化为子词序列；对所述子词序列进行编码，获得向量序列，并将向量序列中的各个向量取平均获得向量表示；以及，将所述各条日志的向量表示组成第一向量表示序列。
[0031]在一个可选的示例中，所述各边端所增加的所述适配层包括第一投影层，第二投影层以及所述第一投影层和所述第二投影层之间的激活层。
[0032]第四方面，本专利技术提供一种云边端系统的异常检测系统，所述系统应用于各边端，所述系统包括：
[0033]特征提取模块，用于对终端上报的日志序列进行特征提取，获得向量表示序列；
[0034]异常检测模块，用于将所述向量表示序列输入至异常检测模型，获得所述日志序列的异常检测结果并发送至云端；
[0035]其中，所述异常检测模型是基于如第一方面所述的云边端系统的异常检测模型训练方法训练得到的。
[0036]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：
[0037]本专利技术提供一种云边端系统的异常检测模型训练、异常检测方法及系统，针对云边端系统日志序列，通过云边协同，采用预训练加迁移学习的训练方法最终得到适合每个边端的异常检测模型，可以实现高效地针对海量的终端应用进行模型的训练和适配，在仅有少量标注数据或标注数据不完善的情况下也能训练效果较好的异常检测模型，同时能够满足规模越发庞大的云边端协同系统异常检测的准确度和实时性的要求。
附图说明
[0038]图1是本专利技术实施例提供的异常检测模型训练方法的流程示意图；
[0039]图2是本专利技术实施例提供的云边端系统的架构图；
[0040]图3是本专利技术实施例提供的日志文本的向量表示的示意图；
[0041]图4是本专利技术实施例提供的初始分类模型的架构图；
[0042]图5是本专利技术实施例提供的迁移模型的架构图；...

【技术保护点】

【技术特征摘要】
1.一种云边端系统的异常检测模型训练方法，其特征在于，包括：S101各边端对第一样本日志序列进行特征提取，获得第一向量表示序列，并将所述第一向量表示序列以及对应的异常标注信息发送至云端；S102云端基于所述各边端发送的第一向量表示序列以及对应的异常标注信息，对初始分类模型进行有监督训练，获得预训练分类模型并发送至各边端；S103各边端在所述预训练分类模型中增加适配层作为迁移模型，并对第二样本日志序列进行特征提取，获得第二向量表示序列；S104各边端基于所述第二向量表示序列以及对应的异常标注信息，对迁移模型进行有监督训练，获得各边端对应的异常检测模型。2.根据权利要求1所述的异常检测模型训练方法，其特征在于，步骤S101之前还包括：云端基于第三样本日志序列，对预训练模型进行自监督训练，获得特征提取模型并发送至各边端；各边端对第一样本日志序列进行特征提取，获得第一向量表示序列，包括：各边端基于所述特征提取模型，对第一样本日志序列进行特征提取，获得第一向量表示序列。3.根据权利要求1或2所述的异常检测模型训练方法，其特征在于，各边端对第一样本日志序列进行特征提取，获得第一向量表示序列，包括：各边端对所述第一样本日志序列中的各条日志进行分词，获得分词结果，并基于预设的词汇表将分词结果转化为子词序列；各边端对所述子词序列进行编码，获得向量序列，并将向量序列中的各个向量取平均获得向量表示；各边端将所述各条日志的向量表示组成第一向量表示序列。4.根据权利要求3所述的异常检测模型训练方法，其特征在于，所述适配层包括第一投影层，第二投影层以及所述第一投影层和所述第二投影层之间的激活层。5.一种云边端系统的异常检测方法，其特征在于，所述方法应用于各边端，所述方法包括：S601对终端上报的日志序列进行特征提取，获得向量表示序列；S602将所述向量表示序列输入至异常检测模型，获得所述日志序列的异常检测结果并发送至云端；其中，所述异常检测模型是基于如权利要求1至4所述的云边端系统的异常检测模型训...

【专利技术属性】
技术研发人员：李笑，高毅，万宝琳，黄博文，
申请(专利权)人：中国船舶集团有限公司第七〇九研究所，
类型：发明
国别省市：