本发明专利技术公开了一种基于半监督自编码器的动态异常检测方法及装置。所述方法包括以下步骤：通过监控组件获取监控数据；对监控数据进行预处理；通过线下累积数据训练半监督自编码器，获取半监督代价函数数值最小时的网络权重，以此对在线实时检测数据进行重建，获取重建偏差；通过线下累积数据及其重建偏差标签训练的宽度学习网络，以此获得在线实时检测数据的重建阈值；根据在线实时检测数据的重建偏差和重建阈值，甄别异常监控数据。本发明专利技术能够充分利用有限的历史异常数据，并自适应系统运行环境的变化，进一步提升异常识别的准确性。进一步提升异常识别的准确性。进一步提升异常识别的准确性。
【技术实现步骤摘要】
基于半监督自编码器的动态异常检测方法及装置
[0001]本专利技术属于云计算服务异常检测
，具体涉及一种基于半监督自编码器的动态异常检测方法及装置。
技术介绍
[0002]随着云计算的广泛应用，云服务及其用户的规模急剧增加。高可用性和可靠性的需求愈显重要。然而，意外故障经常对系统运行构成重大威胁。云计算智能化运维系统通常采用监控数据发现因故障所导致的异常，进而采取措施恢复正常运行。
[0003]由于深度学习技术的日益成熟，在实际生产环境中，智能化运维系统采用相关技术中基于自编码器的无监督异常检测技术告警系统异常运行状态。由于故障种类繁多、系统运行环境多变、监控数据种类不均衡等因素，造成自编码器特征表示难以拥有足够泛化性能，人工设定的异常得分阈值无法自适应等一系列问题，严重影响异常识别精度。
[0004]现有技术文献中，基于对比学习的自编码器异常检测方法存在以下不足：
[0005]①
采用自编码器算法无法有效利用线下累积数据集中的少量异常标签；
[0006]②
人工设定的异常得分阈值无法动态自适应在线检测环境的变化。
技术实现思路
[0007]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0008]本专利技术的目的在于提供一种基于半监督自编码器的动态异常检测方法及装置，融合监督学习和半监督学习的优势，能够充分利用历史运行数据，全面获取各种异常数据特征，摆脱阈值设定的人工依赖，自适应系统监控数据的变化，进一步提升异常识别准确率。
[0009]本专利技术的目的至少通过如下技术方案之一。
[0010]一种基于半监督自编码器的动态异常检测方法，包括以下步骤：
[0011]S1、通过监控组件获取监控数据；
[0012]S2、对监控数据进行预处理；
[0013]S3、通过线下累积数据训练半监督自编码器，获取半监督代价函数数值最小时的网络权重，以此对在线实时检测数据进行重建，获取重建偏差；
[0014]S4、通过线下累积数据及其重建偏差标签训练的宽度学习网络，以此获得在线实时检测数据的重建阈值；
[0015]S5、根据在线实时检测数据的重建偏差和重建阈值，甄别异常监控数据。
[0016]进一步地，步骤S1中，所述通过监控组件获取监据，包括：
[0017]在线实时检测数据和线下累积数据，其中线下累积数据是由持续获取的在线实时检测数据累积而成,线下累积数据不包括当前时刻的获取的在线实时检测数据。
[0018]进一步地，步骤S2中，所述对监控数据进行预处理，包括：
[0019]根据线下累积数据对在线实时检测数据进行标准化和缺省值填补；
[0020]根据上下文信息对线下累积数据进行标准化、缺省值填补及标签标注。
[0021]进一步地，标准化包括采用z
‑
score、最大
‑
最小值、对数函数进行转换；缺省值填补包括采用该时刻的前一时刻和后一时刻的均值、最大值和最小值间的均值或前一时刻的值进行填充；标签标注包括采用0和1，
‑
1和1，0和
‑
1对正常和异常样本进行标记。
[0022]进一步地，步骤S3中，根据半监督代价函数，通过线下累积数据训练半监督自编码器，获取半监督代价函数数值最小时的网络权重，将在线实时检测数据代入上述网络权重进行计算，得到在线实时检测数据的重建数据，并通过计算在线实时检测数据与其重建数据间的相似度，以此作为重建偏差。
[0023]进一步地，半监督自编码器的训练目标包括：
[0024]目标1、在网络权重下使得正常监控数据与其重建数据之间的平均偏差小于第一阈值；
[0025]目标2、在低维隐空间，同类数据的平均距离小于第二阈值，不同类数据的平均距离大于第三阈值；
[0026]若目标1和目标2不能同时满足，则迭代计算次数超过设定的第四阈值时，以该网络权重为目标网络权重。
[0027]进一步地，所述半监督代价函数为：
[0028][0029]其中，n为用于训练的线下积累数据总条数，为正常监控数据与其重建数据间的相似度，即重建偏差，包括但不仅限于通过以下计算方法得到：欧式距离、余弦距离、汉明距离；
[0030]x
i
和x
′
i
分别表示第i条正常监控数据与其重建数据，为第i条和第j条监控数据在低维隐空间的欧式距离，y
′
ij
为第i条和第j条监控数据的标签是否相同的指示函数；m为关于欧式距离的阈值。
[0031]进一步地，步骤S4中，通过线下累积数据及其重建误差标签训练的宽度学习网络，将在线实时检测数据代入宽度学习网络进行计算获得在线实时检测数据重建阈值，具体如下：
[0032]重建偏差标签，其中在于保证违反线下累积数据标注标签次数少于或等于第五阈值，通过对线下累积数据的重建偏差进行偏置操作获得重建偏差标签。
[0033]进一步地，所述重建偏差标签为：
[0034][0035]其中，为第i条监控数据x
i
的重建偏差，y
i
＝0和y
i
＝1分别表示第i条监控数据x
i
为正常和异常，y
i
为第i条监控数据x
i
的标签，θ
i
为第i条监控数据x
i
的重建偏差标签，α为第六阈值。
[0036]一种基于半监督自编码器的动态异常检测装置，包括以下模块：
[0037]监控数据获取模块，用于从监控组件获取监控数据，包括在线实时检测数据和线
下累积数据；
[0038]监控数据预处理模块，用于对监控数据获取模块获取的监控数据进行预处理；
[0039]半监督自编码器建模模块，用于通过线下累积数据训练半监督自编码器，获取半监督代价函数数值最小时的网络权重，以此对在线实时检测数据进行重建，得到在线实时检测数据的重建数据，获取重建偏差；
[0040]阈值动态生成模块，用于通过线下累积数据及其重建偏差标签训练的宽度学习网络，以此获得在线实时检测数据的重建阈值；
[0041]异常甄别模块，用于根据在线实时检测数据的重建偏差和重建阈值，甄别异常监控数据。
[0042]相比于现有技术，本专利技术的优点在于：
[0043]本专利技术采用半监督代价函数对少量异常数据进行建模，能够提升自编码器的泛化性能；
[0044]本专利技术采用对线下累积数据进行偏置的操作，以获得重建偏差标签，能够为后续阈值动态生成提供有效的监督信息；
[0045]本专利技术采用宽度学习网络动态生成阈值，能够有效自适应在线检测要求。
附图说明
[0046]图1为本专利技术实施例一所提供的一种基于半监督自编码器的动态异常检测方法的流程示意图；
[0047]图2为本专利技术实施例二所提供的一种基本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于半监督自编码器的动态异常检测方法，其特征在于，包括以下步骤：S1、通过监控组件获取监控数据；S2、对监控数据进行预处理；S3、通过线下累积数据训练半监督自编码器，获取半监督代价函数数值最小时的网络权重，以此对在线实时检测数据进行重建，获取重建偏差；S4、通过线下累积数据及其重建偏差标签训练的宽度学习网络，以此获得在线实时检测数据的重建阈值；S5、根据在线实时检测数据的重建偏差和重建阈值，甄别异常监控数据。2.根据权利要求1所述的一种基于半监督自编码器的动态异常检测方法，其特征在于，步骤S1中，所述通过监控组件获取监据，包括：在线实时检测数据和线下累积数据，其中线下累积数据是由持续获取的在线实时检测数据累积而成,线下累积数据不包括当前时刻的获取的在线实时检测数据。3.根据权利要求1所述的一种基于半监督自编码器的动态异常检测方法，其特征在于，步骤S2中，所述对监控数据进行预处理，包括：根据线下累积数据对在线实时检测数据进行标准化和缺省值填补；根据上下文信息对线下累积数据进行标准化、缺省值填补及标签标注。4.根据权利要求3所述的一种基于半监督自编码器的动态异常检测方法，其特征在于，标准化包括采用z
‑
score、最大
‑
最小值、对数函数进行转换；缺省值填补包括采用该时刻的前一时刻和后一时刻的均值、最大值和最小值间的均值或前一时刻的值进行填充；标签标注包括采用0和1，
‑
1和1，0和
‑
1对正常和异常样本进行标记。5.根据权利要求1所述的一种基于半监督自编码器的动态异常检测方法，其特征在于，步骤S3中，根据半监督代价函数，通过线下累积数据训练半监督自编码器，获取半监督代价函数数值最小时的网络权重，将在线实时检测数据代入上述网络权重进行计算，得到在线实时检测数据的重建数据，并通过计算在线实时检测数据与其重建数据间的相似度，以此作为重建偏差。6.根据权利要求5所述的一种基于半监督自编码器的动态异常检测方法，其特征在于，半监督自编码器的训练目标包括：目标1、在网络权重下使得正常监控数据与其重建数据之间的平均偏差小于第一阈值；目标2、在低维隐空间，同类数据的平均距离小于第二阈值，不同类数据的平均距离大于第三阈值；若目标1和目标2不能同时满足，则迭代计算次数超过设定的第四阈值时，以该网络权重为目标网络权重。7.根据权利要求5所述的一种基于...
【专利技术属性】
技术研发人员：刘发贵，钟国祥，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。