数据异常检测模型的训练方法、数据异常检测方法及设备技术

技术编号:43984682 阅读:26 留言:0更新日期:2025-01-10 20:08
本申请公开了一种数据异常检测模型的训练方法、数据异常检测方法及设备,涉及计算机技术领域。方法包括:获取训练样本集;根据所述训练样本集中训练样本的标签提取目标特征;基于所述训练样本集和所述目标特征对随机森林模型和LightGBM模型进行训练,得到数据异常检测模型。本申请可以实时监控系统的状态,并及时发现系统中的异常情况;可以通过对系统历史数据的分析,预测未来可能出现的故障情况,以便提前进行维护和优化;可以发现系统中的性能瓶颈,如响应时间、吞吐量等,以便进行系统优化;可以通过监控用户行为数据,发现用户可能遇到的问题,以便改善用户体验。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种数据异常检测模型的训练方法、数据异常检测方法及设备


技术介绍

1、随着数字智能时代的到来,越来越多的数据处理过程可以依靠深度学习算法实现,而无需人工进行参与。在应用算法进行数据处理的过程中,需要通过获取大量的训练数据用以完善深度学习算法的模型,如果训练数据的范围无法覆盖所有的模型可能的使用场景,或者,需要通过模型进行处理的对象包括多种不同形式,会导致模型获取到的输出结果出现异常。现有技术中对于模型异常输出结果的发现主要依靠人工进行干预,例如,通过用户反馈、人工分析反馈结果、并对人工选取的目标样本进行数据加工,生成新的训练数据,以完成对模型的迭代优化。

2、由于上述优化过程需要大量人工参与,因此,在整个异常数据处理阶段均可能出现错误,且发现数据异常需要依靠用户进行反馈,这就导致数据异常的处理并不及时,同时,人工进行异常检测的成本较高,如果检测方向偏离关键异常,可能会导致在数据加工过程中存在大量重复/相似样本标注问题,耗费大量的人工资源。因此,如何通过特定算法找出现有模型无法正确进行数据处理的样本、进而使用这些样本进本文档来自技高网...

【技术保护点】

1.一种数据异常检测模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,根据所述训练样本集中训练样本的标签提取目标特征,包括:

3.根据权利要求1-2中任一项所述的方法,其特征在于,根据所述训练样本集中训练样本的标签提取目标特征之前,所述方法还包括:

4.一种数据异常检测方法,其特征在于,所述方法包括:

5.根据权利要求4所述的方法,其特征在于,所述方法包括:

6.一种数据异常检测模型的训练装置,其特征在于,所述装置包括:

7.根据权利要求6所述的装置,其特征在于,所述特征提取模块具...

【技术特征摘要】

1.一种数据异常检测模型的训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,根据所述训练样本集中训练样本的标签提取目标特征,包括:

3.根据权利要求1-2中任一项所述的方法,其特征在于,根据所述训练样本集中训练样本的标签提取目标特征之前,所述方法还包括:

4.一种数据异常检测方法,其特征在于,所述方法包括:

5.根据权利要求4所述的方法,其特征在于...

【专利技术属性】
技术研发人员:孟德肖娜赵雨山来骥聂正璞杨睿李贤吕冰高崧李硕张实君曾静徐相森管嘉珩王海超
申请(专利权)人:国网冀北电力有限公司信息通信分公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1