本申请涉及一种可用于人工智能技术领域的异常检测模型构建方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取异常检测需求字段、对应的类别标签、及初始XGboost异常检测模型；对异常检测需求字段进行矩阵转换；获取训练集、及测试集；根据训练集、及训练集对应的类别标签，对初始XGboost异常检测模型进行训练，并获取训练完成的XGboost异常检测模型的目标优化函数；根据测试集、及测试集对应的类别标签，更新目标优化函数，得到目标XGboost异常检测模型。采用本方法能够支持准确异常检测。此外，还提供了一种准确的异常检测方法、装置、计算机设备、存储介质和计算机程序产品。
【技术实现步骤摘要】
本申请涉及人工智能，特别是涉及一种异常检测模型构建方法、装置、计算机设备、存储介质和计算机程序产品，此外，还提供了一种异常检测方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着科学技术的快速发展，进行异常检测已经成为了一个倍受关注的话题。如，网站、应用app等所使用的后台系统承载的数据流越来越大，生成的日志也越来越多。而一旦后台系统出现硬件故障、应用程序故障和外部入侵时，就会出现异常日志，如若不能及时检测异常日志，则会为后续根据后台系统的数据进行业务处理时，造成一定的损失。
2、目前，以日志为例，对数据是否存在异常进行检测的方法是通过将每个日志与正常的日志进行对比，即确定每个日志中对应数据的阈值范围，从而将各个阈值范围与获取的日志中的各个实际数据进行对比，从而判断该日志是否满足阈值范围；若不满足，则认为该日志异常。然而，这种方法无法进行准确的异常检测。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种支持准确异常检测的异常检测模型构建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品；此外，还提供了一种准确的异常检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种异常检测模型构建方法。所述方法包括：
3、获取异常检测需求字段、异常检测需求字段对应的类别标签、及初始xgboost(extreme gradient boosting，极端梯度提升)异常检测模型；
4、对所述异常检测需求字段进行矩阵转换，得到矩阵转换后的数据；
5、对所述矩阵转换后的数据进行比例划分，获取训练集、及测试集，并根据所述异常检测需求字段数据对应的类别标签，获取训练集对应的类别标签、及测试集对应的类别标签；
6、根据所述训练集、及所述训练集对应的类别标签，对所述初始xgboost异常检测模型进行训练，得到训练完成的xgboost异常检测模型，并获取所述训练完成的xgboost异常检测模型的目标优化函数；
7、根据所述测试集、及所述测试集对应的类别标签，更新所述目标优化函数，并根据更新后的目标优化函数，得到目标xgboost异常检测模型。
8、在其中一个实施例中，所述对所述异常检测需求字段进行矩阵转换，得到矩阵转换后的数据包括：
9、采用tfidf(term frequency–inverse document frequency，词频-逆文档频率)法提取所述异常检测需求字段中的关键词信息；
10、对所述关键词信息进行矩阵转换，得到矩阵转换后的数据。
11、在其中一个实施例中，在所述提取所述异常检测需求字段中的关键词信息之前，还包括：
12、对所述异常检测需求字段进行映射编码，并将编码后的需求字段进行二维数组转换，得到二维数组形式的需求字段；
13、对所述二维数组形式的需求字段进行向量化处理，得到向量形式的异常检测需求字段。
14、在其中一个实施例中，所述根据所述训练集、及所述训练集对应的类别标签，对所述初始xgboost异常检测模型进行训练，得到训练完成的xgboost异常检测模型包括：
15、获取所述训练集的不同特征；
16、计算所述训练集的不同特征的增益信息；
17、根据所述不同特征的增益信息的大小，对所述训练集进行特征选择，得到特征选择后的数据；
18、根据所述特征选择后的数据、及所述训练集对应的类别标签，对所述初始xgboost异常检测模型进行训练，得到训练完成的xgboost异常检测模型。
19、在其中一个实施例中，所述根据所述测试集、及所述测试集对应的类别标签，更新所述目标优化函数包括：
20、采用所述训练完成的xgboost异常检测模型对所述测试集进行拟合，得到测试集对应的预测类别标签；
21、对比所述测试集对应的预测类别标签、及所述测试集对应的类别标签，得到对比结果；
22、根据所述对比结果，更新所述目标优化函数。
23、第二方面，本申请还提供了一种异常检测模型构建装置。所述装置包括：
24、数据获取模块，用于获取异常检测需求字段、异常检测需求字段对应的类别标签、及初始xgboost异常检测模型；
25、数据预处理模块，用于对所述异常检测需求字段进行矩阵转换，得到矩阵转换后的数据；
26、数据划分模块，用于对所述矩阵转换后的数据进行比例划分，获取训练集、及测试集，并根据所述异常检测需求字段数据对应的类别标签，获取训练集对应的类别标签、及测试集对应的类别标签；
27、模型训练模块，用于根据所述训练集、及所述训练集对应的类别标签，对所述初始xgboost异常检测模型进行训练，得到训练完成的xgboost异常检测模型，并获取所述训练完成的xgboost异常检测模型的目标优化函数；
28、模型优化模块，用于根据所述测试集、及所述测试集对应的类别标签，更新所述目标优化函数，并根据更新后的目标优化函数，得到目标xgboost异常检测模型。
29、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
30、获取异常检测需求字段、异常检测需求字段对应的类别标签、及初始xgboost异常检测模型；
31、对所述异常检测需求字段进行矩阵转换，得到矩阵转换后的数据；
32、对所述矩阵转换后的数据进行比例划分，获取训练集、及测试集，并根据所述异常检测需求字段数据对应的类别标签，获取训练集对应的类别标签、及测试集对应的类别标签；
33、根据所述训练集、及所述训练集对应的类别标签，对所述初始xgboost异常检测模型进行训练，得到训练完成的xgboost异常检测模型，并获取所述训练完成的xgboost异常检测模型的目标优化函数；
34、根据所述测试集、及所述测试集对应的类别标签，更新所述目标优化函数，并根据更新后的目标优化函数，得到目标xgboost异常检测模型。
35、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
36、获取异常检测需求字段、异常检测需求字段对应的类别标签、及初始xgboost异常检测模型；
37、对所述异常检测需求字段进行矩阵转换，得到矩阵转换后的数据；
38、对所述矩阵转换后的数据进行比例划分，获取训练集、及测试集，并根据所述异常检测需求字段数据对应的类别标签，获取训练集对应的类别标签、及测试集对应的类别标签；
39、根据所述训练集、及所述训练集对应的类别标签，对所述初始xgboost异常检测模型进行训练，本文档来自技高网
...
【技术保护点】
1.一种异常检测模型构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述异常检测需求字段进行矩阵转换，得到矩阵转换后的数据包括：
3.根据权利要求2所述的方法，其特征在于，在所述提取所述异常检测需求字段中的关键词信息之前，还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述训练集、及所述训练集对应的类别标签，对所述初始XGboost异常检测模型进行训练，得到训练完成的XGboost异常检测模型包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述测试集、及所述测试集对应的类别标签，更新所述目标优化函数包括：
6.一种异常检测方法，其特征在于，所述方法包括：
7.一种异常检测模型构建装置，其特征在于，所述装置包括：
8.一种异常检测装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...
【技术特征摘要】
1.一种异常检测模型构建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述异常检测需求字段进行矩阵转换，得到矩阵转换后的数据包括：
3.根据权利要求2所述的方法，其特征在于，在所述提取所述异常检测需求字段中的关键词信息之前，还包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述训练集、及所述训练集对应的类别标签，对所述初始xgboost异常检测模型进行训练，得到训练完成的xgboost异常检测模型包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述测试集、及...
【专利技术属性】
技术研发人员：郭伟，祝捷，赵庆，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。