本发明专利技术公开了一种监控指标阈值的确定方法及其装置、电子设备及存储介质，涉及人工智能领域，其中，该确定方法包括：采集预设时间段内的监控数据，对每个指标数据集进行处理，得到目标指标数据集，对维度数据空间中的每个维度进行分割，得到多个网格单元，采用预设聚类算法合并多个网格单元，生成目标区域网格，将目标区域网格的上边界值表征为监控指标的上阈值，并将目标区域网格的下边界值表征为监控指标的下阈值。本发明专利技术解决了相关技术中无法实时更新批量监控指标阈值的技术问题。时更新批量监控指标阈值的技术问题。时更新批量监控指标阈值的技术问题。
【技术实现步骤摘要】
监控指标阈值的确定方法及其装置、电子设备及存储介质
[0001]本专利技术涉及人工智能领域，具体而言，涉及一种监控指标阈值的确定方法及其装置、电子设备及存储介质。
技术介绍
[0002]目前，金融科技领域的批量阙值往往基于人工经验或者简单的历史平均值进行设置。但是，随着业务类型的不断丰富，交易的种类也呈现出不断增长的趋势，需要关注、分析、维护的指标越来越多，传统的依靠人工经验的性能容量分析、监控报警设置方法存在着诸多不足之处，运维人员面对众多批量指标无法实时关注并进行管理。批量指标来源较多，结构各异，每日上百万运行批量，给生产运维带来较多压力。
[0003]随着金融科技的大力发展，批量处理在金融科技领域扮演着重要的角色。运维人员不仅需要保障每天业务信息、舆情信息、交易信息等大量批量数据的及时处理，也要保障系统对外的可用能力。当前，金融科技领域内存在丰富的批量框架平台，如大数据、分布式等。大量的数据与需求推动着技术的更新，数据种类与技术难度逐渐攀升，对金融科技领域运维提出了不小的挑战。为保证金融系统的稳定运行，监控全覆盖、性能容量实时评估、批量规律的掌握不失为一种有效的手段。
[0004]全覆盖监控、性能容量实时评估、批量规律预测等需要实时更新批量指标的阈值。然而，相关技术中实时更新批量指标的阈值存在以下困难：(1)指标多：当前金融机构的批量指标种类多且杂，存在大量作业组指标，并且配置了大量的报警阈值的指标，大量批量指标处于无人监控的状态，覆盖率较低；(2)设置难：批量监控报警阈值设置模型较为复杂，严重依赖应用支持生产经验，且无法区分特殊日(如投产日、月末、月初、系统升级改造、信用卡账单日等)，导致在特殊日会有大量误报，无法自动识别，需要管理人员对每一个批量指标的规律都要掌握；(3)变化快：批量监控阈值设置采用传统的静态阈值，不能快速应对数据的变化，批量监控容易出现漏报、误报的情况。
[0005]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0006]本专利技术实施例提供了一种监控指标阈值的确定方法及其装置、电子设备及存储介质，以至少解决相关技术中无法实时更新批量监控指标阈值的技术问题。
[0007]根据本专利技术实施例的一个方面，提供了一种监控指标阈值的确定方法，包括：采集预设时间段内的监控数据，其中，所述监控数据包括：多个指标数据集，所述指标数据集包含监控指标在所述预设时间段内产生的所有数据；对每个所述指标数据集进行处理，得到目标指标数据集，其中，所述目标指标数据集中的所有数据点构成维度数据空间；对所述维度数据空间中的每个维度进行分割，得到多个网格单元；采用预设聚类算法合并所述多个网格单元，生成目标区域网格；将所述目标区域网格的上边界值表征为所述监控指标的上阈值，并将所述目标区域网格的下边界值表征为所述监控指标的下阈值。
[0008]可选地，对每个所述指标数据集进行处理，得到目标指标数据集的步骤，包括：对每个所述指标数据集进行归一化处理，得到一维数据集，其中，所述一维数据集包括：N个数据点，N为大于等于1的正整数；将所述一维数据集转换为二维数据集，其中，所述二维数据集中的每个所述数据点具有二维坐标；清洗所述二维数据集，得到所述目标指标数据集。
[0009]可选地，清洗所述二维数据集，得到所述目标指标数据集的步骤，包括：将所述二维数据集划分为多个离散数据子集；计算每个所述离散数据子集的均方差；在所述均方差的活跃度小于预设活跃阈值的情况下，将与所述均方差对应的所述离散数据子集确定为失效数据集；删除所述二维数据集中的所有所述失效数据集，得到所述目标指标数据集。
[0010]可选地，在计算每个所述离散数据子集的均方差之后，还包括：对所有所述均方差进行排序，得到排序结果；基于所述排序结果，确定最小均方差；基于所有所述均方差，确定平均均方差；基于所述最小均方差以及所述平均均方差，计算每个所述均方差的所述活跃度。
[0011]可选地，对所述维度数据空间中的每个维度进行分割，得到多个网格单元的步骤，包括：确定网格控制参数以及预设网格边长；基于所述网格控制参数以及所述预设网格边长，确定每个维度上的区间数目，其中，所述区间数目为每个维度上分割出的所述网格单元的数量；基于每个维度上的所述区间数目，对所述维度数据空间中的每个维度进行分割，得到多个所述网格单元。
[0012]可选地，在对所述维度数据空间中的每个维度进行分割，得到多个网格单元之后，还包括：基于所述数据点的所述二维坐标的横坐标值、预设长度值以及所述预设网格边长，确定所述数据点在第一维度上的第一下标值，其中，所述第一维度是与所述横坐标值所在的横坐标对应的维度；基于所述数据点的所述二维坐标的纵坐标值、预设高度值以及所述预设网格边长，确定所述数据点在第二维度上的第二下标值，其中，所述第二维度是与所述纵坐标值所在的纵坐标对应的维度；基于所述第一下标值以及所述第二下标值，确定所述数据点的网格坐标；将所述数据点映射到与所述网格坐标对应的网格单元。
[0013]可选地，在将所述数据点映射到与所述网格坐标对应的网格单元之后，还包括：确定预设密度阈值；确定每个所述网格单元中的所有所述数据点的数据点总量；在所述数据点总量大于所述预设密度阈值的情况下，确定对所述网格单元聚类完成。
[0014]可选地，采用预设聚类算法合并所述多个网格单元，生成目标区域网格的步骤，包括：计算每个所述网格单元的网格密度；对所述网格密度进行排序，并将最大网格密度指示的网格单元确定为初始网格单元；确定与所述初始网格单元的距离小于预设距离阈值的其他网格单元，并计算所述初始网格单元与所述其他网格单元之间的密度差；在所述密度差小于预设差阈值的情况下，合并所述初始网格单元与所述其他网格单元，得到新的初始网格单元；合并所述新的初始网格单元与待合并网格单元，直到所有所述待合并网格单元合并完成，得到所述目标区域网格，其中，所述待合并网格单元与所述新的初始网格单元之间的密度差小于所述预设差阈值。
[0015]可选地，在将所述目标区域网格的上边界值表征为所述监控指标的上阈值，并将所述目标区域网格的下边界值表征为所述监控指标的下阈值之后，还包括：基于每个所述监控指标的所述上阈值以及所述下阈值，确定所述监控指标的阈值范围；在所述监控数据中存在不属于所述阈值范围的异常数据的情况下，展示所述异常数据。
[0016]根据本专利技术实施例的另一方面，还提供了一种监控指标阈值的确定装置，包括：采集单元，用于采集预设时间段内的监控数据，其中，所述监控数据包括：多个指标数据集，所述指标数据集包含监控指标在所述预设时间段内产生的所有数据；处理单元，用于对每个所述指标数据集进行处理，得到目标指标数据集，其中，所述目标指标数据集中的所有数据点构成维度数据空间；分割单元，用于对所述维度数据空间中的每个维度进行分割，得到多个网格单元；合并单元，用于采用预设聚类算法合并所述多个网格单元，生成目标区域网格；表征单元，用于将所述目标区域网格的上边界值表征为所述监控指标的上阈值，并将所述目标本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种监控指标阈值的确定方法，其特征在于，包括：采集预设时间段内的监控数据，其中，所述监控数据包括：多个指标数据集，所述指标数据集包含监控指标在所述预设时间段内产生的所有数据；对每个所述指标数据集进行处理，得到目标指标数据集，其中，所述目标指标数据集中的所有数据点构成维度数据空间；对所述维度数据空间中的每个维度进行分割，得到多个网格单元；采用预设聚类算法合并所述多个网格单元，生成目标区域网格；将所述目标区域网格的上边界值表征为所述监控指标的上阈值，并将所述目标区域网格的下边界值表征为所述监控指标的下阈值。2.根据权利要求1所述的确定方法，其特征在于，对每个所述指标数据集进行处理，得到目标指标数据集的步骤，包括：对每个所述指标数据集进行归一化处理，得到一维数据集，其中，所述一维数据集包括：N个数据点，N为大于等于1的正整数；将所述一维数据集转换为二维数据集，其中，所述二维数据集中的每个所述数据点具有二维坐标；清洗所述二维数据集，得到所述目标指标数据集。3.根据权利要求2所述的确定方法，其特征在于，清洗所述二维数据集，得到所述目标指标数据集的步骤，包括：将所述二维数据集划分为多个离散数据子集；计算每个所述离散数据子集的均方差；在所述均方差的活跃度小于预设活跃阈值的情况下，将与所述均方差对应的所述离散数据子集确定为失效数据集；删除所述二维数据集中的所有所述失效数据集，得到所述目标指标数据集。4.根据权利要求3所述的确定方法，其特征在于，在计算每个所述离散数据子集的均方差之后，还包括：对所有所述均方差进行排序，得到排序结果；基于所述排序结果，确定最小均方差；基于所有所述均方差，确定平均均方差；基于所述最小均方差以及所述平均均方差，计算每个所述均方差的所述活跃度。5.根据权利要求2所述的确定方法，其特征在于，对所述维度数据空间中的每个维度进行分割，得到多个网格单元的步骤，包括：确定网格控制参数以及预设网格边长；基于所述网格控制参数以及所述预设网格边长，确定每个维度上的区间数目，其中，所述区间数目为每个维度上分割出的所述网格单元的数量；基于每个维度上的所述区间数目，对所述维度数据空间中的每个维度进行分割，得到多个所述网格单元。6.根据权利要求5所述的确定方法，其特征在于，在对所述维度数据空间中的每个维度进行分割，得到多个网格单元之后，还包括：基于所述数据点的所述二维坐标的横坐标值、预设长度值以及所述预设网格边长，确
定所述数据点在第一维度上的第一下标值，其中，所述第一维度是与所述横坐标值所在的横坐标对应的维度；基于所述数据点的所述二维坐标的纵坐标值、预设高度值以及所述预设网格边长，确定所述数据点在第二维度上的第二下标值，其中，所述第二维度是与所述纵坐标值所在的纵坐标对应的维度；基于所述第一下标...
【专利技术属性】
技术研发人员：姚德亮，夏麟，郝煜佳，严家德，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。