模型故障检测方法、装置、计算机设备以及存储介质制造方法及图纸

本申请涉及机架运维的软件监控领域，具体涉及一种模型故障检测方法、装置、计算机设备和存储介质。方法包括：获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分；获取模型评分权重参数；根据所述模型评分与所述模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。本申请的模型评价通过综合考虑模型的稳定性与正确性、变量的稳定性与正确性等多种参数获取模型总体健康度的评分。同时基于该综合评价体系输出模型健康度综合评价结果，进而判断模型是否处于正常状态。

【技术实现步骤摘要】
模型故障检测方法、装置、计算机设备以及存储介质
本申请涉及计算机
，特别是涉及一种模型故障检测方法、装置、计算机设备以及存储介质。
技术介绍
模型是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体，不局限于实体与虚拟、不限于平面与立体)。对研究的实体进行必要的简化，并用适当的变现形式或规则把它的主要特征描述出来。所得到的系统模仿品称之为模型。而线上模型主要包括了机器学习模型以及统计模型，业内对线上模型运行状态的评估主要是通过周期性的观察模型评分与变量分布，计算PSI(populationstabilityindex)指标，当PSI大于某一阈值时，认为不稳定，或者周期性的利用新样本计算模型以及变量的KS(Kolmogorov-Smirnov，模型风险区分能力评分)，当KS低于某一阈值时，认为失效。但是上述方法缺乏综合的健康度评价指标，而是从模型以及变量的PSI、KS独立进行指标计算，无法综合各方因素回答模型的健康度到底如何。
技术实现思路
基于此，有必要针对上述技术问题，提供一种可以综合各种因素对模型故障进行检测的模型故障检测方法、装置、计算机设备以及存储介质。一种模型故障检测方法，所述方法包括：获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。在其中一个实施例中，所述根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分之前还包括：获取模型变量以及所述模型变量的权重参数；根据所述模型变量以及所述模型变量的权重参数建立预设模糊判断矩阵。在其中一个实施例中，所述获取模型变量以及所述模型变量的权重参数具体包括：获取模型变量，对所述模型变量进行两两比较，获取模型变量在所述待评价模型中的贡献度；根据专家经验法对所述模型变量进行分析，获得模型变量的专家评分；根据所述贡献度以及所述专家评分确定模型变量的权重参数。在其中一个实施例中，所述根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分具体包括：根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标构建成对比较矩阵；获取所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量；根据所述层次单排序权向量计算层次总排序权向量；根据所述层次总排序权向量确定模型评分。在其中一个实施例中，所述获取所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量之后还包括：获取一致性指标、随机一致性指标以及层次一致性比率，根据所述一致性指标、所述随机一致性指标以及所述层次一致性比率对所述层次单排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量。在其中一个实施例中，所述根据所述层次单排序权向量计算层次总排序权向量之后还包括：获取总排序一致性比率，根据所述总排序一次性比率对所述总排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量。一种模型故障检测装置，所述装置包括：模型参数获取模块，用于获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；模型评分获取模块，用于根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；权重参数获取模块，获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；综合评分模块，用于根据所述模型评分与模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。在其中一个实施例中，还包括矩阵建立模块，用于：获取模型变量以及所述模型变量的权重参数；根据所述模型变量以及所述模型变量的权重参数建立预设模糊判断矩阵。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。上述模型故障检测方法、装置、计算机设备以及存储介质，首先获取待评价模型的稳定性指标和正确性指标和待评价模型中模型变量的稳定性指标和正确性指标；并根据预设模糊判断矩阵结合上述稳定性指标和正确性指标，获得模型评分；而后获取模型评分权重参数；根据模型评分与模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。本申请基于模糊层次分析法，通过综合考虑模型的稳定性与正确性、变量的稳定性与正确性等多种参数，并综合各参数的权重获取模型总体健康度的评分。同时可以基于该综合评价体系输出模型健康度综合评价结果，进而判断模型是否处于正常状态。附图说明图1为一个实施例中模型故障检测方法的流程示意图；图2为一个实施例中模型故障检测方法的流程示意图；图3为一个实施例中图2中步骤S320子步骤的流程示意图；图4为一个实施例中模型故障检测方法的流程示意图；图5为一个实施例中模型故障检测装置的结构框图；图6为一个实施例中计算本文档来自技高网...

【技术保护点】
1.一种模型故障检测方法，所述方法包括：获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分；获取模型评分权重参数；根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。

【技术特征摘要】
1.一种模型故障检测方法，所述方法包括：获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分；获取模型评分权重参数；根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。2.根据权利要求1所述的方法，其特征在于，所述根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分之前还包括：获取模型变量以及所述模型变量的权重参数；根据所述模型变量以及所述模型变量的权重参数建立预设模糊判断矩阵。3.根据权利要求2所述的方法，其特征在于，所述获取模型变量以及所述模型变量的权重参数具体包括：获取模型变量，对所述模型变量进行两两比较，获取模型变量在所述待评价模型中的变量贡献度；根据专家经验法对所述模型变量进行分析，获得模型变量的变量专家评分；根据所述变量贡献度以及所述变量专家评分确定模型变量的权重参数。4.根据权利要求1所述的方法，其特征在于，所述根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分具体包括：根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标构建成对比较矩阵；获取所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量；根据所述层次单排序权向量计算层次总排序权向量；根据所述层次总排序权向量确定模型评分。5.根据权利要求4所述的方法，其特征在于，所述获取所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量之后还包...

【专利技术属性】
技术研发人员：马新俊，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44