【技术实现步骤摘要】
模型监控方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种模型监控方法、装置、计算机设备和存储介质。
技术介绍
随着大数据技术的进步，在业务中使用数据模型越来越普及，数据模型指的是能够输出运行结果的模型。然而，数据模型具有衰减性，数据模型运行结果数据的能力会随着输入数据的更新而降低，因此，需要对数据模型的性能及时进行监控以实现模型的维护和更新。目前缺乏一种能够针对不同数据模型进行监控的方法。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够针对不同数据模型进行监控的模型监控方法、装置、计算机设备和存储介质。一种模型监控方法，所述方法包括：接收监控终端发送的待监控模型的模型标识和模型监控指标，所述模型监控指标为反映所述待监控模型的性能的指标；根据所述模型标识判定所述待监控模型的模型类型，并根据所述模型类型获取验证样本集，其中，所述验证样本集包含验证样本及所述验证样本的样本标签；将所述验证样本集按照预设周期输入所述待监控模型中，得到模型运行结果...
【技术保护点】
1.一种模型监控方法，所述方法包括：/n接收监控终端发送的待监控模型的模型标识和模型监控指标，所述模型监控指标为反映所述待监控模型的性能的指标；/n根据所述模型标识判定所述待监控模型的模型类型，并根据所述模型类型获取验证样本集，其中，所述验证样本集包含验证样本及所述验证样本的样本标签；/n将所述验证样本集按照预设周期输入所述待监控模型中，得到模型运行结果；/n比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值；/n根据所述指标监控值和预警阈值生成模型警示信息，并将所述模型警示信息发送给所述监控终端。/n
【技术特征摘要】
1.一种模型监控方法，所述方法包括：
接收监控终端发送的待监控模型的模型标识和模型监控指标，所述模型监控指标为反映所述待监控模型的性能的指标；
根据所述模型标识判定所述待监控模型的模型类型，并根据所述模型类型获取验证样本集，其中，所述验证样本集包含验证样本及所述验证样本的样本标签；
将所述验证样本集按照预设周期输入所述待监控模型中，得到模型运行结果；
比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值；
根据所述指标监控值和预警阈值生成模型警示信息，并将所述模型警示信息发送给所述监控终端。
2.根据权利要求1所述的方法，其特征在于，所述比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值，包括：
比对所述模型运行结果和所述样本标签，得到所述待监控模型的混淆矩阵，所述混淆矩阵用于比较所述模型运行结果和所述样本标签的真实信息；
根据所述混淆矩阵生成与所述模型监控指标对应的指标监控值。
3.根据权利要求1所述的方法，其特征在于，所述比对所述模型运行结果和所述样本标签，得到与所述模型监控指标对应的指标监控值，包括：
当所述模型类型为评分模型时，统计所述模型运行结果中与所述模型监控指标对应的模型指标参数，并统计所述样本标签与所述模型监控指标对应的样本指标参数；
根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值，包括：
采用正态分布检验或者基尼系数，根据所述模型指标参数和所述样本指标参数计算与所述模型监控指标对应的指标监控值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述指标监控值和预警阈值生成模型警示信息，包括：
获取待监控模型的准确率和所述模型监控指标的预警阈值；
根据所述准确率的精确度和所述预警阈值的精度调整所述预警阈值；
根据调整后的预警阈值和所述指...
【专利技术属性】
技术研发人员：陈传栋，刘冰婉，
申请(专利权)人：太平金融科技服务上海有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。