本申请提供一种模型监控方法及装置，该模型监控方法包括：获取待监控的目标模型；将目标模型正式发布上线进行试运行，并获取真实的用户反馈数据；通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率；当问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑，并通过模型预测告警逻辑对目标模型的运行情况进行监控。可见，实施这种实施方式，能够对模型进行精确监控，不依赖于监控人员的经验和主观性影响，准确性高。准确性高。准确性高。
【技术实现步骤摘要】
一种模型监控方法及装置
[0001]本申请涉及数据处理
，具体而言，涉及一种模型监控方法及装置。
技术介绍
[0002]目前，随着大数据技术的进步，在业务中使用模型越来越普及，在模型上线之后，需要对模型的性能和准确性进行监控。现有模型监控方法，通常由监控人员凭经验来监控判断数据模型的性能是否下降。然而，在实践中发现，现有方法依赖于监控人员的经验和主观性影响，准确性低。
技术实现思路
[0003]本申请实施例的目的在于提供一种模型监控方法及装置，能够对模型进行精确监控，不依赖于监控人员的经验和主观性影响，准确性高。
[0004]本申请实施例第一方面提供了一种模型监控方法，包括：获取待监控的目标模型；
[0005]将所述目标模型正式发布上线进行试运行，并获取真实的用户反馈数据；
[0006]通过所述目标模型对预设的指标数据进行推理，得到推理结果，并将所述推理结果与所述用户反馈数据进行对比，计算出问题命中率；
[0007]当所述问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑，并通过所述模型预测告警逻辑对所述目标模型的运行情况进行监控。
[0008]在上述实现过程中，该方法可以优先获取待监控的目标模型；然后将目标模型正式发布上线进行试运行，并获取真实的用户反馈数据；通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率；最后再在问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑，并通过模型预测告警逻辑对目标模型的运行情况进行监控。可见，实施这种实施方式，能够对模型进行精确监控，不依赖于监控人员的经验和主观性影响，准确性高。
[0009]进一步地，所述获取待监控的目标模型，包括：
[0010]获取第一预设时间段内用户的反馈数据，所述反馈数据是用户在接收到根据预设阈值规则发送的邮件之后根据所述邮件进行排查反馈的反馈数据；
[0011]根据所述反馈数据确定的样本数据；
[0012]根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型；
[0013]通过测试集对所述训练好的多个模型进行验证，得到每个所述模型的模型质量参考指标；
[0014]根据所述模型质量参考指标从所述训练好的多个模型中确定目标模型。
[0015]进一步地，根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型，包括：
[0016]对所述样本数据进行特征提取，得到特征数据；
[0017]对所述样本数据进行过采样处理，得到处理样本数据；
[0018]通过所述处理样本数据对多个原始模型进行模型训练，得到训练好的多个模型。
[0019]进一步地，在所述获取真实的用户反馈数据之后，所述方法还包括：
[0020]将所述用户反馈数据加入所述样本数据中，得到更新样本数据；
[0021]通过所述更新样本数据对所述目标模型进行训练，得到新的目标模型；
[0022]根据所述新的目标模型对所述目标模型进行模型热更。
[0023]进一步地，在所述将模型监控的告警逻辑切换为预设的模型预测告警逻辑之后，所述方法还包括：
[0024]按照预设频率获取针对所述目标模型的实时用户反馈数据；
[0025]根据所述实时用户反馈数据计算所述目标模型的当前问题命中率；
[0026]根据所述目标模型的历史问题命中率，判断所述当前问题命中率是否降低；
[0027]如果是，则将所述模型监控的告警逻辑由所述模型预测告警逻辑切换回所述阈值告警逻辑，并通过所述阈值告警逻辑对所述目标模型的运行情况进行监控。
[0028]进一步地，所述方法还包括：
[0029]当判断出所述当前问题命中率降低时，根据所述历史问题命中率，确定最高地问题命中率对应的目标模型为回滚模型；
[0030]将当前的目标模型替换为所述回滚模型。
[0031]进一步地，所述通过所述模型预测告警逻辑对所述目标模型的运行情况进行监控，包括：
[0032]获取第二预设时间段内所述目标模型的表现特征；
[0033]根据所述表现特征预测所述目标模型的性能数据是否有问题；
[0034]如果是，则输出告警提示信息。
[0035]本申请实施例第二方面提供了一种模型监控装置，所述模型监控装置包括：
[0036]第一获取单元，用于获取待监控的目标模型；
[0037]试运行单元，用于将所述目标模型正式发布上线进行试运行；
[0038]第二获取单元，用于获取真实的用户反馈数据；
[0039]计算单元，用于推理通过所述目标模型对预设的指标数据进行推理，得到推理结果，并将所述推理结果与所述用户反馈数据进行对比，计算出问题命中率；
[0040]切换单元，用于当所述问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑；
[0041]监控单元，用于通过所述模型预测告警逻辑对所述目标模型的运行情况进行监控。
[0042]在上述实现过程中，该模型监控装置可以通过第一获取单元获取待监控的目标模型；通过试运行单元将目标模型正式发布上线进行试运行；通过第二获取单元获取真实的用户反馈数据；通过计算单元推理通过目标模型对预设的指标数据进行推理，得到推理结果，并将推理结果与用户反馈数据进行对比，计算出问题命中率；再通过切换单元在问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑；最后，再通过监控单元来通过模型预测告警逻辑对目标模型的运行情
况进行监控。可见，实施这种实施方式能够对模型进行精确监控，不依赖于监控人员的经验和主观性影响，准确性高。
[0043]进一步地，所述第一获取单元包括：
[0044]获取子单元，用于获取第一预设时间段内用户的反馈数据，所述反馈数据是用户在接收到根据预设阈值规则发送的邮件之后根据所述邮件进行排查反馈的反馈数据；
[0045]确定子单元，用于根据所述反馈数据确定的样本数据；
[0046]训练子单元，用于根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型；
[0047]验证子单元，用于通过测试集对所述训练好的多个模型进行验证，得到每个所述模型的模型质量参考指标；
[0048]所述确定子单元，还用于根据所述模型质量参考指标从所述训练好的多个模型中确定目标模型。
[0049]进一步地，训练子单元包括：
[0050]特征提取模块，用于对所述样本数据进行特征提取，得到特征数据；
[0051]采样处理模块，用于对所述样本数据进行过采样处理，得到处理样本数据；
[0052]模型训练模块，用于通过所述处理样本数据对多个原始模型本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型监控方法，其特征在于，包括：获取待监控的目标模型；将所述目标模型正式发布上线进行试运行，并获取真实的用户反馈数据；通过所述目标模型对预设的指标数据进行推理，得到推理结果，并将所述推理结果与所述用户反馈数据进行对比，计算出问题命中率；当所述问题命中率达到预期命中率阈值时，将模型监控的告警逻辑由当前的阈值告警逻辑切换为预设的模型预测告警逻辑，并通过所述模型预测告警逻辑对所述目标模型的运行情况进行监控。2.根据权利要求1所述的模型监控方法，其特征在于，所述获取待监控的目标模型，包括：获取第一预设时间段内用户的反馈数据，所述反馈数据是用户在接收到根据预设阈值规则发送的邮件之后根据所述邮件进行排查反馈的反馈数据；根据所述反馈数据确定的样本数据；根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型；通过测试集对所述训练好的多个模型进行验证，得到每个所述模型的模型质量参考指标；根据所述模型质量参考指标从所述训练好的多个模型中确定目标模型。3.根据权利要求2所述的模型监控方法，其特征在于，根据所述样本数据对多个原始模型进行模型训练，得到训练好的多个模型，包括：对所述样本数据进行特征提取，得到特征数据；对所述样本数据进行过采样处理，得到处理样本数据；通过所述处理样本数据对多个原始模型进行模型训练，得到训练好的多个模型。4.根据权利要求2所述的模型监控方法，其特征在于，在所述获取真实的用户反馈数据之后，所述方法还包括：将所述用户反馈数据加入所述样本数据中，得到更新样本数据；通过所述更新样本数据对所述目标模型进行训练，得到新的目标模型；根据所述新的目标模型对所述目标模型进行模型热更。5.根据权利要求1所述的模型监控方法，其特征在于，在所述将模型监控的告警逻辑切换为预设的模型预测告警逻辑之后，所述方法还包括：按照预设频率获取针对所述目标模型的实时用户反馈数据；根据所述实...
【专利技术属性】
技术研发人员：郭宁，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。