MLOps模型监控方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术提供一种MLOps模型监控方法、装置、计算机设备及存储介质，涉及数据处理技术领域，该方法包括：对用于监控已部署模型的运行的多个监控指标进行参数配置，并且对每个监控指标的监控阈值进行配置。收集已部署模型在运行过程中的与多个监控指标对应的运行数据，并将运行数据转换成与对应监控指标的监控阈值类型相同的转换数据。将转换数据与对应的监控阈值比较得到比较结果。在比较结果为异常时，执行与各监控指标对应的处理方案，生成新模型。用新模型迭代已部署模型，并部署新模型。本发明专利技术提供的技术方案通过面向图数据模型的MLOps多指标模型监控，准确监控图模型并解决图模型在生产环境中的各种问题，提升图模型的使用体验。使用体验。使用体验。

【技术实现步骤摘要】
MLOps模型监控方法、装置、计算机设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种MLOps模型监控方法、一种MLOps模型监控装置、一种计算机设备以及一种计算机可读存储介质。

技术介绍

[0002]随着互联网、移动互联网的浪潮，人工智能正作为全新的生产要素助力产业转型升级，机器学习(ML)只能处理欧式数据，对于图结构数据这种非欧式数据处理能力较弱，因此图机器学习得到了广泛关注。在图机器学习中，需要策略或者流程去辅助持续跟踪数据、参数、模型、及模型评估结果等，即基于图数据的MLOps。基于图数据的MLOps包括数据和基础设施管理、模型训练、部署和实时监控，为了让生产环境中的图模型能够在正常范围内运行，通过监控组件及可视化指标对模型进行观察，当模型的运行指标发生变化时，引入持续训练的机制来解决图模型在实际生产环境中产生的模型健康、模型漂移、模型资源等问题。
[0003]MLOps目前已经成为大规模模型部署的主要流程。但是监控和维护模型仍然是一个很大的难题。由于部署模型后输入的数据由实验数据转为业务数据，模型的性能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种MLOps模型监控方法，其面向图数据模型，其特征在于，包括以下步骤：S1、监控参数配置步骤，对用于监控已部署模型的运行的多个监控指标进行参数配置，并且对每个监控指标的监控阈值进行配置；S2、数据收集和计算步骤，收集所述已部署模型在运行过程中的与所述多个监控指标对应的运行数据，并将所述运行数据转换成与对应监控指标的监控阈值类型相同的转换数据；S3、规则判断步骤，将所述转换数据与对应的监控阈值进行比较得到比较结果，在各监控指标的所述比较结果均为正常时，重复执行上述步骤S2；S4、处理方案步骤，在所述比较结果为异常时，执行与各监控指标对应的处理方案，生成新模型；S5、模型评估及模型对比步骤，对所述新模型进行评估，当所述新模型通过评估并且所述新模型的评估指标优于所述已部署模型的评估指标时，用所述新模型迭代所述已部署模型；S6、模型上线步骤，对所述新模型进行部署，并执行上述步骤S2至S5。2.根据权利要求1所述的MLOps模型监控方法，其特征在于，步骤S1还包括对每个监控指标的监控周期、告警配置和处理方案进行配置。3.根据权利要求1所述的MLOps模型监控方法，其特征在于，所述多个监控指标包括：资源监控指标，其表征模型的资源使用情况；模型调用指标，其表征对模型的调用信息；模型评估指标，其表征模型的性能；以及业务监控指标，其表征模型的实际生产使用表现。4.根据权利要求3所述的MLOps模型监控方法，其特征在于，所述资源监控指标包括CPU、内存和磁盘的占用率、使用量、时段、频率、触发缓冲中的一种或多种；所述模型调用指标包括响应时间、QPS和模型攻击指标中的一种或多种；所述模型评估指标包括准确率、查准率、召回率、F1值、排序值和AUC值中的一种或多种；并且所述业务监控指标为用户自定义的监控指标，并且包括点击率。5.根据权利要求3或4所述的MLOps模型监控方法，其特征在于，在步骤S2中，收集的所述运行数据包括所述已部署模型的资源使用详情、日志调用详情、在生产运行中的业务数据以及用户自定义的指标数据。6.根据权利要求3或4所述的M...

【专利技术属性】
技术研发人员：郭熹，贺鸣，程新洲，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：