模型监测方法、设备、存储介质及计算机程序产品技术

本申请实施例提供一种模型监测方法、设备、存储介质及计算机程序产品，其中，监测方法包括：获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，所述模型数据包括：模型运行过程中的数据；获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果，所述服务数据包括：服务场景实现中的数据；对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据；将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理。据和所述服务异常数据进行对应的处理。据和所述服务异常数据进行对应的处理。

【技术实现步骤摘要】
模型监测方法、设备、存储介质及计算机程序产品


[0001]本申请实施例涉及电子信息
，尤其涉及一种模型监测方法、设备、存储介质及计算机程序产品。

技术介绍

[0002]通常采用模型实现服务场景，为用户提供对应的服务。例如模型用于根据对现有的司乘取消率数据进行分析，从而对于新的司乘订单给出取消率的预估，从而用于实现网约车平台中的司乘分配，以提升订单的成交率。
[0003]但是模型在使用过程中随着时间推移，会产生模型退化、异常波动等问题。如果不对模型进行处理，其输出的效果会比较差。但是由于现有的对模型进行监测的方式效率低下且成本高昂，造成对模型异常等问题发现较为滞后，不能及时发现模型问题，影响模型输出效果。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种模型监测方法、设备、存储介质及计算机程序产品，以至少部分解决上述问题。
[0005]根据本申请实施例的第一方面，提供了一种模型监测方法，应用于监测平台，所述方法包括：获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，所述模型数据包括：模型运行过程中的数据；获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果，所述服务数据包括：服务场景实现中的数据；对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据；将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理。
[0006]根据本申请实施例的第二方面，提供了一种模型监测方法，应用于开发端，所述方法包括：提供多个模型；获得监测平台发送的所述多个模型的模型数据监测结果中的异常数据，所述模型数据监测结果为所述监测平台对所述多个模型的模型数据进行监测所得，所述模型数据包括：模型运行过程中的数据。
[0007]根据本申请实施例的第三方面，提供了一种模型监测方法，应用于服务端，所述方法包括：提供多个模型所实现的多个服务场景；获得监测平台发送的所述多个模型所实现的多个服务场景的服务数据监测结果中的异常数据，所述服务数据监测结果为所述监测平台对服务数据进行监测所得，所述服务数据包括：服务场景实现中的数据。
[0008]根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如第一方面的模型监测方法对应的操作。
[0009]根据本申请实施例的第五方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如第一方面的模型监测方法。
[0010]根据本申请实施例的第六方面，提供了一种计算机程序产品，该计算机程序产品被处理器执行时，实现如第一方面的模型监测方法。
[0011]本申请实施例提供的模型的监测方案，对模型数据进行监测，得到模型数据监测结果，模型数据包括：模型运行过程中的数据；对服务数据进行监测，得到服务数据监测结果，服务数据包括：服务场景实现中的数据；获得模型数据监测结果和服务数据监测结果，获得模型异常数据和服务异常数据；并分别将模型异常数据和服务异常数据发送至开发端和服务端进行对应的处理。本申请实施例通过对模型数据的监测可以关注到模型本身的质量，通过对服务数据进行监测，可以关注到模型所生成服务场景的效果，能够更加全面地对模型的运行状况进行监测，能够更加准确地判定模型是否异常，以便进行后续维护。本申请实施例能够实现对多个模型以及多个模型实现的多个服务场景进行监测，应用范围广且便于了解不同模型的运行效果。本申请实施例中开发端和服务端可以及时获得模型监控中模型异常数据和服务异常数据，能够及时对模型异常数据和服务异常数据进行处理。
附图说明
[0012]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0013]图1为本申请实施例提供的一种模型监测平台的系统示意图；
[0014]图2为本申请实施例提供的一种模型监测方法的流程图；
[0015]图3为本申请实施例提供的一种模型监测平台的示意图；
[0016]图4为本申请实施例提供的另一种模型监测平台的示意图；
[0017]图5为本申请实施例提供的再一种模型监测平台的示意图；
[0018]图6为本申请实施例提供的再一种模型监测平台的示意图；
[0019]图7为本申请实施例提供的一种电子设备的结构图。
具体实施方式
[0020]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0021]下面结合本申请实施例附图进一步说明本申请实施例具体实现。
[0022]本申请实施例提供一种模型监测方法，应用于电子设备，为了便于理解，对本申请实施例一所提供的模型监测方法的应用场景进行说明，参照图1所示，图1为本申请实施例一提供的一种模型监测方法的场景示意图，该模型监测方法应用于模型监测平台11，监测平台11对开发端12提供的多个模型进行监测，监测平台11对服务端利用多个模型实现的多个服务场景进行监测。图1所示的监测平台运行于电子设备101，电子设备101可以是执行本
申请实施例一提供的模型监测方法的设备。
[0023]电子设备101可以是智能手机、平板电脑、笔记本电脑、车载终端等终端设备，电子设备101也可以是服务器等网络设备，当然，此处只是示例性说明，并不代表本申请局限于此。
[0024]电子设备101可以接入网络，通过网络与云端连接，并进行数据交互，或者，电子设备101可以是云端的设备。本申请中，网络包括局域网(英文：Local Area Network，LAN)、广域网(英文：Wide Area Network，WAN)、移动通信网络；如万维网(英文：World Wide Web，WWW)、长期演进(英文：Long Term Evolution，LTE)网络、2G网络(英文：2th Generation Mobile Network)、3G网络(英文：3th Generation Mobile Network)，5G网络(英文：5th Generation Mobile Network)等。云端可以包括通过网络连接的各种设备，例如，服务器、中继设备、端到端(英文：Device
‑
to
‑
Devic本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型监测方法，应用于监测平台，所述方法包括：获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，所述模型数据包括：模型运行过程中的数据；获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果，所述服务数据包括：服务场景实现中的数据；对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据；将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理。2.根据权利要求1所述的方法，其中，所述模型数据的监测包括：元数据监测、运维数据监测、指标数据监测；所述获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，包括：对所述开发端提供的多个模型的模型数据进行元数据监测、运维数据监测，以及根据模型种类确定的指标数据监测。3.根据权利要求2所述的方法，其中，所述元数据监测的异常数据通过元数据监测接口发送至所述开发端；所述运维数据监测的异常数据通过运维数据监测接口发送至所述开发端；所述指标数据监测的异常数据通过指标数据监测接口发送至所述开发端；所述服务数据监测的异常数据通过服务接口发送至所述服务端。4.根据权利要求3所述的方法，其中，所述对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据，还包括：根据预先设定的阈值，获得超出所述阈值的模型异常数据和服务异常数据；所述将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理，还包括：将超出所述阈值的模型异常数据和服务异常数据通过异常监测接口发送至所述开发端或者服务端进行对应的处理。5.根据权利要求2所述的方法，其中，所述模型为神经网络模型，所述对所述开发端提供的多个模型的模型数据进行元数据监测、运维数据监测，以及根据模型种类确定的指标数据监测，包括：对所述模型数据进行元数据监测并得到元数据监测结果，所述元数据监测包括：训练集监测、缺失率监测、归一化监测、不平度监测、稳定性监测中的至少一项监测；对所述模型数据进行运维监测并得到运维监测结果，所述运维监测包括：对输出数量集、模型运行时间、模型产出时间、输出结果的分布中的至少一项监测；根据所述模型数据的种类，选择对应的指标进行指标监测并得到指标监测结果，所述目标模型包括：分类模型、数值预测模型和无监督模型。6.根据权利要求5所述的方法，其中，所述神经网络模型用于实现广告投放服务场景，
所述获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据...

【专利技术属性】
技术研发人员：叶苏俐，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：