算法模型运行监控方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种算法模型运行监控方法、装置、计算机设备和存储介质。所述方法包括：获取算法模型在当前统计周期内的特征标签和回归结果；根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。采用本方法能够及时发现算法模型的运行异常情况，且能够避免算法模型更新的盲目性，有助于保证算法模型性能。

Algorithmic Model Running Monitoring Method, Device, Computer Equipment and Storage Media

【技术实现步骤摘要】
算法模型运行监控方法、装置、计算机设备和存储介质
本申请涉及互联网
，特别是涉及一种算法模型运行监控方法、装置、计算机设备和存储介质。
技术介绍
随着人工智能技术在互联网领域的应用和发展，尤其是机器学习的应用和发展，将机器学习得到的算法模型应用于大数据风控，为互联网金融等领域提供了强有力的安全保障。然而如何高效、直观地度量算法模型的性能，监控算法的执行异常，指导算法模型的灵活迭代和及时地运行维护成为急需研究的问题。目前采用的方案，主要是在上线前对算法模型进行性能度量，上线后对算法模型进行定期更新，来保证算法模型较低的泛化误差。但是这种方式存在以下问题，其一，如果定期更新的时间较长，无法保证算法模型拥有一个较低的泛化误差，可能对业务造成影响。其二，如果定期更新的时间较短，频繁迭代会造成资源的浪费。最后，算法模型运行异常等情况无法及时发现。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够及时发现算法模型的运行异常情况，且能够避免更新的盲目性的算法模型运行监控方法、装置、计算机设备和存储介质。一种算法模型运行监控方法，该方法包括：获取算法模型在当前统计周期内的特征标签和回归结果；根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。在其中一个实施例中，上述的方法还包括：获取当前执行结果异常数量，当前执行结果异常数量为算法模型在当前统计周期内的执行结果异常数量；在当前执行结果异常数量超过算法模型的预设的数量阈值时，输出第二告警提示信息。在其中一个实施例中，上述的方法还包括：保存算法模型在各个统计周期内的性能指标值和执行结果异常数量；接收终端发送的数据查看请求，数据查看请求携带有待查看周期信息；根据待查看周期信息向终端返回与待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。在其中一个实施例中，上述的根据特征标签和回归结果确定当前性能指标，包括：根据特征标签和回归结果，确定算法模型在当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；根据真正例数目、假正例数目、真反例数目和假反例数，确定算法模型在当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；根据查准率和查全率，确定算法模型在当前统计周期内的第一度量参数值；根据ROC曲线计算ROC曲线所覆盖的区域面积值，将区域面积值作为算法模型在当前统计周期内的第二度量参数值；将K-S曲线的最大值，确定为算法模型在当前统计周期内的第三度量参数值；当前性能指标值包括第一度量参数值、第二度量参数值和第三度量参数值中一个或者多个。在其中一个实施例中，上述的在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息，包括：在第一度量参数值小于预设的算法模型的第一参数阈值时，或者在第二度量参数值小于预设的算法模型的第二参数阈值时，或者在第三度量参数值小于预设的算法模型的第三参数阈值时，输出第一告警提示信息。在其中一个实施例中，上述的第一告警提示信息包括第一告警内容和数据查看链接，或者第二告警提示信息包括第二告警内容和数据查看链接，数据查看链接被触发时，链接到预设的度量分析界面。在其中一个实施例中，上述的获取算法模型在当前统计周期内的特征标签和回归结果，包括：在当前统计周期内，分批次获取算法模型的原始数据集；分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为算法模型在当前统计周期内的特征标签和回归结果。一种算法模型运行监控装置，该装置包括：获取模块，用于获取算法模型在当前统计周期内的特征标签和回归结果；处理模块，用于根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；告警模块，用于在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取算法模型在当前统计周期内的特征标签和回归结果；根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取算法模型在当前统计周期内的特征标签和回归结果；根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。上述算法模型运行监控方法、装置、计算机设备和存储介质，是获取算法模型在当前统计周期内的特征标签和回归结果，根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值，在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。本专利技术实施例方案，便于用户能够及时发现算法模型的执行异常情况，可以在输出第一告警提示信息确定是否对算法模型进行更新维护，可以提升避免算法模型更新的盲目性，以保证算法模型的性能，从而确保业务不会因为算法模型的低性能而受到影响。附图说明图1为一个实施例中算法模型运行监控方法的应用环境图；图2为一个实施例中算法模型运行监控方法的流程示意图；图3为另一个实施例中算法模型运行监控方法的流程示意图；图4为再一个实施例中算法模型运行监控方法的流程示意图；图5为一个实施例中当前性能指标确定步骤的流程示意图；图6为一个系统中的算法模型运行监控系统的系统架构图；图7为又一个实施例中算法模型运行监控方法的流程示意图；图8为一个实施例中算法模型运行监控装置的结构框图；图9为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的算法模型运行监控方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中，如图2所示，提供了一种算法模型运行监控方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：步骤202，获取算法模型在当前统计周期内的特征标签和回归结果；这里，算法模型一般是指分类模型，例如，可以是网络风险分析算法模型或者交易风险分析算法模型，也可以是图像分析算法模型(例如，图像分类模型)或者语音分析算法模型(例如，语音分类模型)。这里，特征标签指样本分类的真实值,例如，算法模型的功能是预测某个样本是否为黄牛，样本分类的真实值即为1(该样本实际为黄牛)或0(该样本实际不为黄牛)。这里，回归结果指通过回归算法预测样本为某一分类类别的概率值，例如，算法模型的功能是预测某个样本是否为黄牛，该概率值越大，表明该样本为黄牛的概率越大。其中，统计周期的长短可以根据实本文档来自技高网...

【技术保护点】
1.一种算法模型运行监控方法，所述方法包括：获取算法模型在当前统计周期内的特征标签和回归结果；根据所述特征标签和所述回归结果确定当前性能指标，所述当前性能指标为所述算法模型在所述当前统计周期内的性能指标值；在所述当前性能指标值满足所述算法模型的预设的告警条件时，输出第一告警提示信息。

【技术特征摘要】
1.一种算法模型运行监控方法，所述方法包括：获取算法模型在当前统计周期内的特征标签和回归结果；根据所述特征标签和所述回归结果确定当前性能指标，所述当前性能指标为所述算法模型在所述当前统计周期内的性能指标值；在所述当前性能指标值满足所述算法模型的预设的告警条件时，输出第一告警提示信息。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取当前执行结果异常数量，所述当前执行结果异常数量为所述算法模型在所述当前统计周期内的执行结果异常数量；在所述当前执行结果异常数量超过所述算法模型的预设的数量阈值时，输出第二告警提示信息。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：保存所述算法模型在各个统计周期内的性能指标值和执行结果异常数量；接收终端发送的数据查看请求，所述数据查看请求携带有待查看周期信息；根据所述待查看周期信息向所述终端返回与所述待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据所述特征标签和所述回归结果确定当前性能指标，包括：根据所述特征标签和所述回归结果，确定所述算法模型在所述当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；根据所述真正例数目、所述假正例数目、所述真反例数目和所述假反例数，确定所述算法模型在所述当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；根据所述查准率和所述查全率，确定所述算法模型在所述当前统计周期内的第一度量参数值；根据所述ROC曲线计算所述ROC曲线所覆盖的区域面积值，将所述区域面积值作为所述算法模型在所述当前统计周期内的第二度量参数值；将所述K-S曲线的最大值，确定为所述算法模型在所述当前统计周期内的第三度量参数值；其中，所述当前性能指标值包括所述第一度量参数值、所述...

【专利技术属性】
技术研发人员：周斌，孙鑫焱，孟天涯，
申请(专利权)人：苏宁金融服务上海有限公司，
类型：发明
国别省市：上海,31