一种数据挖掘模型的诊断方法和装置制造方法及图纸

本申请实施例提供了一种数据挖掘模型的诊断方法和装置。数据挖掘模型的诊断方法包括：获得数据挖掘模型的运行评估参量，所述运行评估参量至少包括用于描述业务效果的第一参量；当所述运行评估参量达到预置的故障条件时，确定所述数据挖掘模型运行故障。本申请实施例通过对数据挖掘模型进行监控并对其运行评估获得运行评估参量，实现了对模型运行效果的跟踪，并且通过设置故障条件来对数据挖掘模型的运行故障进行判断，实现了对模型健康度的自动监控。该方法实现了数据挖掘模型上线后的自动化故障诊断，为包括工业界和学术界已有技术的重要补充。

【技术实现步骤摘要】

本申请涉及数据处理
，特别是涉及一种数据挖掘模型的诊断方法和一种数据挖掘模型的诊断装置。
技术介绍
当前，数据挖掘模型作为大数据发挥作用的重要手段已经在电商、金融和社交媒体等领域普遍存在。数据挖掘模型可以有效地进行建模以解决数值预测、分类和聚类等问题。基于数据化运营和精准营销的需求，数据挖掘模型的数量呈现出指数级增长的趋势。现在，数据平台上同时运行的模型已经达到了“万”级别以上。然而，维护这些模型会占用数据挖掘模型研发人员大量时间，这样的原因主要在于：(1)模型的运行环境(特别是互联网环境下)更新迭代的速度会非常地快；(2)模型的有效性一般会随着时间的推移而不可避免地出现衰退的情况；(3)模型的数据环境(面向的数据的量级和质量)往往会出现大幅的改变。而工业界对数据挖掘模型的研究主要集中在：如何能让模型更加精准，以及如何能让模型的效率更高，且在学术界学者们往往缺乏成千上万个线上模型同时运行的情况。因而，现有技术中未能对数据挖掘模型的诊断贡献出切实可行的方案。
技术实现思路
本申请实施例的专利技术目的在于提供一种数据挖掘模型的诊断方法，能对数据挖掘模型的诊断贡献出切实可行的方案。相应的，本申请实施例还提供了一种数据挖掘模型的诊断装置，用以保证上述方法的实现及应用。为了解决上述问题，本申请公开了一种数据挖掘模型的诊断方法，包括：获得数据挖掘模型的运行评估参量，所述运行评估参量至少包括用于描述业务效果的第一参量；当所述运行评估参量达到预置的故障条件时，确定所述数据挖掘模型运行故障。进一步，所述运行评估参量还包括用于描述运行环境的第二参量和/或用于描述运行参数的第三参量。进一步，所述方法还包括：根据预置的第二参量阈值及所述第二参量，确定所述数据挖掘模型的故障类型；和/或，根据预置的第三参量阈值及所述第三参量，确定所述数据挖掘模型的故障类型。进一步，所述方法还包括：根据预设周期内所述数据挖掘模型运行故障及运行正常的统计值，确定所述数据挖掘模型的生存时期，所述生存时期包括模型正常期、模型衰退期和模型失效期。进一步，所述方法还包括：根据所述数据挖掘模型的生成时期以及预先建立的监督学习模型，预测所述数据挖掘模型在未来周期的生存时期。本申请还公开了一种数据挖掘模型的诊断装置，包括：参量获取单元，被配置为获得数据挖掘模型的运行评估参量，所述运行评估参量至少包括用于描述业务效果的第一参量；故障诊断单元，被配置为当所述运行评估参量达到预置的故障条件时，确定所述数据挖掘模型运行故障。进一步，所述运行评估参量还包括用于描述运行环境的第二参量和/或用于描述运行参数的第三参量。进一步，所述装置还包括：故障分析单元，被配置为根据预置的第二参量阈值及所述第二参量，确定所述数据挖掘模型的故障类型；和/或，根据预置的第三参量阈值及所述第三参量，确定所述数据挖掘模型的故障类型。进一步，所述装置还包括：模型分析单元，被配置为根据预设周期内所述数据挖掘模型运行故障及运行正常的统计值，确定所述数据挖掘模型的生存时期，所述生存时期包括模型正常期、模型衰退期和模型失效期。进一步，所述装置还包括：预警单元，被配置为根据所述数据挖掘模型的生成时期以及预先建立的监督学习模型，预测所述数据挖掘模型在未来周期的生存时期。与现有技术相比，本申请实施例包括以下优点：本申请实施例通过对数据挖掘模型进行监控并对其运行评估获得运行评估参量，实现了对模型运行效果的跟踪，并且通过设置故障条件来对数据挖掘模型的运行故障进行判断，实现了对模型健康度的自动监控。该方法实现了数据挖掘模型上线后的自动化故障诊断，为包括工业界和学术界已有技术的重要补充。附图说明图1是本申请的一种数据挖掘模型的诊断方法实施例的步骤流程图；图2是本申请的另一种数据挖掘模型的诊断方法实施例的步骤流程图；图3是本申请的另一种数据挖掘模型的诊断方法实施例的步骤流程图；图4是本申请的一种数据挖掘模型的诊断装置实施例的结构框图；图5是本申请的另一种数据挖掘模型的诊断装置实施例的结构框图；图6是本申请的另一种数据挖掘模型的诊断装置实施例的结构框图。具体实施方式为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。参照图1，示出了本申请的一种数据挖掘模型的诊断方法实施例的步骤流程图，具体可以包括如下步骤：步骤101，获得数据挖掘模型的运行评估参量，该运行评估参量至少包括用于描述业务效果的第一参量。本申请实施例应用于多个数据挖掘模型同时运行的场景，多个数据挖掘模型可以应用于不同的应用场景，产生不同的应用效果。这些数据挖掘模型可以存储在同一的模型库中。本实施例中，用于对数据挖掘模型诊断的装置(以下简称该装置)可以实时监控各数据挖掘模型的运行情况，并根据运行情况计算数据挖掘模型的运行评估参量。该运行评估参量至少包括用于描述业务效果的第一参量，其中，该第一参量可以是误差值、误差率、准确率等。该装置可以定时或周期性的根据数据挖掘模型的运行情况计算数据挖掘模型的运行评估参量，该周期可以与数据挖掘模型的执行周期相同，例如为T天。例如，根据不同的数据挖掘模型，对业务效果进行计算获得第一参量如下：模型1：时序预测模型模型2：回归预测模型模型3：分类模型模型1的第一参量：平均误差率＝10％，平均误差值＝100000元模型2的第一参量：误差率＝8％，误差值＝8000元模型3的第一参量：准确率＝85％该运行评估参量还可以包括其它参量，例如用于描述运行环境的第二参量和/或用于描述运行参数的第三参量等。步骤102，当运行评估参量达到预置的故障条件时，确定数据挖掘模型运行故障。在获得上述运行评估参量后，该装置即可判断该运行评估参量是否达到预置的故障条件，进而确定数据挖掘模型是否存在运行故障。该故障条件可以根据经验值获得。具体的，可以设置第一参量的故障条件，当该第一参量达到预置条件时，认为该数据挖掘模型运行故障。例如，设置第一参量的误差率阈值，当上步骤获得的第一参量达到该误差率阈值时，将该次数据挖掘模型的运行确定为运行故障。该装置可以针对运行评估参量所包含的具体参量来对应设置故障条件。本实施例中，该装置可以按照预设周期同时获得多个或所有数据挖掘模型的运行评估参量。本申请实施例通过对数据挖掘模型进行监控并对其运行评估获得运行评估参量，实现了对模型运行效果的跟踪，并且通过设置故障条件来对数据挖掘模型的运行故障进行判断，实现了对模型健康度的自动监控。该方法实现了数据挖掘模型上线后的自动化故障诊断，为包括工业界和学术界已有技术的重要补充。参照图2，示出了本申请的另一种数据挖掘模型的诊断方法实施例的步骤流程图，具体可以包括如下步骤：步骤201，获得数据挖掘模型的运行评估参量，该运行评估参量包括用于描述业务效果的第一参量，用于描述运行环境的第二参量和/或用于描述运行参数的第三参量。本实施例中，数据挖掘模型的运行评估参量除了包括用于描述业务效果的第一参量之外，还包括用于描述运行环境的第二参量和用于描述运行参数的第三参量。在其它实施例中，可以只包括第一参量和第二参量或者只包括第一参量和第三参量。其中，第二参量是对模型的运行环境进行分解计算获得的，例本文档来自技高网...

【技术保护点】
一种数据挖掘模型的诊断方法，其特征在于，包括：获得数据挖掘模型的运行评估参量，所述运行评估参量至少包括用于描述业务效果的第一参量；当所述运行评估参量达到预置的故障条件时，确定所述数据挖掘模型运行故障。

【技术特征摘要】
1.一种数据挖掘模型的诊断方法，其特征在于，包括：获得数据挖掘模型的运行评估参量，所述运行评估参量至少包括用于描述业务效果的第一参量；当所述运行评估参量达到预置的故障条件时，确定所述数据挖掘模型运行故障。2.根据权利要求1所述的方法，其特征在于，所述运行评估参量还包括用于描述运行环境的第二参量和/或用于描述运行参数的第三参量。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据预置的第二参量阈值及所述第二参量，确定所述数据挖掘模型的故障类型；和/或，根据预置的第三参量阈值及所述第三参量，确定所述数据挖掘模型的故障类型。4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述方法还包括：根据预设周期内所述数据挖掘模型运行故障及运行正常的统计值，确定所述数据挖掘模型的生存时期，所述生存时期包括模型正常期、模型衰退期和模型失效期。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：根据所述数据挖掘模型的生成时期以及预先建立的监督学习模型，预测所述数据挖掘模型在未来周期的生存时期。6.一种数据挖掘模型的诊断装置，其特征在于，包括：参量...

【专利技术属性】
技术研发人员：王瑜，叶舟，陈凡，杨洋，叶苏俐，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY