基于机器学习的数据监控方法及装置制造方法及图纸

本申请实施例提供一种基于机器学习的数据监控方法及装置，方法包括：根据目标分类模型在设定时间周期内对应各分类评分分数段的核准率信息，确定该目标分类模型的评分分值与时间的对应关系；根据所述目标分类模型的评分分值与时间的对应关系与所述设定时间周期内原始训练数据与新增预测数据的比值，确定所述目标分类模型的评分分布稳定性监控结果；当监测到所述目标分类模型的评分分布稳定性监控结果符合异常分布条件时，根据预设特征变量在原始训练数据和新增预测数据中的分布占比，确定所述目标分类模型的特征分布稳定性监控结果；本申请能够准确监控目标分类模型在实际应用时的异常变化，提升目标分类模型在实际应用时的准确性和可靠性。

Data monitoring method and device based on machine learning

【技术实现步骤摘要】
基于机器学习的数据监控方法及装置
本申请涉及数据监控领域，具体涉及一种基于机器学习的数据监控方法及装置。
技术介绍
随着大数据和人工智能的发展，机器学习模型是基于过去的数据来预测未来。机器学习技术在金融风控、营销领域广泛的应用，需要“高质量的数据+审慎严谨的决策模型+实时全面的监控分析”动态闭环，动态闭环能够“动态”起来，需要最后一个步骤“监控”把关，全面、细致的分析、评估决策效果，使决策体系不断进化。对于金融风控领域，通过运用大量的历史样例数据对二分类评分模型进行训练，训练生成评分模型，如信用评分模型。模型是服务于业务的，业务中需要对线上的客户进行信用评分预测，使用客户的进件数据通过调用训练好的模型给出评分预测结果。但随着外部环境变化，如市场波动、整体经济形势的变化、行业政策的变化(新法律法规)，都会影响模型的预期结果。因此，需要一套有效的模型监控系统来对上线模型进行监测，前端监控是在使用模型前要知道模型能不能用，需要定期验证模型的适用性，当异常情况出现时要进行适当维护，确保模型能有效的识别客户信用风险，长期使用的模型，其中的特征变量一定不能波动性较大，当偏移指标数据变化大时，是进件整体数据的变化，如数据缺失、异常，还是某个入模特征的变化，是需要进行模型迭代，还是不做改变；后端监控是业务方通过模型给客户进行了授信评分，对比经过一段时间的客户表现期过后的真实标签来确认模型是否预测准确及分析特征变量的有效性。现有市面上大部分机器学习建模平台中大多是只提供的建模工具功能，或提供模型服务，即将训练好的模型以模型文件封装成接口的方式提供给甲方公司，缺失模型上线后的监控动态闭环。另外，对于某些平台也仅通过接口调用的形式监测一个评分的稳定性PSI指标。这并不能深度分析模型变化的原因，如监控指标说明模型稳定性指标有变化时，是不是需要查看特征相关指标，整体趋势的观察、细节统计值的观察，得出一份准确度高的监控报告，并进行后续详细的策略改善。
技术实现思路
针对现有技术中的问题，本申请提供一种基于机器学习的数据监控方法及装置，能够准确监控目标分类模型在实际应用时的异常变化，提升目标分类模型在实际应用时的准确性和可靠性。为了解决上述问题中的至少一个，本申请提供以下技术方案：第一方面，本申请提供一种基于机器学习的数据监控方法，包括：根据目标分类模型在设定时间周期内对应各分类评分分数段的核准率信息，确定该目标分类模型的评分分值与时间的对应关系；根据所述目标分类模型的评分分值与时间的对应关系与所述设定时间周期内原始训练数据与新增预测数据的比值，确定所述目标分类模型的评分分布稳定性监控结果；当监测到所述目标分类模型的评分分布稳定性监控结果符合异常分布条件时，根据预设特征变量在原始训练数据和新增预测数据中的分布占比，确定所述目标分类模型的特征分布稳定性监控结果。进一步地，在所述确定所述目标分类模型的特征分布稳定性监控结果之后，还包括：根据新增预测数据对应的预测结果和表现期过后的真实结果，确定该目标分类模型的评分正确性监控结果。进一步地，在所述确定所述目标分类模型的特征分布稳定性监控结果之后，还包括：根据预设特征变量在所述目标分类模型中的原始训练数据占比和新增预测数据占比，确定所述目标分类模型的特征变量有效性监控结果。进一步地，还包括：根据所述目标分类模型的评分分布稳定性监控结果、特征分布稳定性监控结果、评分正确性监控结果以及特征变量有效性监控结果中的至少一项与对应的预设阈值的对比结果，向对应的管理员终端发送告警信息。第二方面，本申请提供一种基于机器学习的数据监控装置，包括：时间评分对应关系确定模块，用于根据目标分类模型在设定时间周期内对应各分类评分分数段的核准率信息，确定该目标分类模型的评分分值与时间的对应关系；评分分布稳定性监控模块，用于根据所述目标分类模型的评分分值与时间的对应关系与所述设定时间周期内原始训练数据与新增预测数据的比值，确定所述目标分类模型的评分分布稳定性监控结果；特征分布稳定性监控模块，用于当监测到所述目标分类模型的评分分布稳定性监控结果符合异常分布条件时，根据预设特征变量在原始训练数据和新增预测数据中的分布占比，确定所述目标分类模型的特征分布稳定性监控结果。进一步地，还包括：评分正确性监控模块，用于根据新增预测数据对应的预测结果和表现期过后的真实结果，确定该目标分类模型的评分正确性监控结果。进一步地，还包括：特征变量有效性监控模块，用于根据预设特征变量在所述目标分类模型中的原始训练数据占比和新增预测数据占比，确定所述目标分类模型的特征变量有效性监控结果。进一步地，还包括：告警模块，用于根据所述目标分类模型的评分分布稳定性监控结果、特征分布稳定性监控结果、评分正确性监控结果以及特征变量有效性监控结果中的至少一项与对应的预设阈值的对比结果，向对应的管理员终端发送告警信息。第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于机器学习的数据监控方法的步骤。第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于机器学习的数据监控方法的步骤。由上述技术方案可知，本申请提供一种基于机器学习的数据监控方法及装置，通过根据目标分类模型在设定时间周期内对应各分类评分分数段的核准率信息，确定该目标分类模型的评分分值与时间的对应关系；根据所述目标分类模型的评分分值与时间的对应关系与所述设定时间周期内原始训练数据与新增预测数据的比值，确定所述目标分类模型的评分分布稳定性监控结果；当监测到所述目标分类模型的评分分布稳定性监控结果符合异常分布条件时，根据预设特征变量在原始训练数据和新增预测数据中的分布占比，确定所述目标分类模型的特征分布稳定性监控结果，本申请能够准确监控目标分类模型在实际应用时的异常变化，提升目标分类模型在实际应用时的准确性和可靠性。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例中的基于机器学习的数据监控方法的流程示意图；图2为本申请实施例中的基于机器学习的数据监控装置的结构图。图3为本申请实施例中的电子设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例本文档来自技高网...

【技术保护点】
1.一种基于机器学习的数据监控方法，其特征在于，所述方法包括：/n根据目标分类模型在设定时间周期内对应各分类评分分数段的核准率信息，确定该目标分类模型的评分分值与时间的对应关系；/n根据所述目标分类模型的评分分值与时间的对应关系与所述设定时间周期内原始训练数据与新增预测数据的比值，确定所述目标分类模型的评分分布稳定性监控结果；/n当监测到所述目标分类模型的评分分布稳定性监控结果符合异常分布条件时，根据预设特征变量在原始训练数据和新增预测数据中的分布占比，确定所述目标分类模型的特征分布稳定性监控结果。/n

【技术特征摘要】
1.一种基于机器学习的数据监控方法，其特征在于，所述方法包括：
根据目标分类模型在设定时间周期内对应各分类评分分数段的核准率信息，确定该目标分类模型的评分分值与时间的对应关系；
根据所述目标分类模型的评分分值与时间的对应关系与所述设定时间周期内原始训练数据与新增预测数据的比值，确定所述目标分类模型的评分分布稳定性监控结果；
当监测到所述目标分类模型的评分分布稳定性监控结果符合异常分布条件时，根据预设特征变量在原始训练数据和新增预测数据中的分布占比，确定所述目标分类模型的特征分布稳定性监控结果。


2.根据权利要求1所述的基于机器学习的数据监控方法，其特征在于，在所述确定所述目标分类模型的特征分布稳定性监控结果之后，还包括：
根据新增预测数据对应的预测结果和表现期过后的真实结果，确定该目标分类模型的评分正确性监控结果。


3.根据权利要求2所述的基于机器学习的数据监控方法，其特征在于，在所述确定所述目标分类模型的特征分布稳定性监控结果之后，还包括：
根据预设特征变量在所述目标分类模型中的原始训练数据占比和新增预测数据占比，确定所述目标分类模型的特征变量有效性监控结果。


4.根据权利要求3所述的基于机器学习的数据监控方法，其特征在于，还包括：
根据所述目标分类模型的评分分布稳定性监控结果、特征分布稳定性监控结果、评分正确性监控结果以及特征变量有效性监控结果中的至少一项与对应的预设阈值的对比结果，向对应的管理员终端发送告警信息。


5.一种基于机器学习的数据监控装置，其特征在于，包括：
时间评分对应关系确定模块，用于根据目标分类模型在设定时间周期内对应各分类评分分数段的核准率信息，确定该目标分类模型的评分分值与时间的对...

【专利技术属性】
技术研发人员：崔晶晶，任捷，
申请(专利权)人：北京集奥聚合科技有限公司，
类型：发明
国别省市：北京;11