模型稳定性监测方法、装置和计算机设备制造方法及图纸

本申请涉及一种模型稳定性监测方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取目标监测模型；获取至少两个不同数据集应用目标监测模型得到的至少两个不同应用相关数据集合；从至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度；根据至少一个稳定性维度的评估结果，对目标监测模型进行稳定性评估；至少一个稳定性评估维度的评估结果包括一致性评估维度的一致性程度；在稳定性评估结果为目标监测模型的稳定性异常时，对目标监测模型进行稳定性异常提示。该方法丰富了模型的评价指标，并实现对模型的稳定性自动检测。对模型的稳定性自动检测。对模型的稳定性自动检测。

【技术实现步骤摘要】
模型稳定性监测方法、装置和计算机设备


[0001]本申请涉及机器学习
，特别是涉及一种模型稳定性监测方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着人工智能技术的发展，机器学习应用的比重逐渐增大。机器学习通过对大量样本进行学习得到模型，利用模型能够分析数据并学习预测结果。
[0003]通常在模型训练阶段，通过错误率和召回率等性能指标对模型进行评价，以评价模型的好坏。但传统的模型评价方式通常只关注模型的准确度，评价维度单一。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够扩展模型评价维度的模型稳定性监测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种模型稳定性监测方法。所述方法包括：
[0006]获取目标监测模型；
[0007]获取至少两个不同数据集应用所述目标监测模型得到的至少两个不同应用相关数据集合；
[0008]从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型稳定性监测方法，其特征在于，所述方法包括：获取目标监测模型；获取至少两个不同数据集应用所述目标监测模型得到的至少两个不同应用相关数据集合；从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据所述至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度；根据至少一个稳定性维度的评估结果，对所述目标监测模型进行稳定性评估；所述至少一个稳定性评估维度的评估结果包括所述一致性评估维度的一致性程度；在所述稳定性评估结果为所述目标监测模型的稳定性异常时，对所述目标监测模型进行稳定性异常提示。2.根据权利要求1所述的方法，其特征在于，所述不同数据集为不同应用时间的数据集；所述一致性维度包括跨时间一致性维度；所述从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据所述至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度，包括：从所述至少两个不同应用相关数据集合中获取至少两个不同应用时间的数据集对应的预测值分布比例序列；根据至少两个不同应用时间的数据集对应的预测值分布比例序列，得到所述目标监测模型在跨时间一致性评估维度的跨时间一致性程度。3.根据权利要求1所述的方法，其特征在于，不同数据集为不同样本分布的数据集；所述一致性维度包括跨样本一致性维度；所述从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据所述至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度，包括：从所述至少两个不同应用相关数据集合中获取至少两个不同样本分布的数据集对应的预测值分布比例序列，根据至少两个不同样本分布的数据集对应的预测值分布比例序列，得到在跨样本一致性评估维度的跨样本一致性程度。4.根据权利要求2所述的方法，其特征在于，所述至少两个不同应用相关数据集合包括各不同数据集对应的预测输出值；所述一致性维度还包括跨样本一致性维度；所述从所述至少两个不同应用相关数据集合中获取至少两个不同数据集对应的预测值分布比例序列，根据至少两个不同数据集对应的预测值分布比例序列得到一致性维度的一致性程度，还包括：对所述至少两个应用时间的数据集进行样本分布分析，得到各数据集中各数据的样本分布标签；根据所述样本分布标签对各不同数据集的预测输出值进行分析，确定不同样本分布的预测输出值分布；...

【专利技术属性】
技术研发人员：曾炜，郭潇阳，刘玉凤，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：