机器学习模型优化效果评估方法、装置、终端及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种机器学习模型优化效果评估方法、装置、终端及存储介质，包括：将历史样本数据集切分为多个测试样本数据集；使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；基于所述多个评估分值构建评估矩阵；根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。本发明专利技术能够结合业务指标和技术指标对多次迭代优化的机器学习模型进行评估。

【技术实现步骤摘要】
机器学习模型优化效果评估方法、装置、终端及存储介质
本专利技术涉及人工智能
，具体涉及一种机器学习模型优化效果评估方法、装置、终端及存储介质。
技术介绍
随着机器学习的快速发展，有越来越多的业务场景利用机器学习模型进行预测。例如，保险业务场景中利用机器学习模型预测用户的留存率等。现有技术中，会对机器学习模型进行多次迭代优化并选取最新一次的优化模型来进行预测。然而，专利技术人在实现本专利技术的过程中发现，最新一次的优化模型的预测准确率并一定高于历史的优化模型的预测准确率，且机器学习模型虽能够对某一样本进行预测，但可能需要很长的时间才能确定机器学习模型对该样本的预测结果是否准确。因此，有必要提供一种对多次迭代优化的机器学习模型进行评估的技术方案。
技术实现思路
鉴于以上内容，有必要提出一种机器学习模型优化效果评估方法、装置、终端及存储介质，首次结合业务指标和技术指标对多次迭代优化的机器学习模型进行评估。本专利技术的第一方面提供一种机器学习模型优化效果评估方法，所述方法包括：将历史样本本文档来自技高网...

【技术保护点】
1.一种机器学习模型优化效果评估方法，其特征在于，所述方法包括：/n将历史样本数据集切分为多个测试样本数据集；/n使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；/n基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；/n基于所述多个评估分值构建评估矩阵；/n根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。/n

【技术特征摘要】
1.一种机器学习模型优化效果评估方法，其特征在于，所述方法包括：
将历史样本数据集切分为多个测试样本数据集；
使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；
基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；
基于所述多个评估分值构建评估矩阵；
根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。


2.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述将历史样本数据集切分为多个测试样本数据集包括：
获取每个机器学习模型的上线时间；
对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；
根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集。


3.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述根据所述多个预测值和所述评估函数计算多个评估分值包括：
获取每个机器学习模型对应的多个预测值中的多个第一预测值；
获取所述多个第一预测值对应的多个实际值；
根据所述多个预测值及所述多个实际值计算得到业务指标；
根据所述多个预测值计算性能指标；
输入所述业务指标及所述性能指标至所述评估函数中得到每个机器学习模型的评估分值。


4.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述评估函数为：Score＝(a+b)/(a/AUC+b/RR)，其中，AUC为技术指标，RR为业务指标，a为所述技术指标的权重系数，b为所述业务指标的权重系数，a+b＝1。


5.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值包括：
针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其...

【专利技术属性】
技术研发人员：杜宇衡，萧梓健，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44