机器学习模型优化效果评估方法、装置、终端及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种机器学习模型优化效果评估方法、装置、终端及存储介质，包括：将历史样本数据集切分为多个测试样本数据集；使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；基于所述多个评估分值构建评估矩阵；根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。本发明专利技术能够结合业务指标和技术指标对多次迭代优化的机器学习模型进行评估。

【技术实现步骤摘要】
机器学习模型优化效果评估方法、装置、终端及存储介质
本专利技术涉及人工智能
，具体涉及一种机器学习模型优化效果评估方法、装置、终端及存储介质。
技术介绍
随着机器学习的快速发展，有越来越多的业务场景利用机器学习模型进行预测。例如，保险业务场景中利用机器学习模型预测用户的留存率等。现有技术中，会对机器学习模型进行多次迭代优化并选取最新一次的优化模型来进行预测。然而，专利技术人在实现本专利技术的过程中发现，最新一次的优化模型的预测准确率并一定高于历史的优化模型的预测准确率，且机器学习模型虽能够对某一样本进行预测，但可能需要很长的时间才能确定机器学习模型对该样本的预测结果是否准确。因此，有必要提供一种对多次迭代优化的机器学习模型进行评估的技术方案。
技术实现思路
鉴于以上内容，有必要提出一种机器学习模型优化效果评估方法、装置、终端及存储介质，首次结合业务指标和技术指标对多次迭代优化的机器学习模型进行评估。本专利技术的第一方面提供一种机器学习模型优化效果评估方法，所述方法包括：将历史样本数据集切分为多个测试样本数据集；使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；基于所述多个评估分值构建评估矩阵；根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。优选的，所述将历史样本数据集切分为多个测试样本数据集包括：获取每个机器学习模型的上线时间；对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集。优选的，所述根据所述多个预测值和所述评估函数计算多个评估分值包括：获取每个机器学习模型对应的多个预测值中的多个第一预测值；获取所述多个第一预测值对应的多个实际值；根据所述多个预测值及所述多个实际值计算得到业务指标；根据所述多个预测值计算性能指标；输入所述业务指标及所述性能指标至所述评估函数中得到每个机器学习模型的评估分值。优选的，所述评估函数为：Score＝(a+b)/(a/AUC+b/RR)，其中，AUC为技术指标，RR为业务指标，a为所述技术指标的权重系数，b为所述业务指标的权重系数，a+b＝1。优选的，所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值包括：针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其他机器学习模型的评估分值；确定所有其他机器学习模型的评估分值的最大评估分值；计算所述机器学习模型的评估分值与所述最大评估分值之间的差值，作为所述机器学习模型的优化效果值。优选的，在所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值之后，所述方法还包括：选取最大的优化效果值对应的机器学习模型为目标机器学习模型；使用所述目标机器学习模型对至少一个目标用户进行预测并获取至少一个预测结果。优选的，所述方法还包括：比较所述至少一个预测结果与多个预设范围；将每个预设范围内的预测结果对应的目标用户的信息写入每个预设范围对应的数据队列中。本专利技术的第二方面提供一种机器学习模型优化效果评估装置，所述装置包括：样本切分模块，用于将历史样本数据集切分为多个测试样本数据集；模型预测模块，用于使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；分值计算模块，用于基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；矩阵构建模块，用于基于所述多个评估分值构建评估矩阵；优化评估模块，用于根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。本专利技术的第三方面一种终端，所述终端包括：存储器，用于存储计算机程序；处理器，所述处理器用于执行所述计算机程序时实现所述的机器学习模型优化效果评估方法。本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的机器学习模型优化效果评估方法。综上所述，本专利技术所述的机器学习模型优化效果评估方法、装置、终端及存储介质，基于业务指标和技术指标构建评估函数，使用所述评估函数计算多个机器学习模型输出的多个预测值得到评估分值，基于评估分值构建评估矩阵，最后根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值，实现了对多次迭代优化的机器学习模型进行评估的效果。基于评估效果值，便于从多次迭代优化的机器学习模型中选取出预测准确率最高的机器学习模型，从而使用预测准确率最高的机器学习模型进行预测，能够提升预测的准确率。附图说明图1是本专利技术实施例一提供的机器学习模型优化效果评估方法的流程图。图2是本专利技术实施例二提供的机器学习模型优化效果评估装置的结构图。图3是本专利技术实施例三提供的终端的结构示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。图1是本专利技术实施例一提供的机器学习模型优化效果评估方法的流程图。所述机器学习模型优化效果评估方法由终端执行，可应用于智慧政务中，推动智慧城市的建设。所述机器学习模型优化效果评估方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。S11，将历史样本数据集切分为多个测试样本数据集。终端定期或者不定期的对机器学习模型进行迭代优化，例如，在2019年9月至2020年2月期间，每个月对机器学习模型进行一次迭代优化，每个月的优化方案均不同。在代理人留存场景中，由于优化的机器学习模型对当月的用户进行预测所带来效果的提升无法立即观察到，需要待用户留存满几个月后才能观察到，因此，每次迭代优化的机器学习模型的预测效果可达到的上限不同且未知，不能以某一固定基准线对机器学习模型的优化性能进行评价。其中，机器学习模型的优化性能是指机器学习模型对所述多个历史样本数据集的预测准确率。在一个可选的实施例中，所述将历史样本数据集切分为多个测试样本数据集包括：获取每个机器学习模型的上线时间；对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集。其中本文档来自技高网...

【技术保护点】
1.一种机器学习模型优化效果评估方法，其特征在于，所述方法包括：/n将历史样本数据集切分为多个测试样本数据集；/n使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；/n基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；/n基于所述多个评估分值构建评估矩阵；/n根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。/n

【技术特征摘要】
1.一种机器学习模型优化效果评估方法，其特征在于，所述方法包括：
将历史样本数据集切分为多个测试样本数据集；
使用多个机器学习模型对所述多个测试样本数据集进行预测得到多个预测值；
基于业务指标和技术指标构建评估函数，并根据所述多个预测值和所述评估函数计算多个评估分值；
基于所述多个评估分值构建评估矩阵；
根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值。


2.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述将历史样本数据集切分为多个测试样本数据集包括：
获取每个机器学习模型的上线时间；
对所述上线时间进行排序，并将排序后的上线时间确定为切分时间节点；
根据所述切分时间节点将所述历史样本数据集切分为多个测试样本数据集。


3.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述根据所述多个预测值和所述评估函数计算多个评估分值包括：
获取每个机器学习模型对应的多个预测值中的多个第一预测值；
获取所述多个第一预测值对应的多个实际值；
根据所述多个预测值及所述多个实际值计算得到业务指标；
根据所述多个预测值计算性能指标；
输入所述业务指标及所述性能指标至所述评估函数中得到每个机器学习模型的评估分值。


4.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述评估函数为：Score＝(a+b)/(a/AUC+b/RR)，其中，AUC为技术指标，RR为业务指标，a为所述技术指标的权重系数，b为所述业务指标的权重系数，a+b＝1。


5.如权利要求1所述的机器学习模型优化效果评估方法，其特征在于，所述根据预设优化效果评估模型及所述评估矩阵评估出每个机器学习模型的优化效果值包括：
针对每一个机器学习模型，从所述评估矩阵中获取所述机器学习模型的上线时间所在列的所有其...

【专利技术属性】
技术研发人员：杜宇衡，萧梓健，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44