模型准确率评估方法、装置、电子设备及计算机存储介质制造方法及图纸

本说明书实施例公开了一种模型准确率评估方法、装置、电子设备及计算机存储介质。其中，该方法包括：通过按照预设规则确定获取的待测数据集对应的特征值组，并将上述特征值组输入准确率评估模型中，从而输出得到上述待测数据集经预设模型预测后的预测结果对应的准确率评估结果，上述待测数据集包括多个未知目标值的待测数据，用于预测预设模型的准确率；上述预设模型由样本训练集训练得到，上述样本训练集包括多个已知目标值的样本训练数据；上述特征值组包括至少一个特征值；上述准确率评估模型基于多个已知的特征值组以及各个上述特征值组对应的上述预设模型的预测结果准确率训练得到。率训练得到。率训练得到。

【技术实现步骤摘要】
模型准确率评估方法、装置、电子设备及计算机存储介质


[0001]本说明书涉及计算机
，尤其涉及一种模型准确率评估方法、装置、电子设备及计算机存储介质。

技术介绍

[0002]模型准确率就是模型预测类别正确的数量占实际预测总数量的比例。在算法模型研发中，对于模型准确率的评估是一项非常重要的工作。目前，一般都是通过采用人工打标、采购外部数据、预留一些数据等方式构造的测试集去评估模型的准确率。

技术实现思路

[0003]本说明书实施例提供了一种模型准确率评估方法、装置、电子设备及计算机存储介质，通过根据待测数据集与模型本身的样本训练集之间的特征分布差异去评估模型的准确率，从而实现不需要人工打标数据等昂贵的投入就能够达到评估模型准确率的效果。所述技术方案如下：
[0004]第一方面，本说明书实施例提供了一种模型准确率评估方法，包括：
[0005]获取待测数据集；上述待测数据集包括多个未知目标值的待测数据，用于预测预设模型的准确率；上述预设模型由样本训练集训练得到，上述样本训练集包括多个已知目标值的样本训练数据；
[0006]按照预设规则确定上述待测数据集对应的特征值组；上述特征值组包括至少一个特征值；
[0007]将上述特征值组输入准确率评估模型中，输出上述待测数据集经上述预设模型预测后的预测结果对应的准确率评估结果；上述准确率评估模型基于多个已知的特征值组以及各个上述特征值组对应的上述预设模型的预测结果准确率训练得到。
[0008]在一种可能的实现方式中，每个上述已知的特征值组以及上述特征值组对应的上述预设模型的预测结果准确率由一个训练数据子集得到，每个上述训练数据子集基于预设采样方式对上述样本训练集包括的多个样本训练数据采样得到。
[0009]在一种可能的实现方式中，上述按照预设规则确定上述待测数据集对应的特征值组，包括：
[0010]提取上述待测数据集中每个待测数据的目标字段集合；上述目标字段集合包至少一个目标字段；
[0011]将上述目标字段集合中每个目标字段转换为与上述每个目标字段对应的目标数值，得到上述待测数据集对应的目标数值组；上述目标数值组包括至少一个上述目标数值；
[0012]根据上述待测数据集对应的目标数值组确定上述待测数据集对应的特征值组。
[0013]在一种可能的实现方式中，上述特征值包括上述待测数据集对应的内部特征值；
[0014]上述根据上述待测数据集对应的目标数值组确定上述待测数据集对应的特征值组，包括：
[0015]根据上述待测数据集对应的目标数值组，按照第一预设计算方式计算上述待测数据集对应的内部特征值组；上述内部特征值组包括至少一个内部特征值。
[0016]在一种可能的实现方式中，上述第一预设计算方式包括计算上述待测数据集对应的目标数值组中各同类目标字段对应的目标数值的均值、方差、中值以及百分位数中至少一种。
[0017]在一种可能的实现方式中，上述特征值包括上述待测数据集对应的外部特征值；
[0018]上述根据上述待测数据对应的目标数值组确定上述待测数据集对应的特征值组，包括：
[0019]获取上述预设模型的样本训练集；
[0020]提取上述样本训练集中每个样本训练数据的上述目标字段集合；
[0021]将上述目标字段集合中每个目标字段转换为与上述每个样本训练数据的每个目标字段对应的目标数值，得到上述样本训练集对应的目标数值组；
[0022]根据上述样本训练集对应的目标数值组以及上述待预数据集对应的目标数值组，按照第二预设计算方式计算上述待测数据集对应的外部特征值组；上述外部特征值组包括至少一个外部特征值。
[0023]在一种可能的实现方式中，上述第二预设计算方式包括计算上述样本训练集对应的目标数值组与上述待测数据集对应的目标数值组之间的KL散度值、最大均值差异、Wasserstein距离、JS散度值中至少一种。
[0024]在一种可能的实现方式中，上述预设采样方式包括以下至少一种：全局随机采样、有权重采样。
[0025]第二方面，本说明书实施例提供了一种模型准确率评估装置，包括：
[0026]获取模块，用于获取待测数据集；上述待测数据集包括多个未知目标值的待测数据，用于预测预设模型的准确率；上述预设模型由样本训练集训练得到，上述样本训练集包括多个已知目标值的样本训练数据；
[0027]确定模块，用于按照预设规则确定上述待测数据集对应的特征值组；上述特征值组包括至少一个特征值；
[0028]准确率评估模块，用于将上述特征值组输入准确率评估模型中，输出上述待测数据集经上述预设模型预测后的预测结果对应的准确率评估结果；上述准确率评估模型基于多个已知的特征值组以及各个上述特征值组对应的上述预设模型的预测结果准确率训练得到。
[0029]在一种可能的实现方式中，每个上述已知的特征值组以及上述特征值组对应的上述预设模型的预测结果准确率由一个训练数据子集得到，每个上述训练数据子集基于预设采样方式对上述样本训练集包括的多个样本训练数据采样得到。
[0030]在一种可能的实现方式中，上述确定模块包括：
[0031]提取单元，用于提取上述待测数据集中每个待测数据的目标字段集合；上述目标字段集合包至少一个目标字段；
[0032]转换单元，用于将上述目标字段集合中每个目标字段转换为与上述每个目标字段对应的目标数值，得到上述待测数据集对应的目标数值组；上述目标数值组包括至少一个上述目标数值；
[0033]确定单元，用于根据上述待测数据集对应的目标数值组确定上述待测数据集对应的特征值组。
[0034]在一种可能的实现方式中，上述特征值包括上述待测数据集对应的内部特征值；
[0035]上述确定单元具体用于：
[0036]根据上述待测数据集对应的目标数值组，按照第一预设计算方式计算上述待测数据集对应的内部特征值组；上述内部特征值组包括至少一个内部特征值。
[0037]在一种可能的实现方式中，上述第一预设计算方式包括计算上述待测数据集对应的目标数值组中各同类目标字段对应的目标数值的均值、方差、中值以及百分位数中至少一种。
[0038]在一种可能的实现方式中，上述特征值包括上述待测数据集对应的外部特征值；
[0039]上述确定单元具体用于：
[0040]获取上述预设模型的样本训练集；
[0041]提取上述样本训练集中每个样本训练数据的上述目标字段集合；
[0042]将上述目标字段集合中每个目标字段转换为与上述每个样本训练数据的每个目标字段对应的目标数值，得到上述样本训练集对应的目标数值组；
[0043]根据上述样本训练集对应的目标数值组以及上述待预数据集对应的目标数值组，按照第二预设计算方式计算上述待测数据集对应的外部特征值组；上述外部特征值组包括至少一个外部特征值。
[0044]在一种可能的实现方式中，上述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型准确率评估方法，所述方法包括：获取待测数据集；所述待测数据集包括多个未知目标值的待测数据，用于预测预设模型的准确率；所述预设模型由样本训练集训练得到，所述样本训练集包括多个已知目标值的样本训练数据；按照预设规则确定所述待测数据集对应的特征值组；所述特征值组包括至少一个特征值；将所述特征值组输入准确率评估模型中，输出所述待测数据集经所述预设模型预测后的预测结果对应的准确率评估结果；所述准确率评估模型基于多个已知的特征值组以及各个所述特征值组对应的所述预设模型的预测结果准确率训练得到。2.如权利要求1所述的方法，每个所述已知的特征值组以及所述特征值组对应的所述预设模型的预测结果准确率由一个训练数据子集得到，每个所述训练数据子集基于预设采样方式对所述样本训练集包括的多个样本训练数据采样得到。3.如权利要求1所述的方法，所述按照预设规则确定所述待测数据集对应的特征值组，包括：提取所述待测数据集中每个待测数据的目标字段集合；所述目标字段集合包至少一个目标字段；将所述目标字段集合中每个目标字段转换为与所述每个目标字段对应的目标数值，得到所述待测数据集对应的目标数值组；所述目标数值组包括至少一个所述目标数值；根据所述待测数据集对应的目标数值组确定所述待测数据集对应的特征值组。4.如权利要求3所述的方法，所述特征值包括所述待测数据集对应的内部特征值；所述根据所述待测数据集对应的目标数值组确定所述待测数据集对应的特征值组，包括：根据所述待测数据集对应的目标数值组，按照第一预设计算方式计算所述待测数据集对应的内部特征值组；所述内部特征值组包括至少一个内部特征值。5.如权利要求4所述的方法，所述第一预设计算方式包括计算所述待测数据集对应的目标数值组中各同类目标字段对应的目标数值的均值、方差、中值以及百分位数中至少一种。6.如权利要求3
‑
5中任意一项所述的方法，所述特征值包括所述待测数据集对应的外部特征值；所述根据所述待测数据对应的目标数值组确定所...

【专利技术属性】
技术研发人员：于兴彬，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：