应用推荐模型的评估方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种应用推荐模型的评估方法，包括：获取目标应用推荐模型的多份样本评估数据；其中，每份样本评估数据包括一个样本的样本预测概率值以及样本真实值；对所述多份样本评估数据分组，得到多组样本评估组；其中，每个所述样本评估组中包括不少于预设的样本数目的所述样本评估数据；获取每组所述样本评估组的分组预测值以及分组实际值；根据所述分组预测值以及所述分组实际值，获取所述目标应用推荐模型的模型评估值。根据本发明专利技术能够通过评估应用推荐模型的预测值和真实值之间的关系，使得目标应用推荐模型的质量评估更全面、准确。

Evaluation Method, Device and Electronic Equipment Using Recommendation Model

The invention discloses an evaluation method for application recommendation model, which includes: acquiring multi-sample evaluation data of target application recommendation model; each sample evaluation data includes sample prediction probability value and sample true value of one sample; grouping the multi-sample evaluation data to obtain multi-group sample evaluation group; and each sample evaluation group includes no samples. Sample evaluation data less than the preset number of samples; group prediction value and actual value of each group of the sample evaluation group; model evaluation value of the target application recommendation model is obtained according to the group prediction value and the actual value of the group. According to the present invention, the quality evaluation of target application recommendation model can be more comprehensive and accurate by evaluating the relationship between the predicted value and the real value of the application recommendation model.

【技术实现步骤摘要】
应用推荐模型的评估方法、装置及电子设备
本专利技术涉及软件应用
，更具体地，涉及一种应用推荐模型的评估方法、装置及电子设备。
技术介绍
应用是通过人机交互界面与用户进行交互、提供某种特定应用服务的软件程序。随着计算机技术的飞速发展和互联网普及率高速增长，人们已经习惯于使用诸如手机、电脑这类电子设备，从提供应用搜索、下载、推荐的应用平台例如应用商店，获取符合自身需求的应用，下载安装后运行该应用获取对应的应用服务。在应用商店这类应用平台中，提供的应用推荐服务通常是基于某个应用推荐模型，从可供用户获取的大量应用中，筛选出符合用户偏好的应用推荐给用户。因此，应用推荐模型的质量优劣，是影响应用推荐效果的关键因素。所以，如何准确评估应用推荐模型，对确保稳定推送优质的应用给用户具有至关重要的影响。目前，业内对应用推荐模型的评估，通常使用例如AUC(AreaUnderCurve，曲线下面积)评估这类评价分类优劣的方法，但是AUC评估主要侧重在于评价应用推荐模型的分类准确性，对应评估的是应用推荐模型的模型排序结果，无法评估应用推荐模型的预测值与真实值之间的关系，不能全面、准确的评估应用推荐模型的质量。
技术实现思路
本专利技术的一个目的是提供一种用于应用推荐模型评估的新技术方案。根据本专利技术的第一方面，提供了一种应用推荐模型的评估方法，包括：获取目标应用推荐模型的多份样本评估数据；其中，每份样本评估数据包括一个样本的样本预测概率值以及样本真实值；对所述多份样本评估数据分组，得到多组样本评估组；其中，每个所述样本评估组中包括不少于预设的样本数目的所述样本评估数据；获取每组所述样本评估组的分组预测值以及分组实际值；根据所述分组预测值以及所述分组实际值，获取所述目标应用推荐模型的模型评估值。可选地，还包括：当所述模型评估值高于预设的评估阈值时，确定所述目标应用推荐模型的模型质量不符合推荐需求，触发对所述目标应用推荐模型的更新。可选地，获取目标应用推荐模型的多份样本评估数据的步骤包括：获取所述目标应用推荐模型的多个样本的模型样本值以及对应的样本真实值；当所述模型样本值不属于预设的样本评估范围时，通过预设的样本处理方式对模型样本值进行处理，得到对应的所述样本预测概率值；当所述模型样本值属于预设的样本评估范围时，将所述模型样本值设置为对应的所述样本预测概率值。可选地，所述样本处理方式是逻辑回归处理。可选地，对所述多份样本评估数据分组的步骤包括：根据所述样本预测概率值，对所述多份样本评估数据进行降序排序；将所述降序排序后的所述多份样本评估数据，划分得到符合预设的分组数目的样本评估组。可选地，所述获取每组所述样本评估组的分组预测值以及分组实际值的步骤包括：根据所述样本评估组中包括的每份所述样本评估数据的所述样本预测概率值，确定所述分组预测值；根据所述样本评估组中包括的每份所述样本评估数据的所述样本真实值，确定所述分组实际值。可选地，所述确定分组预测值的步骤包括：对所述样本评估组中包括的每份所述样本评估数据的所述样本预测概率值求和，将求和得到的结果作为所述分组预测值；以及所述确定所述分组实际值的步骤包括：对所述样本评估组中包括的每份所述样本评估数据的所述样本真实值求和，将求和得到的结果作为所述分组实际值。可选地，获取所述目标应用推荐模型的模型评估值的步骤包括：根据每组所述样本评估组的分组预测值、所述分组真实值以及对应的包括样本评估数据的数目，确定分组评估值；根据每组所述样本评估组的所述分组评估值，确定所述目标应用推荐模型的模型评估值。可选地，所述确定分组评估值的步骤包括：根据所述分组预测值、所述分组真实值以及所述样本评估数据的数目，确定对应的分组平方差；根据所述分组平方差、分组预测值以及所述样本评估数据的数目，确定对应的分组评估值；和/或，所述确定所述目标应用推荐模型的模型评估值的步骤包括：将每组所述样本评估组的所述分组评估值求和，将求和得到的结果作为所述模型评估值。根据本专利技术的第二方面，提供一种应用推荐模型的评估装置，包括：数据获取单元，用于获取目标应用推荐模型的多份样本评估数据；其中，每份样本评估数据包括一个样本的样本预测概率值以及样本真实值；样本分组单元，用于对所述多份样本评估数据分组，得到多组样本评估组；其中，每个所述样本评估组中包括不少于预设的样本数目的所述样本评估数据；分组处理单元，用于获取每组所述样本评估组的分组预测值以及分组实际值；模型评估单元，用于根据所述分组预测值以及所述分组实际值，获取所述目标应用推荐模型的模型评估值。根据本专利技术的第三方面，提供一种电子设备，包括：存储器，用于存储可执行的指令；处理器，用于根据所述可执行的指令的控制，运行所述电子设备以执行本专利技术第一方面提供的应用推荐模型的评估方法。根据本公开的一个实施例，通过目标应用推荐模型的包括样本预测概率值及样本真实值的样本评估数据，评估应用推荐模型的预测值和真实值之间的关系，反映应用推荐模型的拟合度，使得目标应用推荐模型的质量评估更全面、准确。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1是显示可用于实现本专利技术的实施例的计算系统的硬件配置的例子的框图。图2示出了本专利技术的实施例的评估方法的流程图。图3示出了本专利技术的实施例的获取样本评估数据步骤的流程图。图4示出了本专利技术的实施例的获取样本评估组步骤的流程图。图5示出了本专利技术的实施例的获取分组预测值及分组实际值步骤的流程图。图6示出了本专利技术的实施例的获取模型评估值步骤的流程图。图7示出了本专利技术的实施例的获取分组评估值步骤的流程图。图8示出了本专利技术的实施例的应用推荐模型的评估装置的框图。图9示出了本专利技术的实施例的应用推荐模型的评估装置的又一框图。图10示出了本专利技术的实施例的电子设备的框图。具体实施方式现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。<硬件配置>图1是示出可以实现本专利技术的实施例的电子设备1000的硬件配置的框图。电子设备1000可以是便携式电脑、台式计算机、手机、平板电脑等。如图1所示，电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM本文档来自技高网...

【技术保护点】
1.一种应用推荐模型的评估方法，其中，包括：获取目标应用推荐模型的多份样本评估数据；其中，每份样本评估数据包括一个样本的样本预测概率值以及样本真实值；对所述多份样本评估数据分组，得到多组样本评估组；其中，每个所述样本评估组中包括不少于预设的样本数目的所述样本评估数据；获取每组所述样本评估组的分组预测值以及分组实际值；根据所述分组预测值以及所述分组实际值，获取所述目标应用推荐模型的模型评估值。

【技术特征摘要】
1.一种应用推荐模型的评估方法，其中，包括：获取目标应用推荐模型的多份样本评估数据；其中，每份样本评估数据包括一个样本的样本预测概率值以及样本真实值；对所述多份样本评估数据分组，得到多组样本评估组；其中，每个所述样本评估组中包括不少于预设的样本数目的所述样本评估数据；获取每组所述样本评估组的分组预测值以及分组实际值；根据所述分组预测值以及所述分组实际值，获取所述目标应用推荐模型的模型评估值。2.根据权利要求1所述的方法，其中，还包括：当所述模型评估值高于预设的评估阈值时，确定所述目标应用推荐模型的模型质量不符合推荐需求，触发对所述目标应用推荐模型的更新。3.根据权利要求1所述的方法，其中，所述获取目标应用推荐模型的多份样本评估数据的步骤包括：获取所述目标应用推荐模型的多个样本的模型样本值以及对应的样本真实值；当所述模型样本值不属于预设的样本评估范围时，通过预设的样本处理方式对模型样本值进行处理，得到对应的所述样本预测概率值；当所述模型样本值属于预设的样本评估范围时，将所述模型样本值设置为对应的所述样本预测概率值。4.根据权利要求3所述的方法，其中，所述样本处理方式是逻辑回归处理。5.根据权利要求1所述的方法，其中，对所述多份样本评估数据分组的步骤包括：根据所述样本预测概率值，对所述多份样本评估数据进行降序排序；将所述降序排序后的所述多份样本评估数据，划分得到符合预设的分组数目的样本评估组。6.根据权利要求1所述的方法，其中，所述获取每组所述样本评估组的分组预测值以及分组实际值的步骤包括：根据所述样本评估组中包括的每份所述样本评估数据的所述样本预测概率值，确定所述分组预测值；根据所述样本评估组中包括的每份所述样本评估数据的所述样本真实值，确定所述分组实际值。7.根据权利要求6所述的方法，其中，所述确定分组预测值...

【专利技术属性】
技术研发人员：陈伊纯，
申请(专利权)人：广州优视网络科技有限公司，
类型：发明
国别省市：广东,44