推荐系统模型评测结果的评测方法及电子设备技术方案

本公开提供一种推荐系统模型评测结果的评测方法及电子设备。应用于PyTorch推荐系统框架，通过获取单个批次内每个用户对候选商品的一维分数张量，根据评测方式进行对应重排处理，得到正样本张量均位于负样本张量之前的二维分数张量；生成二维分数张量的列索引的乱序排列，得到重排二维分数张量；并行计算单个批次内每个用户的top‑k商品的原始索引张量；循环前述步骤得到所有用户的top‑k商品的原始索引；计算所有正样本张量与所有用户的top‑k商品的交集在所有用户的top‑k商品的原始索引中的布尔索引张量；对布尔索引张量和所有正样本张量进行计算，得到所有相关top‑k指标的值。测评准确，且兼顾运行速度和空间。

【技术实现步骤摘要】
推荐系统模型评测结果的评测方法及电子设备
本公开涉及智能推荐
，尤其涉及一种推荐系统模型评测结果的评测方法及电子设备。
技术介绍
现如今个性化推荐系统已经成为在各种场景中连接用户和物品的不可或缺的和普遍存在的系统，如多媒体推荐，新闻推荐，商品推荐等。现有的推荐系统算法主要包含两类，一类是基于规则的非深度学习算法，一类是基于神经网络的深度学习算法。PyTorch为深度学习框架，在个性化推荐系统中占据了主要的地位，但目前的PyTorch推荐系统框架存在评测结果失效的风险，因此对PyTorch推荐系统框架评测结果进行评测十分必要。而目前的评测阶段的效率不够高，评估过程十分耗时。因此，亟需一套行之有效的适用PyTorch的推荐系统模型评测结果的评测方法。
技术实现思路
有鉴于此，本公开的目的在于提出一种推荐系统模型评测结果的评测方法及电子设备。基于上述目的，本公开提供了一种推荐系统模型评测结果的评测方法，应用于PyTorch推荐系统框架，所述方法包括：S100,获取推荐系统模型评测结果，得到单个批次内每个用户对候选商品的一维分数张量，根据评测方式进行对应重排处理，得到二维分数张量；所述二维分数张量中，每个用户的正样本张量均位于负样本张量之前；S200,生成所述二维分数张量的列索引的乱序排列，并利用所述列索引的乱序排列将二维分数张量的列重排，得到重排二维分数张量；S300,根据重排二维分数张量，并行计算每个用户的top-k商品对应的索引，并利用所述索引对所述列索引的乱序排列进行索引，得到单个批次内每个用户的top-k商品的原始索引张量；S400,循环所述步骤S100至步骤S300，得到所有批次内每个用户的top-k商品的原始索引，按行拼接，得到所有用户的top-k商品的原始索引；计算所有正样本张量与所有用户的top-k商品的交集在所有用户的top-k商品的原始索引中的布尔索引张量；S500，对所述布尔索引张量和所有正样本张量，进行计算，得到所有相关top-k指标的值。在一些实施例中，所述根据评测方式进行对应重排处理，得到二维分数张量具体包括:若评测方式为负采样，则进行负采样重排；若测评方式为全排序，则进行全排序重排。在一些实施例中，所述负采样重排包括：依据每个用户的候选商品数，对单个批次内每个用户对候选商品的一维分数张量进行划分；填充划分所得结果，得到二维分数张量。在一些实施例中，所述全排序重排包括：填充候选商品中历史交互过的商品的分数；对一维分数张量进行重组，得到二维分数张量。在一些实施例中，所述得到重排二维分数张量具体包括：将二维分数张量随机生成双射表，包括列索引和列索引的随机排列；利用所述双射表中的列索引的随机排列，重新排列二维分数张量的列,得到重排二维分数张量。在一些实施例中，所述得到单个批次内每个用户的top-k商品的原始索引具体包括：获取所述重排二维分数张量中，前k个商品的索引；利用所述前k个商品的索引，访问所述双射表中的列索引，得到单个批次内每个用户的top-k商品的原始索引。在一些实施例中，所述计算所有正样本张量与所有用户的top-k商品的交集在所有用户的top-k商品的原始索引中的布尔索引张量具体包括：比较所有用户的top-k商品的原始索引与用户的正样本张量的数值大小；若为小于，则填充值为1；若为大于，则填充值为0。在一些实施例中，所述得到所有相关top-k指标的值具体包括：根据单个的整体的对应指标的指标类型，对所述布尔索引张量和所有正样本张量进行对应的高并行处理，得到处理后的张量；对所述处理后的张量进行函数处理，得到单个的整体的对应指标的值；循环对于单个的整体的对应指标的处理，得到所有的整体的对应指标的值。在一些实施例中，所述得到处理后的张量具体包括：当指标为召回率时，对所述布尔索引张量按行累加求和；将求和所得结果按行除以用户正样本张量，得到处理后的张量；当指标为精度时，对所述布尔索引张量按行累加求和；将求和所得结果生成长度为top-k的一维张量；将求和所得结果按行除以所述一维张量，得到处理后的张量。本公开实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前任意一项所述的方法。从上面所述可以看出，本公开提供的推荐系统模型评测结果的评测方法，应用于PyTorch推荐系统框架，通过获取推荐系统模型评测结果，得到单个批次内每个用户对候选商品的一维分数张量，根据评测方式进行对应重排处理，得到二维分数张量；所述二维分数张量中，每个用户的正样本张量均位于负样本张量之前；生成所述二维分数张量的列索引的乱序排列，并利用所述列索引的乱序排列将二维分数张量的列重排，得到重排二维分数张量；根据重排二维分数张量，并行计算每个用户的top-k商品对应的索引，并利用所述索引对所述列索引的乱序排列进行索引，得到单个批次内每个用户的top-k商品的原始索引张量；循环前述的步骤，得到所有批次内每个用户的top-k商品的原始索引，按行拼接，得到所有用户的top-k商品的原始索引；计算所有正样本张量与所有用户的top-k商品的交集在所有用户的top-k商品的原始索引中的布尔索引张量；对所述布尔索引张量和所有正样本张量，进行计算，得到所有相关top-k指标的值。能够在对多个商品与正样本张量分数相同时能够随机选择前k个商品，有效提高测评结果的准确性。同时还能适用于多种测评场景；且能够降低时间和空间的复杂度，具有较高的测评效率。此外，能够方便地移植至其他程序中，具有良好的应用前景。附图说明为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例的推荐系统模型评测结果的评测方法的流程示意图；图2为本公开实施例的6个用户，5个商品，进行全排序取top-3指标的结果示意图；图3为本公开实施例的4个用户，5个商品，进行1:2负采样，取top-2指标的结果示意图；图4为本公开实施例的推荐系统模型评测结果的评测方法的整体流程图；图5为本公开实施例的电子设备的示意图。具体实施方式为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及本文档来自技高网...

【技术保护点】
1.一种推荐系统模型评测结果的评测方法，应用于PyTorch推荐系统框架，其特征在于，所述方法包括：/nS100,获取推荐系统模型评测结果，得到单个批次内每个用户对候选商品的一维分数张量，根据评测方式进行对应重排处理，得到二维分数张量；所述二维分数张量中，每个用户的正样本张量均位于负样本张量之前；/nS200,生成所述二维分数张量的列索引的乱序排列，并利用所述列索引的乱序排列将二维分数张量的列重排，得到重排二维分数张量；/nS300,根据重排二维分数张量，并行计算每个用户的top-k商品对应的索引，并利用所述索引对所述列索引的乱序排列进行索引，得到单个批次内每个用户的top-k商品的原始索引张量；/nS400,循环步骤S100至步骤S300，得到所有批次内每个用户的top-k商品的原始索引，按行拼接，得到所有用户的top-k商品的原始索引；计算所有正样本张量与所有用户的top-k商品的交集在所有用户的top-k商品的原始索引中的布尔索引张量；/nS500，对所述布尔索引张量和所有正样本张量，进行计算，得到所有相关top-k指标的值。/n

【技术特征摘要】
1.一种推荐系统模型评测结果的评测方法，应用于PyTorch推荐系统框架，其特征在于，所述方法包括：
S100,获取推荐系统模型评测结果，得到单个批次内每个用户对候选商品的一维分数张量，根据评测方式进行对应重排处理，得到二维分数张量；所述二维分数张量中，每个用户的正样本张量均位于负样本张量之前；
S200,生成所述二维分数张量的列索引的乱序排列，并利用所述列索引的乱序排列将二维分数张量的列重排，得到重排二维分数张量；
S300,根据重排二维分数张量，并行计算每个用户的top-k商品对应的索引，并利用所述索引对所述列索引的乱序排列进行索引，得到单个批次内每个用户的top-k商品的原始索引张量；
S400,循环步骤S100至步骤S300，得到所有批次内每个用户的top-k商品的原始索引，按行拼接，得到所有用户的top-k商品的原始索引；计算所有正样本张量与所有用户的top-k商品的交集在所有用户的top-k商品的原始索引中的布尔索引张量；
S500，对所述布尔索引张量和所有正样本张量，进行计算，得到所有相关top-k指标的值。


2.根据权利要求1所述的评测方法，其特征在于，所述根据评测方式进行对应重排处理，得到二维分数张量具体包括:
若评测方式为负采样，则进行负采样重排；
若测评方式为全排序，则进行全排序重排。


3.根据权利要求2所述的评测方法，其特征在于，所述负采样重排包括：
依据每个用户的候选商品数，对单个批次内每个用户对候选商品的一维分数张量进行划分；
填充划分所得结果，得到二维分数张量。


4.根据权利要求2所述的评测方法，其特征在于，所述全排序重排包括：
填充候选商品中历史交互过的商品的分数；
对一维分数张量进行重组，得到二维分数张量。


5.根据权利要求1所述的评测方法，其特征在于，所述得到重排二维分数张量具体包括：
...

【专利技术属性】
技术研发人员：李凯元，冯志超，陈昱硕，侯宇蓬，王鹏飞，赵鑫，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11