一种用于去除系统推荐偏差的方法和系统技术方案

本发明专利技术公开了一种用于去除系统推荐偏差的方法和系统，能够用一个通用的去偏差框架解决各种情况下偏差对推荐系统的影响。其技术方案为：接收推荐系统场景中与推荐偏差相关的输入数据，作为数据特征层的一个或多个特征组；将接收到的数据按照特征组的类别进行向量处理，将数据的特征值转化为向量值，以将特征组分别转化为对应的向量组，再将一个或多个向量组传递至多层神经网络，在多层神经网络中将向量组中的词向量交叉组合成数据集，以这些数据集构建出共享数据层；将共享数据层中的数据划分成多个不同的数据组，并对该多个数据组采用对应的去偏策略进行去偏处理，将所有数据组经去偏处理后的数据整合输出。去偏处理后的数据整合输出。去偏处理后的数据整合输出。

【技术实现步骤摘要】
一种用于去除系统推荐偏差的方法和系统


[0001]本专利技术涉及去除系统推荐偏差的技术，具体涉及采用多目标模型对系统推荐偏差进行去除的方法和系统。

技术介绍

[0002]推荐系统作为解决信息过载、为用户提供个性化内容的重要手段，如今已在各行各业的应用场景下取得了显著成果。传统的推荐系统通过收集用户行为数据作为原始数据，结合机器学习等技术，最终返回给用户推荐内容。但在用户行为数据收集的过程中，往往存在各式各样的偏差导致推荐效果的下降。
[0003]常见的偏差主要有如下集中情况：
[0004]选择偏差：用户更倾向于对喜欢或讨厌的物品进行评分，从而导致介于两种情感之间的物品缺少了评分数据；
[0005]位置偏差：排序位置因素对用户点击行为的影响，通常情况下用户更倾向于点击更靠前的内容；
[0006]曝光偏差：因热门物品或以往推荐结果的影响，导致用户更容易接收到某类物品，而其他物品得不到相应的曝光，导致用户感兴趣的物品并未展示给用户，从而带来偏差。
[0007]现有的去除常见偏差的技术往往是针对一种或两种特定的偏差，但在真实的应用场景中，往往是多种偏差混合在一起，交叉影响。因此，推荐系统亟需一个通用的去偏差框架来解决各种情况下偏差对推荐系统的影响。

技术实现思路

[0008]以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0009]本专利技术的目的在于解决上述问题，提供了一种用于去除系统推荐偏差的方法和系统，能够用一个通用的去偏差框架解决各种情况下偏差对推荐系统的影响。
[0010]本专利技术的技术方案为：本专利技术揭示了一种用于去除系统推荐偏差的方法，方法包括：
[0011]步骤1：接收推荐系统场景中与推荐偏差相关的输入数据，作为数据特征层的一个或多个特征组；
[0012]步骤2：将接收到的数据按照特征组的类别进行向量处理，将数据的特征值转化为向量值，以将特征组分别转化为对应的向量组，再将一个或多个向量组传递至多层神经网络，在多层神经网络中将向量组中的词向量交叉组合成数据集，以这些数据集构建出共享数据层；
[0013]步骤3：将共享数据层中的数据划分成多个不同的数据组，并对该多个数据组采用
对应的去偏策略进行去偏处理，将所有数据组经去偏处理后的数据整合输出。
[0014]根据本专利技术的用于去除系统推荐偏差的方法的一实施例，步骤2中是通过神经网络中的嵌入处理将特征值转化为向量值。
[0015]根据本专利技术的用于去除系统推荐偏差的方法的一实施例，步骤3中的去偏策略包括：倾向分数法、数据填充法、双重鲁棒估计器、联合学习。
[0016]根据本专利技术的用于去除系统推荐偏差的方法的一实施例，步骤3中的数据组的划分是根据不同的任务目的来划分。
[0017]本专利技术还揭示了一种用于去除系统推荐偏差的系统，系统包括数据预处理模块、去偏模型模块和多目标模型模块，其中数据预处理模块包括特征值输入单元、特征值向量化单元和多层神经网络处理单元，去偏模型模块由一个或多个偏差处理单元组成，多目标模型模块由一个或多个偏差目标分组单元组成，其中：
[0018]特征值输入单元用于接收推荐系统场景中与推荐偏差相关的输入数据，作为数据特征层的一个或多个特征组；
[0019]特征值向量化单元用于将接收到的数据按照特征组的类别进行向量处理，将数据的特征值转化为向量值，以将特征组分别转化为对应的向量组，再将一个或多个向量组传递至多层神经网络；
[0020]多层神经网络处理单元用于在多层神经网络中将向量组中的词向量交叉组合成数据集，以这些数据集构建出共享数据层；
[0021]多目标模型模块用于将多层神经网络处理单元所构建的共享数据层中的数据通过策略划分成多个不同的数据组；
[0022]去偏模型模块用于对多目标模型模块所划分的该多个数据组采用对应的去偏策略进行去偏处理，将所有数据组经去偏处理后的数据整合输出。
[0023]根据本专利技术的用于去除系统推荐偏差的系统的一实施例，多目标模型模块包括：位置偏差目标分组单元、选择偏差目标分组单元、曝光偏差分组单元；去偏模型模块包括：位置偏差处理单元、选择偏差处理单元和曝光偏差处理单元。
[0024]根据本专利技术的用于去除系统推荐偏差的系统的一实施例，特征值向量化单元中是通过神经网络中的嵌入处理将特征值转化为向量值。
[0025]根据本专利技术的用于去除系统推荐偏差的系统的一实施例，多目标模型模块中对数据组的划分是根据不同的任务目的来划分。
[0026]本专利技术还揭示了一种用于去除系统推荐偏差的计算机系统，计算机系统包括：
[0027]处理器；
[0028]存储器，存储器被配置为存储一系列计算机可执行的指令以及与该一系列计算机可执行的指令相关联的计算机可访问的数据；
[0029]当该一系列计算机可执行的指令被该处理器执行时，使得该处理器进行如上所述的用于去除系统推荐偏差的方法。
[0030]本专利技术还揭示了一种非临时性计算机可读存储介质，非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当该一系列可执行的指令被计算装置执行时，使得计算装置进行如上所述的用于去除系统推荐偏差的方法。
[0031]本专利技术对比现有技术有如下的有益效果：传统的去偏方法往往是在特征输入时将
偏差特征带入，从而优化特征值的输入。
[0032]而本专利技术的创新点在于，将去偏处理的过程置于多目标模型处理阶段，多目标模型与去偏模型共同作用，通过多目标模型提升数据处理效率的同时，对不同目标场景下使用不同的偏差策略，从而达到去偏效果。其中，多目标模型是可以自定义调整的，如在需要处理特定单一偏差的场景下，将对应目标任务模型比重调大，从而对特定偏差情况进行了处理；在通用情形下，无需调整多目标模型，可直接进行通用推荐系统偏差去除。
附图说明
[0033]在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本专利技术的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
[0034]图1示出了本专利技术的用于去除系统推荐偏差的方法的一实施例的流程图。
[0035]图2示出了本专利技术的用于去除系统推荐偏差的系统的一实施例的原理图。
[0036]图3示出了本专利技术的用于去除系统推荐偏差的计算机系统的一实施例的原理图。
具体实施方式
[0037]以下结合附图和具体实施例对本专利技术作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本专利技术的保护范围进行任何限制。
[0038]图1示出了本专利技术的用于去除系统推荐偏差的方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于去除系统推荐偏差的方法，其特征在于，方法包括：步骤1：接收推荐系统场景中与推荐偏差相关的输入数据，作为数据特征层的一个或多个特征组；步骤2：将接收到的数据按照特征组的类别进行向量处理，将数据的特征值转化为向量值，以将特征组分别转化为对应的向量组，再将一个或多个向量组传递至多层神经网络，在多层神经网络中将向量组中的词向量交叉组合成数据集，以这些数据集构建出共享数据层；步骤3：将共享数据层中的数据划分成多个不同的数据组，并对该多个数据组采用对应的去偏策略进行去偏处理，将所有数据组经去偏处理后的数据整合输出。2.根据权利要求1所述的用于去除系统推荐偏差的方法，其特征在于，步骤2中是通过神经网络中的嵌入处理将特征值转化为向量值。3.根据权利要求1所述的用于去除系统推荐偏差的方法，其特征在于，步骤3中的去偏策略包括：倾向分数法、数据填充法、双重鲁棒估计器、联合学习。4.根据权利要求1所述的用于去除系统推荐偏差的方法，其特征在于，步骤3中的数据组的划分是根据不同的任务目的来划分。5.一种用于去除系统推荐偏差的系统，其特征在于，系统包括数据预处理模块、去偏模型模块和多目标模型模块，其中数据预处理模块包括特征值输入单元、特征值向量化单元和多层神经网络处理单元，去偏模型模块由一个或多个偏差处理单元组成，多目标模型模块由一个或多个偏差目标分组单元组成，其中：特征值输入单元用于接收推荐系统场景中与推荐偏差相关的输入数据，作为数据特征层的一个或多个特征组；特征值向量化单元用于将接收到的数据按照特征组的类别进行向量处理，将数据的特征值转化为向量值，以将特征组分别转化为对应的向量组...

【专利技术属性】
技术研发人员：周晔，穆海洁，景晓峰，
申请(专利权)人：上海汇付数据服务有限公司，
类型：发明
国别省市：