System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种用于推荐系统的目标任务预测模型训练方法、执行方法及装置制造方法及图纸_技高网
当前位置: 首页 > 专利查询>北京大学专利>正文

一种用于推荐系统的目标任务预测模型训练方法、执行方法及装置制造方法及图纸

技术编号:41264657 阅读:10 留言:0更新日期:2024-05-11 09:21
本发明专利技术提供一种用于推荐系统的目标任务预测模型训练方法、执行方法及装置,为了消除观察样本和目标总体之间的差异,通过引入倾向性标定用户主体观察到项目对象并执行目标任务的概率,采用加权的方式去偏;在损失函数中引入用于衡量倾向性模型学习到的平衡性质的平衡约束,作为无偏损失估计器,不会增加额外偏差。基于多学习任务共同训练倾向性模型和预测模型,实用且易于操作。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种用于推荐系统的目标任务预测模型训练方法、执行方法及装置


技术介绍

1、对于推荐系统,对理解和回答反事实问题的研究至关重要,这涵盖了推荐系统中许多常见的任务。例如,评分预测任务、查看后点击率预测任务、点击后转化率预测任务等。然而,由于用户总是选择自己偏爱的项目进行评分或点击,且推荐系统的曝光机制不是随机的,导致观察到的数据不再是整个人群的代表性样本。一般来说,观察到的事件和未观察到的事件之间存在很大差异,忽略这种差异会产生偏差并导致次优性能。

2、为了消除观察样本和目标总体之间的差异,基本思想是根据观察到某个特定事件的概率(称为倾向性),对观察样本进行重新加权以适应目标总体,尽管倾向性加权方法具有广泛的应用和理论吸引力,但它们的主要实际困难在于倾向性通常未知,需要从观察到的数据中估计出来。去偏推荐中现有的倾向性估计方法忽略了倾向性的本质,即平衡性质,是要求去偏推荐中现有的倾向性估计方法忽略了倾向性的本质。并且现有技术中通过正则化约束以降低所学习的倾向性或估计器本身方差的形式,会引入额外偏差。这会导致预测任务的次优表现。


技术实现思路

1、鉴于此,本专利技术实施例提供了一种用于推荐系统的目标任务预测模型训练方法、执行方法及装置,以消除或改善现有技术中存在的一个或更多个缺陷,解决现有技术针对推荐系统中对执行目标任务预测时,忽略了倾向性的平衡性质并在正则化约束过程中引入偏差导致预测任务次优表现的问题。

2、一方面,本专利技术提供一种用于推荐系统的目标任务预测模型训练方法,该方法包括以下步骤:

3、获取训练样本集,所述训练样本集为对理想数据随机缺失的观察样本,所述理想数据是多个用户主体对多个项目主体完整无缺失的主体特征向量和针对目标任务的真实执行结果;所述训练样本集中每个样本包含一个所述用户主体对一个所述项目主体的主体特征向量和针对所述目标任务的真实执行结果;

4、获取初始预测模型,所述初始预测模型以每个样本的主体特征向量为输入并输出针对所述目标任务的预测执行结果;

5、构建倾向性模型,所述倾向性模型以每个样本的主体特征向量为输入并输出用户主体关注到项目主体并执行目标任务的概率;结合所述倾向性模型进行加权,根据所述预测执行结果与所述真实执行结果之间的预测误差构建损失函数,所述损失函数引入平衡约束,所述平衡约束用于衡量所述倾向性模型学习到的平衡性质;

6、采用所述训练样本集对所述初始预测模型进行训练,得到针对所述目标任务的预测模型;在每一轮参数更新迭代中,基于多任务学习,通过最小化所述损失函数对所述初始预测模型进行参数更新,通过最小化交叉熵损失或困惑度对倾向性模型进行参数更新。

7、在一些实施例中,所述方法还包括:

8、通过构建平衡均方误差以引入平衡约束,所述平衡均方误差的计算式为:

9、

10、其中,φ是所述初始预测模型对应的函数,xu,i表示用户主体u对项目主体i的主体特征向量,d表示用户主体和项目主体对的集合;ou,i为二值变量,ou,i等于1时表示项目主体i被用户主体u观测到并评分,ou,i等于0时表示项目主体i没有被用户主体u观测且没有评分;为所述倾向性模型计算得到的用户主体u关注到项目主体i并执行执行目标任务的概率。

11、在一些实施例中,结合所述倾向性模型进行加权,根据所述预测执行结果与所述真实执行结果之间的预测误差构建损失函数,所述损失函数引入平衡约束,基于逆概率加权估计器构建所述损失函数,计算式为:

12、

13、

14、其中,φ是所述初始预测模型对应的函数,xu,i表示用户主体u对项目主体i的主体特征向量,d表示用户主体和项目主体对的集合;ou,i为二值变量,ou,i等于1时表示项目主体i被用户主体u观测到并评分,ou,i等于0时表示项目主体i没有被用户主体u观测且没有评分;为所述倾向性模型计算得到的用户主体u关注到项目主体i并执行执行目标任务的概率;eu,i表示初始预测模型的预测误差;λ为大于0的超参数。

15、在一些实施例中,结合所述倾向性模型进行加权,根据所述预测执行结果与所述真实执行结果之间的预测误差构建损失函数,所述损失函数引入平衡约束,基于双重稳健估计器构建所述损失函数,计算式为:

16、

17、

18、其中,φ是所述初始预测模型对应的函数,xu,i表示用户主体u对项目主体i的主体特征向量,d表示用户主体和项目主体对的集合;ou,i为二值变量,ou,i等于1时表示项目主体i被用户主体u观测到并评分,ou,i等于0时表示项目主体i没有被用户主体u观测且没有评分;为所述倾向性模型计算得到的用户主体u关注到项目主体i并执行执行目标任务的概率;eu,i表示初始预测模型的预测误差,表示由误差填补模型预测的eu,i;λ为大于0的超参数。

19、在一些实施例中,所述倾向性模型采用逻辑回归方法构建,计算式为:

20、

21、其中,表示用户主体u对项目主体i进行评分的概率,xu,i表示用户主体u与项目主体i之间的主体特征向量,φp为所述倾向性模型的参数;

22、通过最小化交叉熵损失或困惑度对倾向性模型进行参数更新,包括:

23、所述交叉熵损失的计算式为:

24、

25、所述困惑度的计算式为:

26、

27、其中,d表示用户主体和项目主体对的集合;ou,i为二值变量,ou,i等于1时表示项目主体i被用户主体u观测到并评分,ou,i等于0时表示项目主体i没有被用户主体u观测且没有评分;为所述倾向性模型计算得到的用户主体u关注到项目主体i并执行执行目标任务的概率。

28、在一些实施例中,所述方法还包括:在每一轮参数更新迭代中,基于多任务学习,通过最小化以下损失更新所述误差填补模型的参数:

29、

30、其中,d表示用户主体和项目主体对的集合;ou,i为二值变量,ou,i等于1时表示项目主体i被用户主体u观测到并评分,ou,i等于0时表示项目主体i没有被用户主体u观测且没有评分;为所述倾向性模型计算得到的用户主体u关注到项目主体i并执行执行目标任务的概率;eu,i表示初始预测模型的预测误差,表示由误差填补模型预测的eu,i。

31、在一些实施例中,所述主体特征向量包括:一个或多个用于标记用户主体属性的用户特征和一个或多个用于标记项目对象属性的项目对象特征。

32、在一些实施例中,所述误差填补模型采用深度神经网络训练得到。

33、另一方面,本专利技术还提供一种用于推荐系统的目标任务执行方法,包括如下步骤:

34、获取指定用户与指定项目对象的主体项目特征向量;

35、将所述主体项目特征向量输入上述用于推荐系统的目标任务预测模型训练方法中的预测模型,并输出针对目标任务的执行结果。

<本文档来自技高网...

【技术保护点】

1.一种用于推荐系统的目标任务预测模型训练方法,其特征在于能够易于实现和操作的消除观察样本和目标总体之间的差异,该方法包括以下步骤:

2.根据权利要求1所述的用于推荐系统的目标任务预测模型训练方法,其特征在于不对预测模型引入额外偏差,所述方法还包括:

3.根据权利要求2所述的用于推荐系统的目标任务预测模型训练方法,其特征在于,结合所述倾向性模型进行加权,根据所述预测执行结果与所述真实执行结果之间的预测误差构建损失函数,所述损失函数引入平衡约束,基于逆概率加权估计器构建所述损失函数,计算式为:

4.根据权利要求2所述的用于推荐系统的目标任务预测模型训练方法,其特征在于,结合所述倾向性模型进行加权,根据所述预测执行结果与所述真实执行结果之间的预测误差构建损失函数,所述损失函数引入平衡约束,基于双重稳健估计器构建所述损失函数,计算式为:

5.根据权利要求1所述的用于推荐系统的目标任务预测模型训练方法,其特征在于,所述倾向性模型采用逻辑回归方法构建,计算式为:

6.根据权利要求4所述的用于推荐系统的目标任务预测模型训练方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的用于推荐系统的目标任务预测模型训练方法,其特征在于,所述主体特征向量包括:一个或多个用于标记用户主体属性的用户特征和一个或多个用于标记项目对象属性的项目对象特征。

8.根据权利要求8所述的装置,其特征在于,所述误差填补模型采用深度神经网络训练得到。

9.一种用于推荐系统的目标任务执行方法,其特征在于,包括如下步骤:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种用于推荐系统的目标任务预测模型训练方法,其特征在于能够易于实现和操作的消除观察样本和目标总体之间的差异,该方法包括以下步骤:

2.根据权利要求1所述的用于推荐系统的目标任务预测模型训练方法,其特征在于不对预测模型引入额外偏差,所述方法还包括:

3.根据权利要求2所述的用于推荐系统的目标任务预测模型训练方法,其特征在于,结合所述倾向性模型进行加权,根据所述预测执行结果与所述真实执行结果之间的预测误差构建损失函数,所述损失函数引入平衡约束,基于逆概率加权估计器构建所述损失函数,计算式为:

4.根据权利要求2所述的用于推荐系统的目标任务预测模型训练方法,其特征在于,结合所述倾向性模型进行加权,根据所述预测执行结果与所述真实执行结果之间的预测误差构建损失函数,所述损失函数引入平衡约束,基于双重稳健估计器构建所述损失函数,计算...

【专利技术属性】
技术研发人员:李昊轩吴鹏肖洋好郑淳元
申请(专利权)人:北京大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1