一种结合对比学习方法的自监督推荐方法技术

本发明专利技术公开了一种结合对比学习方法的自监督推荐方法，该方法包括：按照对应任务要求分别遮掩掉用户交互序列的个别项目和子序列；通过编码层与自注意力层来预测其缺失项；自动构造相应预测结果的正负例，并根据任务对应的对比学习损失函数完成训练；利用上游训练好的项目编码来微调模型进行预测，最终获得满足用户偏好的预测结果。本发明专利技术借鉴了当下关注度较高的对比学习方法，认为表示学习算法并不一定要关注到样本的每一个细节，只要学到的特征能够使其和其他样本区别开来就行，采取自监督的方法进行训练，根据自动构造的正负例的相似度差异性来进行表示学习，以无监督对比学习的方式来构造一个性能优越的推荐系统，从而达到高效率推荐的目的。效率推荐的目的。效率推荐的目的。

【技术实现步骤摘要】
一种结合对比学习方法的自监督推荐方法


[0001]本专利技术属于学习方法的
，尤其涉及一种结合对比学习方法的自监督推荐方法。

技术介绍

[0002]推荐系统近年来在各个平台上都不可或缺，在信息爆炸式增长的时代从数据中提取有用的信息显的至关重要。亚马逊、阿里巴巴的成功与电子商务的发展充分应用了推荐系统技术，关于推荐系统研究者们已经做了大量的工作。基于用户交互会话的序列推荐算法取得了不错的效果，从传统的基于协同过滤(collaborative filtering，CF)以及矩阵分解(matrix factorization，MF)的推荐算法，到之后的基于深度学习(deep learning，DL)以及强化学习(reinforcement learning，RL)的模型研究与发展过程，都展示了基于会话序列推荐研究的有效性与可行性。推荐系统在不同的领域中提供个性化建议，缓解信息问题过载、是增强用户体验的重要信息过滤技术。
[0003]传统的推荐模型算法多为监督学习(supervised learning)，算法受到监督信息的偏见和约束，用已知的会话或相关信息来训练推荐模型，使得推荐算法得到成功的发展。但其可能需要大量的、经过仔细清洗的、昂贵的数据集才能发挥非常好的作用。在推荐过程中面对少量的用户交互数据时很难抓取用户的真实偏好，如何给新加入的用户推荐可能感兴趣的物品，如何将新上架的物品推荐给潜在的用户，是推荐领域关注的热点。推荐领域的冷启动问题在于如何利用有限的交互数据来快速构造一个高效的推荐系统。
[0004]针对以上问题研究者们提出很多办法，一种解决方案是利用额外附加信息使模型获得信息增益来提高推荐效果。额外信息是指用户交互数据中除了ID信息以外的信息，例如属性特征，用户性别、年龄特征，物品的类别、价格等辅助信息。VOLKOVS等人提出的模型DropoutNet在训练过程中加入dropout机制，使得模型不过度依赖ID嵌入信息，而是其他内容特征，使得模型根据内容特征进行推荐。PAN等人提出的工作认为冷启动推荐效果不佳的主要原因是较少的用户交互数据导致无法学习到准确的ID编码，其使用项目的其他特征通过一个生成器来输出一个ID编码的初始化值，基于这个初始化值再做后续的训练及预测。ZHU等人提出模型MWUF通过一个元拉伸网络从物品特征中预测一个拉伸函数，对冷启动ID编码进行一个特征变换，将其变换到一个更好的特征空间中。
[0005]上述推荐方法通过获得额外信息的增益使模型提升了推荐效果，但通常在实际的推荐场景中缺乏额外的补充信息，导致算法的应用场景比较局限。另一种解决方案是通过额外学习辅助网络或初始化参数来使模型获得信息增益来提高推荐效果。MANASI等人提出相关工作使用用户交互过的物品来预测一个分类器，然后使用该生成的分类器判断用户是否对冷启动的物品感兴趣。LEE等人提出模型MeLU采用一种基于梯度的元学习算法来学习一个深度推荐模型公共的初始化参数，然后针对每一个冷启动用户，使用有限的交互数据来对这个初始化模型进行微调，得到用户定制化的模型进行推荐。LU等人提出的模型MateHIN在Melu的基础上引入异构信息网络，进一步提升了冷启动效果。上述方法在一定程
度上改善了冷启动问题，但其优化方式均需额外学习相应的辅助网络或分类器，导致模型的复杂度与参数量明显提高，增加了时间空间成本。
[0006]基于自注意力自编码器的序列推荐方法来源于多头自注意力机制在推荐系统的直接应用，作者将多头注意力自编码器与序列推荐结合进行个性化推荐，其大体步骤包括：获取用户商品序列和评分矩阵，并对商品序列进行预处理；使用自注意力模型对商品序列进行训练，预测用户与商品的关联性得分；使用自编码器对评分矩阵重建，计算用户喜爱度指数；结合用户与商品的关联性得分和用户喜爱度指数，得到高得分的商品为用户优先推荐。其专利技术提供的基于自注意力自编码器的序列推荐方法，利用词嵌入的方法将用户的物品浏览序列转化为低维稠密向量，结合位置编码输入自注意力模型中，再利用自编码器对评分矩阵的拟合和重建，计算用户喜爱度指数，最后得到最终的预测得分，为用户做出推荐。
[0007]上述方案简单的将自注意力模型Transformer应用在会话推荐系统，导致模型效率不高，在有限的交互数据上模型性能有限。
[0008]通常推荐模型的构造依赖于人们提供的标签或奖励作为训练过程中使用的唯一学习信号，模型做到有效推荐预测的前提是努力学习到准确的上下文项目编码，而由于数据缺乏以及数据稀疏性等问题，使其一般很难做到。

技术实现思路

[0009]基于以上现有技术的不足及推荐算法中存在的数据缺乏与冷启动的问题，本专利技术提出一种结合对比学习方法的自监督推荐方法，既能高效利用有限的交互数据来满足用户的推荐偏好，又能使模型为尽可能轻量化的冷启动推荐模型。
[0010]为了实现以上专利技术，提出了一种结合对比学习方法的自监督推荐方法，包括以下步骤：
[0011]S1、按照对应任务要求分别遮掩掉用户交互序列的个别项目和子序列；
[0012]S2、通过编码层与自注意力层来预测其缺失项；
[0013]S3、自动构造相应预测结果的正负例，并根据任务对应的对比学习损失函数完成训练；
[0014]S4、利用上游训练好的项目编码来微调模型进行预测，最终获得满足用户偏好的预测结果。
[0015]优选的，所述步骤S1的具体步骤如下：
[0016]S11、构造数据：将用户历史交互数据以会话为单位构造两个任务各自所需的待预测序列，并分别构造其期望预测结果的正例和负例；
[0017]S12、数据编码：将上一步产生的数据通过编码层获得对应的嵌入向量表示；
[0018]S13、映射预测：将待预测序列向量通过自注意力层进行映射，得到自注意力过程映射后的表示向量及任务对应的预测结果；
[0019]S14、学习损失：将对应任务的预测结果与其正负例通过相应的对比学习损失函数计算损失，并进行梯度学习。
[0020]优选的，所述步骤S2中的编码层用于对项目交互序列进行编码，自注意力层作为模型的映射函数，充当着序列任务预测器的作用。
[0021]可选的，所述步骤S4的具体步骤如下：
[0022]在完成模型预训练过程后，使用测试集进过微调模型进行预测，对于每条测试序列，将其末尾项作为代预测项，经过模型编码层与自注意力层得到预测结果，其中使用预训练保存的模型参数；定义h为最终预测结果的潜在向量表示，推荐项偏好程度计算方式如下：
[0023]p(v)＝softmax(hM
T
)
[0024]其中表示项目嵌入矩阵。
[0025]由上，本专利技术提出了结合对比学习方法的自注意力序列推荐模型CLSRec，该模型使用基于正负例的对比学习方法构造模型，模型通过构造正负例的方式进行数据增强，高效的利用了有限的数据；通过自监督的方式挖掘数据内部信息进行训练，不依赖数据标注；模型预训练过程在Cloze项目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合对比学习方法的自监督推荐方法，其特征在于，包括以下步骤：S1、按照对应任务要求分别遮掩掉用户交互序列的个别项目和子序列；S2、通过编码层与自注意力层来预测其缺失项；S3、自动构造相应预测结果的正负例，并根据任务对应的对比学习损失函数完成训练；S4、利用上游训练好的项目编码来微调模型进行预测，最终获得满足用户偏好的预测结果。2.如权利要求1所述的结合对比学习方法的自监督推荐方法，其特征在于，所述步骤S1的具体步骤如下：S11、构造数据：将用户历史交互数据以会话为单位构造两个任务各自所需的待预测序列，并分别构造其期望预测结果的正例和负例；S12、数据编码：将上一步产生的数据通过编码层获得对应的嵌入向量表示；S13、映射预测：将待预测序列向量通过自注意力层进行映射，得到自注意力过程映射后的表示向量及任务...

【专利技术属性】
技术研发人员：王光，李刚，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：