基于协同过滤和长短记忆网络的在线推荐系统技术方案

技术编号:20866530 阅读:27 留言:0更新日期:2019-04-17 09:21
一种基于协同过滤和长短记忆网络的在线推荐系统,包括:实时模块、近线模块和离线模块,实时模块实时接受用户请求,经预处理后输出至若干终端搭建的HDFS集群分布式文件系统,同时根据请求进行实时推荐和线上评估;近线模块从实时模块获得用户请求数据,并实时将请求通过消息队列分发到分布式缓存中,并使用用户请求中的特征对推荐模型进行离线训练,离线训练完成的推荐模型加载缓存中的数据进行增量式更新;离线模块从特征池中加载特征,之后使用推荐模型在训练集中进行训练,训练完成后的推荐模型通过自编码器实现协同过滤来挖掘用户的长期偏好,从而可以与长短记忆网络结合在测试集中进行推荐模型预估,最后对推荐模型效果进行离线评估得到最终推荐结果。

【技术实现步骤摘要】
基于协同过滤和长短记忆网络的在线推荐系统
本专利技术涉及的是一种信息处理领域的技术,具体是一种基于协同过滤和长短记忆网络的在线推荐系统。
技术介绍
近些年,由于计算能力的提升和大数据存储设备的增加,深度学习引起了人们的极大关注。目前,深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就,也已经有相关研究将深度学习运用在推荐系统领域。Sedhain,Suvash等人所著的"Autorec:Autoencodersmeetcollaborativefiltering."Proceedingsofthe24thInternationalConferenceonWorldWideWeb.ACM,2015.提出了一种基于自编码器的协同过滤方法,它通过自编码器来直接学习相似矩阵里行或列数据的压缩向量表达,均方误差等指标优于传统的协同过滤。Hidasi,Balázs等人所著的"Session-basedrecommendationswithrecurrentneuralnetworks."arXivpreprintarXiv:1511.06939(2016).提出了一种通过循环本文档来自技高网...

【技术保护点】
1.一种基于协同过滤和长短记忆网络的在线推荐系统,其特征在于,包括:实时模块、近线模块和离线模块,其中:实时模块实时接受用户请求,经预处理后输出至若干终端搭建的HDFS集群分布式文件系统,同时根据请求进行实时推荐和线上评估;近线模块从实时模块获得用户请求数据,并实时将请求通过消息队列分发到分布式缓存中,并使用用户请求中的特征对推荐模型进行离线训练,离线训练完成的推荐模型加载缓存中的数据进行增量式更新;离线模块从特征池中加载特征,之后使用推荐模型在训练集中进行训练,训练完成后的推荐模型通过自编码器实现协同过滤来挖掘用户的长期偏好,从而可以与长短记忆网络结合在测试集中进行推荐模型预估,最后对推荐模...

【技术特征摘要】
1.一种基于协同过滤和长短记忆网络的在线推荐系统,其特征在于,包括:实时模块、近线模块和离线模块,其中:实时模块实时接受用户请求,经预处理后输出至若干终端搭建的HDFS集群分布式文件系统,同时根据请求进行实时推荐和线上评估;近线模块从实时模块获得用户请求数据,并实时将请求通过消息队列分发到分布式缓存中,并使用用户请求中的特征对推荐模型进行离线训练,离线训练完成的推荐模型加载缓存中的数据进行增量式更新;离线模块从特征池中加载特征,之后使用推荐模型在训练集中进行训练,训练完成后的推荐模型通过自编码器实现协同过滤来挖掘用户的长期偏好,从而可以与长短记忆网络结合在测试集中进行推荐模型预估,最后对推荐模型效果进行离线评估得到最终推荐结果;所述的特征包括:用户访问本系统时的日志,包括用户ID、访问时间、访问的商品页面和浏览时长信息;所述的离线模块中包含推荐模型,该推荐模型包括:实现基于用户的协同过滤的自编码器和长短记忆网络。2.根据权利要求1所述的系统,其特征是,所述的实时推荐是指:实时模块根据用户的请求序列,提取出相对应特征,并利用推荐模型,对推荐模型的输出的结果进行融合和打分重排,并将最终的推荐效果展现给用户。3.根据权利要求1所述的系统,其特征是,所述的线上评估是指:对推荐结果的准确率、召回率以及多样性的评估。4.根据权利要求1所述的系统,其特征是,所述的协同过滤是指:基于用户对商品的评分或其他行为来为用户提供个性化的推荐,并且不需要了解用户或者商品的大量信息,分为基于用户的协同过滤和基于商品的协同过滤。5.根据权利要求1所述的系统,其特征是,所述的基于用户的协同过滤是指:首先基于用户对物品的偏好找到相似的邻居用户,然后将邻居用户喜欢的推荐给当前用户,即通过相似度公式计算用户相似矩阵,根据邻居的相似度权重以及他们对物品的偏好,预测当前用户可能感兴趣商品,得到一个排序的物品列表作为推荐结果。6.根据权利要求1所述的系统,其特征是,所述的基于商品的协同过滤是指:基于用户对物品的偏好找到相似的商品,然后将与用户目前喜欢商品相似的新的商品推荐给用户。7.根据权利要求1所述的系统,其特征是,所述的用户间相似度利用余弦相似度计算得到:其中:wuv表示用户和的相似度,N(u)表示用户产生行为的商品集合。8.根据权利要求1所述的系统,其特征是,所述的长短记忆网络在循环神经网络中进一步增设输入门、遗忘门和输出门且具有变化的自循环权重,从而在固定模型参数的情况下动态改变不同时刻的积分尺度,该长短记忆网络包括:嵌入层、LSTM...

【专利技术属性】
技术研发人员:胡金涛饶若楠
申请(专利权)人:上海交通大学
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1