一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法制造方法及图纸

本发明专利技术公开了一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法，其中的构建方法首先对评论信息进行过滤，并对过滤后的评论信息进行预处理，然后利用卷积神经网络学习预处理后的评论信息中与项目相关的上下文特征、评分信息中的用户特征与项目特征；接着将用户‑项目评分信息中的项目特征与评论信息中与上下文特征进行融合和交互，再将学习后的用户特征与融合后的项目特征整合至多任务学习框架中，联合训练得到基于混合神经网络的项目推荐模型。本发明专利技术通过将评分信息和评论信息这两种异构数据整合到一个统一的模型中，能够更加准确地学习用户和项目的隐式特征向量，从而达到提高推荐系统性能、改善推荐效果的目的。

A Method of Building Project Recommendation Model Based on Hybrid Neural Network and the Method of Device and Project Recommendation

【技术实现步骤摘要】
一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法
本专利技术涉及数据挖掘
，具体涉及一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法。
技术介绍
网络信息技术的发展，在满足人们对信息需求的同时，也引起了信息过载的问题。面对海量的信息，用户很难或者需要消耗较大的成本找到自己感兴趣的信息。因此，如何从海量信息中快速高效地选择自己感兴趣的信息，已经成为信息时代的一大难题。推荐系统作为解决信息过载问题的主要方法应运而生，它通过分析用户的历史活动信息，挖掘用户的偏好，为用户提供个性化的信息、产品或服务，满足用户个性化的需求，从而有效减轻信息过载问题。在推荐系统的研究中，协同过滤算法是目前应用最广泛的推荐技术。协同过滤算法通过分析用户的历史反馈信息，预测用户未来的偏好。然而，协同过滤算法存在严重数据稀疏、冷启动等问题。本申请专利技术人在实施本专利技术的过程中，发现现有技术的方法，至少存在如下技术问题：近年来，一些研究者利用评论信息来降低数据的稀疏性、冷启动等问题。早期的利用评论信息的推荐系统工作大多集中在使用主题模型挖掘评论信息的主题，常用的主题模型是狄利克雷分配模型(LatentDirichletAllocation,LDA)。例如，相关研究利用主题模型对评论文本中隐含的主题进行建模，将评分信息与文本信息相结合为评分信息推荐的定量评分提供了可解释性，然后利用扩展的矩阵分解实现用户-项目的交互。通过主题模型引入文本信息在一定程度上提高了推荐的性能。但是，该模型通常利用词袋模型处理评论信息，忽视了评论信息的语义上下文信息。特别的，当数据过于稀疏时，通过LDA模型从评论信息学习的潜在特征表示可能不是非常有效，性能无法令人满意。其次，通过扩展传统的矩阵分解模型实现评论信息与评分信息的融合用于推荐任务，以线性方式建模特征的交互，这对于捕捉真实世界数据的非线性和复杂的固有结构来说是不够的。随着深度学习在特征提取方面的优势已经在计算机视觉、图像、自然语言处理等领域取得巨大的成就。利用深度神经网络模型学习混合推荐中的评论信息，已经成为推荐系统研究中的一个热点。相关研究利用堆栈降噪自动编码器学习评论信息的有效深层特征表示，利用概率图模型整合文本信息特征与评分信息，继而通过概率矩阵实现评分预测。然而，利用堆栈降噪自动编码器学习评论信息的潜在特征时，需要设计一些噪声标准破坏原始输入。Kim等人在word2vec的基础上，使用多通道的思想，设置多组不同卷积窗口，灵活地获取句子多种上下文特征，将文本表示成向量之后应用于句子分类。在此基础上，有学者提出ConvMF模型，利用卷积神经网络学习评论信息的有效特征，通过概率矩阵分解模型实现评论信息和评分信息的融合。DeepCoNN采用两个并行的卷积神经网络从评论信息中对用户行为和项目属性进行建模，在最后一层，分解机被用来捕获它们的相互作用以进行评级预测。上述研究中，通过不同的神经网络学习文本特征，实现对评论信息的建模。然而，对于协同过滤推荐的关键因素：特征交互，仍采用矩阵分解的方法，而不是联合学习特征的非线性交互，在一定程度上限制了特征交互的表达能力。从而存在推荐效果不佳的技术问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于混合神经网络的项目推荐模型的构建方法及装置、项目推荐方法，用以解决或者至少部分解决现有技术中的方法存在的推荐效果不佳的技术问题。本专利技术第一方面提供了一种基于混合神经网络的项目推荐模型的构建方法，包括：步骤S1：根据预先构建的用户-项目的评分矩阵对评论信息进行过滤，并对过滤后的评论信息进行预处理，其中，用户-项目的评分矩阵中的每一行用以表示用户-项目评分信息中的用户特征，评分矩阵中的每一列用以表示用户-项目评分信息中的项目特征；步骤S2：利用卷积神经网络学习预处理后的评论信息中与项目相关的上下文特征，利用卷积神经网络学习用户-项目评分信息中的用户特征与项目特征；步骤S3：将用户-项目评分信息中的项目特征与评论信息中与项目相关的上下文特征进行融合和交互，获得融合后的项目特征；步骤S4：将步骤S2中学习后的用户特征与融合后的项目特征整合至多任务学习框架中，联合训练得到基于混合神经网络的项目推荐模型。在一种实施方式中，用户-项目评分矩阵包括项目ID，步骤S1具体包括：根据用户-项目评分矩阵中的项目ID，将评论信息中包含该项目ID的评论信息进行过滤；对过滤后的评论信息的最大长度设为预设长度，并去除停用词。在一种实施方式中，步骤S2具体包括：步骤S2.1：对于预处理后的评论信息，基于词向量模型Glove将评论信息映射为词向量矩阵作为神经网络输入的初始化参数，具体表示为：D＝[…wi-1wiwi+1…]其中，在中p表示每个单词wi的嵌入维度，l表示项目评论信息Cj的长度，j∈[1,M]，M表示项目评论信息的数量；然后利用卷积神经网络的卷积、池化操作学习与项目相关的上下文特征；步骤S2.2：对于用户-项目评分信息，利用神经网络对用户特征和项目特征分别进行初始化，将用户-项目评分信息中的用户特征和项目特征转换为稠密的用户特征向量和项目特征向量，在嵌入层，通过潜在因子矩阵将用户特征、项目特征和与项目相关的上下文特征映射为潜在因子向量，具体表示为：其中，和为潜在因子矩阵，表示用户特征，表示项目特征，si表示与项目相关的上下文特征。在一种实施方式中，利用卷积神经网络学习与项目相关的上下文特征的过程具体包括：sj＝cnn(W,Cj)其中，W表示防止过拟合的权重和偏置变量，Cj表示项目j的原始项目评论信息，sj表示项目j的评论信息的潜在特征向量，基于卷积神经网络学习项目信息的上下文特征的目标函数表示为：其中，vj表示项目上下文特征的初始值，cnn(W,Cj)表示通过卷积神经网络学习的项目上下文特征，Θcnn表示模型的训练参数。在一种实施方式中，步骤S3具体包括：采用元素级乘法融合上下文特征向量ei和项目特征向量qi，实现上下文特征和项目特征的双向交互：qi＝f(W(qi⊙ei))其中，表示权重矩阵，f表示隐藏层的激活函数，⊙表示元素级的乘法。在一种实施方式中，构建的项目推荐模型包括神经交互层和预测层，步骤S4具体包括：步骤S4.1：在神经交互层，利用多层感知器将用户-项目评分信息中学习的用户特征向量和融合后的项目特征向量映射为最终的预测评分：其中，分别表示第l-1层的输出向量，权重矩阵和偏移向量，⊙表示元素级的乘法，fl表示激活函数；步骤S4.2：将神经交互层的最后一层的输出作为预测层的输入，转换为预测评分作为整个联合模型的输出：其中，表示预测评分，yui表示真实评分；步骤S4.3：利用均方误差进行回归，减少预测评分与真实评分yui之间的误差，均方误差回归的训练过程的目标函数为：其中，wui表示训练实例(u,i)权重的超参数，表示模型参数；步骤S4.4：将步学习后的用户-评分信息中的用户特征与融合后的项目特征整合至多任务学习框架中，联合训练获得推荐模型。在一种实施方式中，推荐模型为上下文特征学习模块和特征交互模块的目标函数的线性组合，其中，特征交互模块包括融合层、神经交互层和预测层，联合模型的目标函数表示为：表示预测评级损失函数，表示利用卷积神经网络学习文本特征的本文档来自技高网...

【技术保护点】
1.一种基于混合神经网络的项目推荐模型的构建方法，其特征在于，包括：步骤S1：根据预先构建的用户‑项目的评分矩阵对评论信息进行过滤，并对过滤后的评论信息进行预处理，其中，用户‑项目的评分矩阵中的每一行用以表示用户‑项目评分信息中的用户特征，评分矩阵中的每一列用以表示用户‑项目评分信息中的项目特征；步骤S2：利用卷积神经网络学习预处理后的评论信息中与项目相关的上下文特征，利用卷积神经网络学习用户‑项目评分信息中的用户特征与项目特征；步骤S3：将用户‑项目评分信息中的项目特征与评论信息中与项目相关的上下文特征进行融合和交互，获得融合后的项目特征；步骤S4：将步骤S2中学习后的用户特征与融合后的项目特征整合至多任务学习框架中，联合训练得到基于混合神经网络的项目推荐模型。

【技术特征摘要】
1.一种基于混合神经网络的项目推荐模型的构建方法，其特征在于，包括：步骤S1：根据预先构建的用户-项目的评分矩阵对评论信息进行过滤，并对过滤后的评论信息进行预处理，其中，用户-项目的评分矩阵中的每一行用以表示用户-项目评分信息中的用户特征，评分矩阵中的每一列用以表示用户-项目评分信息中的项目特征；步骤S2：利用卷积神经网络学习预处理后的评论信息中与项目相关的上下文特征，利用卷积神经网络学习用户-项目评分信息中的用户特征与项目特征；步骤S3：将用户-项目评分信息中的项目特征与评论信息中与项目相关的上下文特征进行融合和交互，获得融合后的项目特征；步骤S4：将步骤S2中学习后的用户特征与融合后的项目特征整合至多任务学习框架中，联合训练得到基于混合神经网络的项目推荐模型。2.如权利要求1所述的方法，其特征在于，用户-项目评分矩阵包括项目ID，步骤S1具体包括：根据用户-项目评分矩阵中的项目ID，将评论信息中包含该项目ID的评论信息进行过滤；对过滤后的评论信息的最大长度设为预设长度，并去除停用词。3.如权利要求1所述的方法，其特征在于，步骤S2具体包括：步骤S2.1：对于预处理后的评论信息，基于词向量模型Glove将评论信息映射为词向量矩阵作为神经网络输入的初始化参数，具体表示为：D＝[…wi-1wiwi+1…]其中，在中p表示每个单词wi的嵌入维度，l表示项目评论信息Cj的长度，j∈[1,M]，M表示项目评论信息的数量；然后利用卷积神经网络的卷积、池化操作学习与项目相关的上下文特征；步骤S2.2：对于用户-项目评分信息，利用神经网络对用户特征和项目特征分别进行初始化，将用户-项目评分信息中的用户特征和项目特征转换为稠密的用户特征向量和项目特征向量，在嵌入层，通过潜在因子矩阵将用户特征、项目特征和与项目相关的上下文特征映射为潜在因子向量，具体表示为：其中，和为潜在因子矩阵，表示用户特征，表示项目特征，si表示与项目相关的上下文特征。4.如权利要求3所述的方法，其特征在于，利用卷积神经网络学习与项目相关的上下文特征的过程具体包括：sj＝cnn(W,Cj)其中，W表示防止过拟合的权重和偏置变量，Cj表示项目j的原始项目评论信息，sj表示项目j的评论信息的潜在特征向量，基于卷积神经网络学习项目信息的上下文特征的目标函数表示为：其中，vj表示项目上下文特征的初始值，cnn(W,Cj)表示通过卷积神经网络学习的项目上下文特征，Θcnn表示模型的训练参数。5.如权利要求1所述的方法，其特征在于，步骤S3具体包括：采用元素级乘法融合上下文特征向量ei和项目特征向量qi，实现上下文特征和项目特征的双向交互：qi＝f(W(qi⊙ei))其中，表示权重矩阵，f...

【专利技术属性】
技术研发人员：李晶，刘东华，杜博，常军，高榕，吴玉佳，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42