基于深度学习的多源异构数据混合推荐模型制造技术

近年来深度学习被广泛应用在了图像和音频识别、文本分类和表示学习等领域，基于深度学习的推荐系统也成为学者们的研究热点。深度学习模型在图像、文本等特定数据的表示学习中都取得了极好的效果，避免了复杂的特征工程，可以得到异构数据的非线性多层次的抽象特征表示，克服了多种数据的异质性。目前，融合评分、评论和社交网络的深度学习推荐模型尚未提出。本专利基于深度学习算法，给出了一个具有较强拓展性的推荐流程，分析了不同数据适合使用的相关算法及原理，根据不同数据的损失函数推出了结合评论、评分和社交信息的最终损失函数，提高了推荐结果的准确度。

Hybrid Recommendation Model of Multi-source Heterogeneous Data Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的多源异构数据混合推荐模型
近年来深度学习被广泛应用在了图像和音频识别、文本分类和表示学习等领域，基于深度学习的推荐系统也成为学者们的研究热点。深度学习模型在图像、文本等特定数据的表示学习中都取得了极好的效果，避免了复杂的特征工程，可以得到异构数据的非线性多层次的抽象特征表示，克服了多种数据的异质性。目前，融合评分、评论和社交网络的深度学习推荐模型尚未提出。本专利基于深度学习算法，给出了一个具有较强拓展性的推荐模型。
技术介绍
目前的深度学习模型尚不能结合评分、评论和社交网络信息进行推荐。因为多源异构数据的特征表示尚存在困难，社交信息和其他用户和物品交互信息无法直接融合。若能采用深度学习方法学习不同异构数据的表示并将它们统一到一个深度学习模型中，将解决之前研究在算法融合上的需要选择不同算法的缺点，且使用深度学习学习特征表示，将显著提高推荐结果的准确度。为了充分利用这三种数据的优点，本专利融合评分、评论的特征并将社交信息加入到训练的过程中，提出了基于深度学习的多源异构数据推荐模型。对于评论数据，传统的话题模型不能准确表示文本的特征，本专利通过PV-DBOW模型来学习评论文档的特征表示，PV-DBOW假定文档中的单词之间的独立性，并使用该文档来预测每个观察到的单词。PV-DBOW通过一个稠密向量来代表每个文档，这个向量被训练来预测文档中的单词。对于评分数据，传统的矩阵分解方法面临数据稀疏和准确率较低的困难，本专利使用神经网络训练评分，能够更好地体现用户和物品的特征。对于社交网络数据，本专利对在基于BPR的对学习方法上增加了用户的社交关系信息，使得该方法的采样更加合理，提高了推荐结果的准确度。
技术实现思路
基于深度学习提出能够处理多源异构数据的推荐模型，模型具有准确度高、可扩展性强等优点。模型选择了基于深度学习的文本段落表示学习方法，设计了基于评分学习用户和物品特征的神经网络，并通过社交网络约束基于对的学习。由于现有的基于深度学习的文本表示学习的方法已经较为成熟，所以可以直接使用现有的网络，将其训练结果和其他特征融合一起进行训练，从而得到更加精确的融合特征表示。评分数据和文本数据不同的是，可以直接学习得到用户和物品的特征，所以不需要学习评分的向量表示，也不用学习实体特征。基于深度学习的多源异构数据推荐模型包含三种数据：评论、评分和社交网络，每种数据都有自身的特点，从不同角度体现了用户或物品的特征。通过深度模型学习多种数据的向量表示，然后通过串联的方法得到用户或物品的融合特征。评论特征体现了用户对物品的态度，也可以用来表示物品的属性，模型通过PV-DBOW算法学习评论段落的特征表示，再加权叠加得到用户或物品的向量表示。评分特征是用户对物品的整体评价，体现了用户对物品的满意级别，使用BPR可以对用户和物品的非线性特征进行学习。社交网络体现了用户间的好友关系，间接影响了用户和物品之间的交互，利用社交网络关系可以加强对用户购买行为的约束，从而进一步提高推荐结果准确度。上述方法包含了如下步骤：(1)文本特征提取：使用PV-DBOW模型学习文本段落的特征向量表示。模型采用的是分布式的词袋模型(DistributedBag-of-Words)，该模型使用一个段落向量来预测段落中随机采样得到的词语。(2)评分特征提取：使用两层全连接的神经网络来学习用户对物品的评分。与文本特征学习模型不同的是，本方法可以直接得到用户和物品的特征向量表示，而不是直接提取评分的特征。(3)用户物品特征融合：根据(1)求得的评论文本特征，可以将每位用户发出的评论特征向量加权求和得到用户特征，将物品收到的评论特征向量加权求和得到物品特征。最后使用融合函数将用户的文本和评分特征融合得到用户的融合特征，将物品的文本和评分特征融合得到物品的融合特征。(4)基于BPR的优化：基于社交网络采样得到带有用户偏好的三元组，根据贝叶斯理论优化得到最佳模型参数。(5)推荐：根据步骤(4)求得的模型参数，将用户和物品的特征向量输入到模型中为用户推荐物品。在步骤(1)文本特征提取中，包括如下四个个步骤：①文本预处理将每个段落使用一个one-hot向量表示，代表段落矩阵中的一列。将评论文本中的词语进行去重，加入到词库中，每个词语使用唯一的one-hot向量表示。构建完成后，评论矩阵中每一列都能够唯一对应一个评论。②词语采样模型使用一个段落向量来预测段落中的词语，其中段落中的词语通过在段落中随机采样得到。每个词在段落中被看作独立的存在，且词语的顺序不影响段落向量的学习结果。③最优化使用步骤①中段落的向量作为输入，使用步骤②采样得到的词语作为输出，不断迭代，训练段落向量模型。该模型基于神经网络构建，采用softmax分类器，使用随机梯度下降法求得模型参数。④评论文本的特征表示训练完成后，段落矩阵的每一列即为每段评论的特征向量。使用步骤①定义的每段评论的one-hot向量和矩阵相乘，即可得到当前段落的特征表示。步骤(2)评分特征提取包括如下三个步骤：①神经网络构建评分特征提取模型基于两层全连接的神经网络，使用ELU激活函数。神经网络的输入为用户的特征和物品的特征元素相乘的结果。神经网络输出为用户对物品的评分。②用户物品特征优化根据目标函数，使用随机梯度下降法不断优化用户和物品的评分特征向量，降低损失。当预测评分和实际评分较为接近时，停止训练，即可得到用户和物品的评分特征。步骤(3)将步骤(1)和步骤(2)的特征进行融合得到新的融合特征。评分特征代表了用户对物品的总体评价，简单明确，而评论中包含了用户的不同观点，更加详细。步骤(3)将评论和评分特征进行融合，得到更加丰富全面的用户特征表示。融合的方法采用的是将评论特征向量和评分特征向量进行串联，得到融合的特征表示向量。步骤(4)基于BPR的优化主要包含以下步骤：①三元组生成因为用户的偏好往往和他们的好友具有相似性，在现实中的反映就是用户更加容易选择其好友购买或偏爱的物品。将用户之间的这种偏好的相似性应用到BPR模型的采样中来，通过给采样过程更加合理的约束，得到更加符合用户行为的三元组，从而提高后续模型训练和推荐的准确度。②模型优化提出统一的目标函数进行模型优化。前文已经提出了多源异构数据的融合函数，现在需要根据融合特征构建目标函数，使得学习过程中融合特征能够更加准确代表用户或物品的特征。可以使用随机梯度下降法进行求解，现有的深度学习框架都集成了随机梯度下降算法，可以通过调用方法库得到最终的用户和物品的特征向量。步骤(5)为用户推荐感兴趣的物品。每个用户和其他未购买或未浏览的物品的特征向量相乘即可得到该用户对该物品的偏好得分，分数越高代表用户越有可能购买或浏览该物品。将所有物品的得分降序排列取前N个就能够求得用户的Top-N推荐列表。附图说明图1是基于多源异构数据的混合推荐模型流程图。具体实施方式根据说明书中的方法介绍，实施基于多源异构数据的推荐模型需要如下步骤：(1)文本特征提取①文本预处理使用duv来表示用户u对物品v的评论文本，评论文本包含的词语使用w来表示，通过用户对物品的评论学习到的用户和物品的特征向量使用u1和v1来表示，段落的特征向量使用duv来表示，词向量使用w来表示，所有评论的词语都储存在词本文档来自技高网...

【技术保护点】
1.基于深度学习提出能够处理多源异构数据的推荐模型，模型具有准确度高、可扩展性强等优点。上述方法包含了如下步骤：(1)文本特征提取：使用PV‑DBOW模型学习文本段落的特征向量表示；模型采用的是分布式的词袋模型(Distributed Bag‑of‑Words)，该模型使用一个段落向量来预测段落中随机采样得到的词语；(2)评分特征提取：使用两层全连接的神经网络来学习用户对物品的评分；与文本特征学习模型不同的是，本方法可以直接得到用户和物品的特征向量表示，而不是直接提取评分的特征；(3)用户物品特征融合：根据(1)求得的评论文本特征，可以将每位用户发出的评论特征向量加权求和得到用户特征，将物品收到的评论特征向量加权求和得到物品特征，最后使用融合函数将用户的文本和评分特征融合得到用户的融合特征，将物品的文本和评分特征融合得到物品的融合特征；(4)基于BPR的优化：基于社交网络采样得到带有用户偏好的三元组，根据贝叶斯理论优化得到最佳模型参数；(5)推荐：根据步骤(4)求得的模型参数，将用户和物品的特征向量输入到模型中为用户推荐物品。

【技术特征摘要】
1.基于深度学习提出能够处理多源异构数据的推荐模型，模型具有准确度高、可扩展性强等优点。上述方法包含了如下步骤：(1)文本特征提取：使用PV-DBOW模型学习文本段落的特征向量表示；模型采用的是分布式的词袋模型(DistributedBag-of-Words)，该模型使用一个段落向量来预测段落中随机采样得到的词语；(2)评分特征提取：使用两层全连接的神经网络来学习用户对物品的评分；与文本特征学习模型不同的是，本方法可以直接得到用户和物品的特征向量表示，而不是直接提取评分的特征；(3)用户物品特征融合：根据(1)求得的评论文本特征，可以将每位用户发出的评论特征向量加权求和得到用户特征，将物品收到的评论特征向量加权求和得到物品特征，最后使用融合函数将用户的文本和评分特征融合得到用户的融合特征，将物品的文本和评分特征融合得到物品的融合特征；(4)基于BPR的优化：基于社交网络采样得到带有用户偏好的三元组，根据贝叶斯理论优化得到最佳模型参数；(5)推荐：根据步骤(4)求得的模型参数，将用户和物品的特征向量输入到模型中为用户推荐物品。2.权利要求1中所描述的(1)文本特征提取步骤，其中的文本预处理使用duv来表示用户u对物品v的评论文本，评论文本包含的词语使用w来表示，通过用户对物品的评论学习到的用户和物品的特征向量使用u1和v1来表示，段落的特征向量使用duv来表示，词向量使用w来表示，所有评论的词语都储存在词库V中；这些特征向量的维度数都为K。3.权利要求1中所描述的(1)文本特征提取步骤，其中的词语采样对于每个段落，随机选取一个文本区域，从该区域中随机采样采样一些词语，作为训练分类器的结果；文本区域的大小和在该区域中选取词语的数目人工设定。4.权利要求1中所描述的(1)文本特征提取步骤，其中的最优化中每段评论都会被映射到一个随机的高维语义空间中，然后对段落中包含的词进行预测，通过学习优化，得到较为精确的段落特征向量表示；根据词袋模型的假设，每个词w在文档duv中出现的概率使用softmax进行计算：其中w′表示属于词库V的全部词语，exp表示以e为底的指数函数；通过此公式可以求得文档中任意词语出现的概率；在实际最大化出现词语概率的过程中，梯度求解的求解开销较大；为了降低计算的开销，在计算过程中往往采用负采样的方法，在未出现的词语中根据一个预定义的噪声分布来采样部分词语，作为负样本进行近似计算，而不是使用词库中所有的词语；基于负采样的策略，那么PV-DBOW的目标函数被定义为：上式将所有的词语和文档的组合都进行了相加，其中是词w在文档duv中出现的次数，如果未出现则函数值为0；代表的是sigmoid函数，t为负样本的个数，表示的是在噪声分布PV中，的期望。5.权利要求1中所描述的(1)文本特征提取步骤，其中的评论文本的特征表示具体有如下特征：根据上述的目标函数，可以得到文档的特征表示duv，和本文提出的基于传统机器学习方法的推荐模型中类似，用户和物品的特征向量可以根据评论的特征向量来表示。不过此处用户和物品的特征表示不再由评论特征向量的平均来计算，而是通过后续的模型集成优化来学习得到的。将用户所有评论的特征向量加权相加并归一化得到用户特征因子：其中Du表示用户u所有的评论数，p′uk表示用户在话题k上的总概率，Wuv表示用户u对于发出的第i个评论的权重，puk是其归一化的表示；用户u的特征因子为：pu＝(pu1，...，puK)用户特征因子维数为K；物品特征因子可采用类似公式计算：其中Dv表示物品收到的所有评论数，q′vk表示物品在话题k上的总概率，qvk是其归一化的表示，Wuv表示物品v对于收到的第u个评论的权重；物品的特征因子为：qv＝(qv1，...，qvK)K为物品的维度数，和用户保持一致；其中Wuv为评论duv对于...

【专利技术属性】
技术研发人员：冀振燕，宋晓军，赵颖斯，皮怀雨，李俊东，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京,11