一种融合多特征的矩阵分解兴趣点推荐方法及其实现系统技术方案

本发明专利技术公开了一种融合多特征的矩阵分解兴趣点推荐方法及其实现系统。首先，根据社交关系中好友与非好友对用户决策的影响，结合用户评分利用自适应带宽核密度方法，计算用户签到的个性化分布，并得出兴趣点间的相关性。然后，由于Bi‑LSTM输出的序列具有词语语义和词序列前后间语法等隐藏信息的特征，而CNN擅长从一系列特征中捕捉显著特征，故而将Bi‑LSTM和CNN叠加组成新的深层神经网络，从而学习用户和兴趣点的潜在特征。最后，通过概率矩阵方法将社交、地理位置、分类偏好以及潜在特征相融合，预测用户的个性化偏好，从而达到个性化推荐的目的。

An interest point recommendation method of matrix decomposition based on multi features and its implementation system

【技术实现步骤摘要】
一种融合多特征的矩阵分解兴趣点推荐方法及其实现系统
本专利技术涉及信息推荐
，具体涉及一种基于融合多特征的矩阵分解兴趣点推荐方法及其实现系统。
技术介绍
随着智能手机及智能设备的不断发展，基于位置社交网络(LocationBasedSocialNetworks,简称LBSN)的应用(如Yelp、Foursquare、街旁等)吸引着越来越多的用户共享他们的签到状态、位置以及相关评论等。基于位置的社交网络兴趣点推荐就是通过过滤社交网络中海量的信息，为用户提供最具有吸引力和最相关的兴趣点(如酒店、餐厅、景点等)，减轻信息负载带来的负面影响，从而促进了兴趣点推荐在大数据时代的不断发展。近年来，兴趣点(PointofInterest,简称POI)推荐已经成为一个非常热门的研究课题。当前，大多数的兴趣点推荐方法都是基于用户的历史签到信息和情景信息(包括社交关系、类别信息等)以及评论信息来挖掘用户对未访问的兴趣点的偏好。但是已有的兴趣点推荐方法存在诸多问题。例如，数据稀疏问题、情景信息利用问题、评论信息在矩阵分解中的利用问题、评论信息学习模型自身的缺陷问题等。为了降低数据的稀疏性，许多兴趣点推荐方法将用户的历史签到信息及其情景信息(如评分、地点、时间、社交关系等)结合来挖掘用户对于未签到的兴趣点的偏好。然而，在将这些情景信息以数学模型表示时，大部分都只考虑其特征中的一种情况，不能准确有效地表示该情景信息或者说会忽略该情景信息中的一些信息(例如，在考虑社交关系时仅考虑用户和好友之间的关系)，这会对结果造成一定的偏差。大多数研究在矩阵分解中仅利用用户和POI的描述文档而忽略了用户本身的特征属性。诸多基于深度学习的兴趣点推荐研究中都仅仅利用一种模型学习评论文本的内容表示。然而，单个模型都或多或少存在自身的缺点，这些缺点往往都被忽略。因此，利用单个模型学习评论文本的内容表示可能会遗忘或忽视文本中的部分内容，造成推荐结果的偏差。
技术实现思路
有鉴于此，有必要提供一种充分利用评论文本、提供个性化推荐兴趣点的融合多特征的矩阵分解兴趣点推荐方法及其实现系统。一种融合多特征的矩阵分解兴趣点推荐方法，包括以下步骤：步骤一，重构多源异构特征，所述多源异构特征包括对地理位置信息、类别偏好信息和社交关系信息，对所述多源异构特征进行重构，对应得到用户评分矩阵、分类偏好矩阵、流行度矩阵和用户活跃度；步骤二，利用文本信息挖掘用户和兴趣点的潜在模型，生成一个混合深度神经网络HDNN结构，以自上而下的方式学习文档的潜在分布表示，通过分析用户和兴趣点的评论文档，生成文档潜在模型；步骤三，基于乘法法则融合所述多源异构特征，生成融合地理位置、类别偏好、社交关系及混合深度神经网络的多特征融合的概率矩阵分解模型，并对概率矩阵分解模型中的参数进行优化，以预测用户的个性化偏好。进一步地，步骤一中的所述地理位置信息的重构是指利用用户已访问的兴趣点和未访问的兴趣点间的地理位置关系来估算用户在未访问兴趣点上的相关得分，根据每个用户已访问过的兴趣点估算地理坐标上的个性化签到分布；所述类别偏好信息的重构是指将用户对类别的偏好和兴趣点的流行度计算用户和兴趣点之间的关联评分；所述社交关系信息的重构是指通过用户间的相似性对用户的签到行为进行分析，在皮尔森相关系数法的基础上，利用用户活跃度重新定义用户的相似性。进一步地，步骤二中的所述混合深度神经网络包括双向长短期记忆网络和卷积神经网络，所述双向长短期记忆网络用于构建用户和兴趣点评论文档中每个文本句子的表示，所述卷积神经网络用于将所有文本块的语义及其关系编码到文档表示中。进一步地，所述混合深度神经网络包括嵌入层、双向长短期记忆网络层、卷积神经网络层、池化层和输出层，其中：所述嵌入层用于提取文档的语义信息，利用Glove词嵌入方法，将每个词转换为实值向量，把每个文本片段表示为单词嵌入序列；设令s表示为包含n个单词的文本块，每个单词都映射到一个全局向量，则有：其中，向量ei表示第i个单词的向量，为保持单词在文本块s中的顺序，将单词嵌入的向量连接在一起，并将文档按时间顺序排列成T个文本块，得到一个序列：S＝(s1,s2,…,st,…sT)，其中，st是第t个文本块的子序列；所述双向长短期记忆网络层用于挖掘文档中词序列间的隐藏信息；双向长短期记忆网络同时对文档中每个词的上下文信息进行语义编码并对其前后信息进行建模，将前向LSTM的输出序列和后向LSTM的输出序列连接起来作为下一层卷积层的输入；第t时刻隐藏向量h(t)的更新公式如下：ft＝σ(Wf[h(t-1),st]+bf)(2)it＝σ(Wi[h(t-1),st]+bi)(3)ot＝σ(Wo[h(t-1),st]+bo)(4)ht＝ot*tanh(Ct)(7)所述卷积神经网络层用于抽取文本句子间的结构特征；在卷积层，每个神经元j使用一个滤波器其中m为卷积计算的滑动窗口，l为LSTM层输出向量的大小；对h(t)运用卷积算子计算出新的特征gj，如式(9)表示：其中，bj是偏置项，δ是激活函数；在sigmoid、tanh、修正线性单元的激活函数中，使用ReLU激活函数，避免了梯度消失的问题；所述池化层用于从卷积神经网络层提取具有代表性的特征，并通过池化操作将可变长度的文档构造成固定长度的向量特征；利用max-pooling操作，从每个上下文特征向量中提取最大上下文特征，将一个文档的表示缩减为一个定长向量，如式(10)和式(11)表示：dj＝max{g1,g2,…,gn-m+l}(10)其中，w表示卷积层的核数；引入非线性，在max-pooling的基础上添加激活函数双曲正切函数tanh；在文本分析中，将不同单词窗口生成的所有特征向量串联起来，形成st的最终表示形式：其中，m∈{3,4,5}；所述输出层用于将原始文档转换为密集的分布表示形式，使用dropout函数防止过拟合；利用常规非线性投影将卷积层提取的高阶特征投影到k维空间上，如式(12)表示：其中，Q为k×f投影矩阵，b为Q的偏置向量，为池化层的输出。进一步地，所述混合深度神经网络首先通过Embedding函数构建所述嵌入层，输出序列S；其次通过Bidirectional函数构建所述双向长短期记忆网络层；再将双向长短期记忆网络层的输出输入到卷积神经网络层的卷积操作中，并对卷积的结果进行降维，其中的激活函数为tanh函数；然后利用dropout函数防止结果过拟合；最后构建混合深度神经网络模型及设置其损失函数。进一步地，步骤三中的所述基于乘法法则融合所述多源异构特征是指采用乘法法则融合地理、社交与分类偏好相关分数，并将这些分数融合到概率矩阵分解模型中；首先评估用户所在位置经纬度坐标的个性化签到分布，基于地理相关性，推导用户对未签到的兴趣点的地理相关分数；然后根据其他用户已签到的兴趣点，利用用户的社交关系，推本文档来自技高网...

【技术保护点】
1.一种融合多特征的矩阵分解兴趣点推荐方法，其特征在于，包括以下步骤：/n步骤一，重构多源异构特征，所述多源异构特征包括对地理位置信息、类别偏好信息和社交关系信息，对所述多源异构特征进行重构，对应得到用户评分矩阵、分类偏好矩阵、流行度矩阵和用户活跃度；/n步骤二，利用文本信息挖掘用户和兴趣点的潜在模型，生成一个混合深度神经网络HDNN结构，以自上而下的方式学习文档的潜在分布表示，通过分析用户和兴趣点的评论文档，生成文档潜在模型；/n步骤三，基于乘法法则融合所述多源异构特征，生成融合地理位置、类别偏好、社交关系及混合深度神经网络的多特征融合的概率矩阵分解模型，并对概率矩阵分解模型中的参数进行优化，以预测用户的个性化偏好。/n

【技术特征摘要】
1.一种融合多特征的矩阵分解兴趣点推荐方法，其特征在于，包括以下步骤：
步骤一，重构多源异构特征，所述多源异构特征包括对地理位置信息、类别偏好信息和社交关系信息，对所述多源异构特征进行重构，对应得到用户评分矩阵、分类偏好矩阵、流行度矩阵和用户活跃度；
步骤二，利用文本信息挖掘用户和兴趣点的潜在模型，生成一个混合深度神经网络HDNN结构，以自上而下的方式学习文档的潜在分布表示，通过分析用户和兴趣点的评论文档，生成文档潜在模型；
步骤三，基于乘法法则融合所述多源异构特征，生成融合地理位置、类别偏好、社交关系及混合深度神经网络的多特征融合的概率矩阵分解模型，并对概率矩阵分解模型中的参数进行优化，以预测用户的个性化偏好。


2.如权利要求1所述的融合多特征的矩阵分解兴趣点推荐方法，其特征在于，步骤一中的所述地理位置信息的重构是指利用用户已访问的兴趣点和未访问的兴趣点间的地理位置关系来估算用户在未访问兴趣点上的相关得分，根据每个用户已访问过的兴趣点估算地理坐标上的个性化签到分布；所述类别偏好信息的重构是指将用户对类别的偏好和兴趣点的流行度计算用户和兴趣点之间的关联评分；所述社交关系信息的重构是指通过用户间的相似性对用户的签到行为进行分析，在皮尔森相关系数法的基础上，利用用户活跃度重新定义用户的相似性。


3.如权利要求1所述的融合多特征的矩阵分解兴趣点推荐方法，其特征在于，步骤二中的所述混合深度神经网络包括双向长短期记忆网络和卷积神经网络，所述双向长短期记忆网络用于构建用户和兴趣点评论文档中每个文本句子的表示，所述卷积神经网络用于将所有文本块的语义及其关系编码到文档表示中。


4.如权利要求3所述的融合多特征的矩阵分解兴趣点推荐方法，其特征在于，所述混合深度神经网络包括嵌入层、双向长短期记忆网络层、卷积神经网络层、池化层和输出层，其中：
所述嵌入层用于提取文档的语义信息，利用Glove词嵌入方法，将每个词转换为实值向量，把每个文本片段表示为单词嵌入序列；设令s表示为包含n个单词的文本块，每个单词都映射到一个全局向量，则有：



其中，向量ei表示第i个单词的向量，为保持单词在文本块s中的顺序，将单词嵌入的向量连接在一起，并将文档按时间顺序排列成T个文本块，得到一个序列：S＝(s1,s2,…,st,…sT)，其中，st是第t个文本块的子序列；
所述双向长短期记忆网络层用于挖掘文档中词序列间的隐藏信息；双向长短期记忆网络同时对文档中每个词的上下文信息进行语义编码并对其前后信息进行建模，将前向LSTM的输出序列和后向LSTM的输出序列连接起来作为下一层卷积层的输入；第t时刻隐藏向量h(t)的更新公式如下：
ft＝σ(Wf[h(t-1),st]+bf)(2)
it＝σ(Wi[h(t-1),st]+bi)(3)
ot＝σ(Wo[h(t-1),st]+bo)(4)






ht＝ot*tanh(Ct)(7)



所述卷积神经网络层用于抽取文本句子间的结构特征；在卷积层，每个神经元j使用一个滤波器其中m为卷积计算的滑动窗口，l为LSTM层输出向量的大小；对h(t)运用卷积算子计算出新的特征gj，如式(9)表示：



其中，bj是偏置项，δ是激活函数；在sigmoid、tanh、修正线性单元的激活函数中，使用ReLU激活函数，避免了梯度消失的问题；
所述池化层用于从卷积神经网络层提取具有代表性的特征，并通过池化操作将可变长度的文档构造成固定长度的向量特征；利用max-pooling操作，从每个上下文特征向量中提取最大上下文特征，将一个文档的表示缩减为一个定长向量，如式(10)和式(11)表示：
dj＝ma...

【专利技术属性】
技术研发人员：钱忠胜，谢晓欣，
申请(专利权)人：江西财经大学，
类型：发明
国别省市：江西;36