融合标签和注意力机制的跨领域推荐方法及其实现系统技术方案

本发明专利技术公开了一种融合标签和注意力机制的跨领域推荐方法及其实现系统，该推荐方法包括，首先，选择和构建跨领域融合的标签，将源领域和目标领域的标签向量分别进行加权求和，得到资源向量；其次，依据基于注意力机制的兴趣挖掘算法，得到用户在源领域和目标领域的偏好；然后，依据基于BP神经网络的跨领域标签映射算法学习源领域与目标领域间的标签映射，得到用户在目标领域的综合偏好；最后，通过融合标签映射和注意力机制的跨领域推荐算法，将目标领域中与用户的综合偏好相似度高的项目推荐给用户。通过跨领域推荐综合考虑用户在不同领域的偏好，改善了用户在目标领域推荐中的冷启动问题；同时在跨领域推荐系统中，通过分析用户在不同领域的偏好，使得推荐结果更具多样化。

Cross domain recommendation method and its implementation system based on tag and attention mechanism

【技术实现步骤摘要】
融合标签和注意力机制的跨领域推荐方法及其实现系统
本专利技术涉及信息推荐方法和系统
，具体涉及一种融合标签和注意力机制的跨领域推荐方法及其实现系统。
技术介绍
随着互联网技术的快速发展，QQ、微信、微博等各类社交应用软件的数量快速地增长，多种多样的信息呈现在人们面前，极大地丰富了人们的日常生活。但是，这个过程中出现了一些不可避免的问题，例如信息泛滥和信息迷航。为了帮助每个用户更好地获取资源，个性化的推荐技术应运而生。当前，相关研究人员将个性化推荐技术应用于各个领域的资源推荐，除了电影、音乐、体育之外，还包括了电子商务、基于位置的服务、医疗等领域。未来个性化推荐技术的应用范畴会越来越广。大多数传统推荐算法都重点关注用户对项目的显性偏好，即数字评分。随着电子商务系统的不断扩大，用户的评分数据变得十分稀疏，仅仅通过分析用户的评分数据不足以充分了解用户的需求。而用户的隐性偏好，诸如用户的浏览记录、点击记录、标签信息，蕴含着丰富的信息，能显著改善推荐结果。目前，大多数推荐技术都为单领域的推荐技术，即仅仅利用用户在单一领域的兴趣对用户进行推荐，而多领域相结合的推荐技术较少。在单领域推荐中，往往存在着数据稀疏、用户冷启动以及商品冷启动等问题，使得推荐系统的性能下降，推荐准确度降低。
技术实现思路
有鉴于此，有必要提供一种通过分析用户在不同领域的偏好、使得推荐结构更具有多样化特点的融合标签和注意力机制的跨领域推荐方法及其实现系统。一种融合标签和注意力机制的跨领域推荐方法，包括以下步骤：步骤一，选择和构建跨领域融合的标签，将两个相近领域融合为一个新领域，作为跨领域推荐的源领域，对源领域和目标领域的标签向量分别进行加权求和，得到每个资源的资源向量；步骤二，依据基于注意力机制的兴趣挖掘算法，通过长短期记忆算法LSTM学习用户和资源之间的时序关系，并引入注意力机制，得到用户在源领域和目标领域的指定时间段内的偏好；步骤三，依据基于BP神经网络的跨领域标签映射算法，通过三层BP神经网络来学习源领域与目标领域间的标签映射，将用户源领域的偏好向量映射到目标领域后，并与用户在目标领域的偏好向量加权求和，得到用户在目标领域的综合偏好；步骤四，融合标签映射和注意力机制的跨领域推荐算法，根据用户在源领域和目标领域中的综合偏好，计算在目标领域中，用户未浏览过的资源向量与用户的综合偏好的相似度，将前N项推荐给用户。进一步地，步骤一中的所述选择和构建跨领域融合的标签流程包括：步骤1-1，源领域和目标领域的数据预处理；采集两个相近的领域A和领域B、及目标领域C中的普遍使用的标签作为定制标签DT，检索与所述定制标签相关的资源，得到与所述资源对应的资源标签RT，去除重复的标签后，得到RT-DT矩阵，矩阵的每一列为定制标签DT向量，每一行为资源标签RT向量，对剩余的定制标签向量进行统一度量；步骤1-2，跨领域融合标签的选择与构建；分析A、B领域相同的定制标签DT向量以及相同的资源标签RT向量的相似度，利用余弦相似度计算用户A与B资源内同一DT向量以及同一RT向量的相似度，如式(1)所示：其中，TA和TB分别表示A领域和B领域的同一DT或RT，TAk、TBk分别为标签TA和TB的向量表示；为了确保推荐质量，将相似度低于阀值的标签剔除；在已构建标签向量的各领域中，对定制标签DT和资源标签RT进行筛选，依据用户在各领域上的兴趣对相同资源标签RT向量进行加权求和，得到A-B领域标签向量矩阵，如式(2)和式(3)所示：RTnk＝μRTAk+(1-μ)RTBk(2)其中，RTn为跨领域融合标签，RTnk为标签RTn的向量表示。各个资源的资源标签RT按照该标签被用户标注的次数排序，前面的标签比后面的标签与资源的联系更为密切，按式(4)为每个资源的标签分配权重：对A-B领域和C领域分别使用式(4)得到所有资源的每个标签向量对应的权重，再将这些标签向量加权求和得到每个资源的资源向量，如式(5)所示：其中，sourcei为资源的每个标签的标签向量，x为资源的资源向量。进一步地，步骤1-1中的源领域和目标领域的数据预处理，包括如下步骤：步骤1-1-1，使用TF-IDF技术分别从A、B领域资源的文本中采集标签，再从已采集的标签中提取m个用户普遍使用且同时出现在两个领域的标签，即定制标签DT，这些标签能较好地表示资源特征，记为DTs；然后在A、B领域分别检索与DT相关的资源，再显示每个资源所对应的标签即资源标签RT，记为RTs；步骤1-1-2，使用TF-IDF技术从C领域中采集N个用户普遍使用的标签，记为DTt。然后检索与DT相关的资源，再显示每个资源所对应的标签，记为RTt；步骤1-1-3，对于收集到的标签，使用NLPIR汉语分词系统完成分词，并将重复的标签去除，统计每个RT在各DT对应的资源中出现的频次，向量值越大RT和DT联系越紧密；步骤1-1-4，由于不同DT检索的资源总数不同，故将所有DT向量的每个分量除以该向量的最大分量，得到度量统一的DT向量。进一步地，步骤二中的所述基于注意力机制的兴趣挖掘算法，包括如下步骤：使用长短期记忆算法学习用户和资源之间的时序关系，假设记忆单元层的更新间隔为时间步t，xt是记忆单元层在时间t的输入；Wi,Wf,Wc,Wo,Ui,Uf,Uc,Uo与Vo是权重矩阵；bi,bf,bc,bo是偏差向量；具体为:步骤2-1，在每一个时间步t，输入门输入信息与权值相乘，再加上偏置量，计算得到输入门的控制变量it和新的输入向量具体如式(6)和式(7)所示：it＝σ(Wixt+Uiht-1+bi)(6)步骤2-2，在每一个时间步t，计算遗忘门的控制变量ft与候选状态ct-1相乘，即将遗忘门输入信息与权值相乘，再加上输入门输入信息与权值的乘积，然后将记忆单元状态从ct-1更新到ct，具体如式(8)和式(9)所示：ft＝σ(Wfxt+Ufht-1+bf)(8)步骤2-3，在更新后的记忆单元状态中，不断计算输出门的值，具体如式(10)和式(11)所示：ot＝σ(Woxt+Uoht-1+VoCt+bo)(10)ht＝ot*tanh(Ct)(11)步骤2-4，计算损失函数，并使用梯度下降法将其最小化，如式(12)所示：经过长短期记忆算法LSTM层计算后，将LSTM每个时间步隐藏状态作为输出结果输出到注意力层，以捕获序列之间的依赖关系，加权求和后得到输出序列i对应的上下文向量表示yi，具体公式描述如式(13)和式(14)所示：其中，hi为LSTM第i个时间步的输出，aij表示第i个时间步与第j个时间步的输出进行归一化后的权重，相似度计算函数采用W表示的矩阵变换。进一步地，依据所述基于注意力机制的兴趣挖掘算法，用户在源领域和目本文档来自技高网...

【技术保护点】
1.一种融合标签和注意力机制的跨领域推荐方法，其特征在于，包括以下步骤：/n步骤一，选择和构建跨领域融合的标签，将两个相近领域融合为一个新领域，作为跨领域推荐的源领域，对源领域和目标领域的标签向量分别进行加权求和，得到每个资源的资源向量；/n步骤二，依据基于注意力机制的兴趣挖掘算法，通过长短期记忆算法LSTM学习用户和资源之间的时序关系，并引入注意力机制，得到用户在源领域和目标领域的指定时间段内的偏好；/n步骤三，依据基于BP神经网络的跨领域标签映射算法，通过三层BP神经网络来学习源领域与目标领域间的标签映射，将用户源领域的偏好向量映射到目标领域后，并与用户在目标领域的偏好向量加权求和，得到用户在目标领域的综合偏好；/n步骤四，融合标签映射和注意力机制的跨领域推荐算法，根据用户在源领域和目标领域中的综合偏好，计算在目标领域中，用户未浏览过的资源向量与用户的综合偏好的相似度，将前N项推荐给用户。/n

【技术特征摘要】
1.一种融合标签和注意力机制的跨领域推荐方法，其特征在于，包括以下步骤：
步骤一，选择和构建跨领域融合的标签，将两个相近领域融合为一个新领域，作为跨领域推荐的源领域，对源领域和目标领域的标签向量分别进行加权求和，得到每个资源的资源向量；
步骤二，依据基于注意力机制的兴趣挖掘算法，通过长短期记忆算法LSTM学习用户和资源之间的时序关系，并引入注意力机制，得到用户在源领域和目标领域的指定时间段内的偏好；
步骤三，依据基于BP神经网络的跨领域标签映射算法，通过三层BP神经网络来学习源领域与目标领域间的标签映射，将用户源领域的偏好向量映射到目标领域后，并与用户在目标领域的偏好向量加权求和，得到用户在目标领域的综合偏好；
步骤四，融合标签映射和注意力机制的跨领域推荐算法，根据用户在源领域和目标领域中的综合偏好，计算在目标领域中，用户未浏览过的资源向量与用户的综合偏好的相似度，将前N项推荐给用户。


2.如权利要求1所述的融合标签和注意力机制的跨领域推荐方法，其特征在于，步骤一中的所述选择和构建跨领域融合的标签流程包括：
步骤1-1，源领域和目标领域的数据预处理：
采集两个相近的领域A和领域B、及目标领域C中的普遍使用的标签作为定制标签DT，检索与所述定制标签相关的资源，得到与所述资源对应的资源标签RT，去除重复的标签后，得到RT-DT矩阵，矩阵的每一列为定制标签DT向量，每一行为资源标签RT向量，对剩余的定制标签向量进行统一度量；
步骤1-2，跨领域融合标签的选择与构建；
分析A、B领域相同的定制标签DT向量以及相同的资源标签RT向量的相似度，利用余弦相似度计算用户A与B资源内同一DT向量以及同一RT向量的相似度，如式(1)所示：



其中，TA和TB分别表示A领域和B领域的同一DT或RT，TAk、TBk分别为标签TA和TB的向量表示；为了确保推荐质量，将相似度低于阀值的标签剔除；
在已构建标签向量的各领域中，对定制标签DT和资源标签RT进行筛选，依据用户在各领域上的兴趣对相同资源标签RT向量进行加权求和，得到A-B领域标签向量矩阵，如式(2)和式(3)所示：
RTnk＝μRTAk+(1-μ)RTBk(2)



其中，RTn为跨领域融合标签，RTnk为标签RTn的向量表示；
各个资源的资源标签RT按照该标签被用户标注的次数排序，前面的标签比后面的标签与资源的联系更为密切，按式(4)为每个资源的标签分配权重：



对A-B领域和C领域分别使用式(4)得到所有资源的每个标签向量对应的权重，再将这些标签向量加权求和得到每个资源的资源向量，如式(5)所示：



其中，sourcei为资源的每个标签的标签向量，x为资源的资源向量。


3.如权利要求2所述的融合标签和注意力机制的跨领域推荐方法，其特征在于，步骤1-1中的源领域和目标领域的数据预处理，包括如下步骤：
步骤1-1-1，使用TF-IDF技术分别从A、B领域资源的文本中采集标签，再从已采集的标签中提取m个用户普遍使用且同时出现在两个领域的标签，即定制标签DT，这些标签能较好地表示资源特征，记为DTs；然后在A、B领域分别检索与DT相关的资源，再显示每个资源所对应的标签即资源标签RT，记为RTs；
步骤1-1-2，使用TF-IDF技术从C领域中采集N个用户普遍使用的标签，记为DTt，然后检索与DT相关的资源，再显示每个资源所对应的标签，记为RTt；
步骤1-1-3，对于收集到的标签，使用NLPIR汉语分词系统完成分词，并将重复的标签去除，统计每个RT在各DT对应的资源中出现的频次，向量值越大RT和DT联系越紧密；
步骤1-1-4，由于不同DT检索的资源总数不同，故将所有DT向量的每个分量除以该向量的最大分量，得到度量统一的DT向量。


4.如权利要求1所述的融合标签和注意力机制的跨领域推荐方法，其特征在于，步骤二中的所述基于注意力机制的兴趣挖掘算法，包括如下步骤：
使用长短期记忆算法学习用户和资源之间的时序关系，假设记忆单元层的更新间隔为时间步t，xt是记忆单元层在时间t的输入；Wi,Wf,Wc,Wo,Ui,Uf,Uc,Uo与Vo是权重矩阵；bi,bf,bc,bo是偏差向量；具体为:
步骤2-1，在每一个时间步t，将输入门输入信息与权值相乘，再加上偏置量，计算得到输入门的控制变量it和新的输入向量具体如式(6)和式(7)所示：
it＝σ(Wixt+Uiht-1+bi)(6)



步骤2-2，在每一个时间步t，计算遗忘门的控制变量ft与候选状态ct-1相乘，即将遗忘门输入信息与权值相乘，再加上输入门输入信息与权值的乘积，然后将记忆单元状态从ct-1更新到ct，具体如式(8)和式(9)所示：
ft＝σ(Wfxt+Ufht-1+bf)(8)



步骤2-3，在更新后的记忆单元状态中，不断计算输出门的值，具体如式(10)和式(11)所示：
ot＝σ(Woxt+Uoht-1+VoCt+bo)(10)
ht＝ot*tanh(Ct)(11)
步骤2-4，计算损失函数，并使用梯度下降法将其最小...

【专利技术属性】
技术研发人员：钱忠胜，涂宇，朱懿敏，
申请(专利权)人：江西财经大学，
类型：发明
国别省市：江西;36