一种用户兴趣分析与抽取方法技术

本发明专利技术公开了一种用户兴趣分析与抽取方法，通过运用用户历史行为日志和两层注意力层来进行用户兴趣的抽取。具体来说在用户历史行为中加入用户对每个物品的具体行为，将用户基本信息，用户历史行为序列，候选物品进行嵌入，得到每个特征的特征向量；把这些特征拼接，用户历史行为序列中的物品和候选物品通过物品注意力层得到物品加权向量，得到的向量再和具体行为通过行为注意力层，得到用户兴趣的表示；最后所有向量进行拼接，馈入后面的MLP网络，输出用户对候选物品的兴趣等级。本发明专利技术主要解决的问题是对学习者隐式兴趣的发现。要解决的问题是对学习者隐式兴趣的发现。要解决的问题是对学习者隐式兴趣的发现。

【技术实现步骤摘要】
一种用户兴趣分析与抽取方法


[0001]本专利技术涉及推荐系统和教育领域，特别是涉及一种用户兴趣分析与抽取方法。

技术介绍

[0002]一个用户在浏览一个学习网站的时候，网站会获得这个用户的显式行为和隐式行为。显式行为就是这个用户明确表示了自己对某个学习资源的喜好程度，而隐式行为只是用户对学习资源进行的操作，而没有直接表达出对这个学习资源的喜好程度。比如一个用户对某篇论文进行了检索、浏览并下载。根据用户的隐式行为获得的用户对学习资源的喜好程度就是用户的隐式兴趣。
[0003]在推荐系统中，为了使推荐结果满足用户个性化的需要，需要对用户画像进行建模，从而分析用户行为习惯、兴趣偏好等重要信息。在学习资源推荐系统中，需要对学习者进行建模，根据学习者的基础信息、学习能力、隐式兴趣等数据归纳出学习者模型。一般来说，学习者不会直接表达出对某个学习资源的喜好程度，所以通过学习者的行为信息，也就是历史行为序列来获取学习者对学习资源的隐式兴趣是很有必要的。
[0004]许多推荐模型，例如WDL和PNN，都使用深度学习方法来提取项目级特征和特征交互。但是，这些模型不考虑通过历史行为来捕获用户兴趣。随着注意力机制在计算机视觉和自然语言处理中取得巨大成功，研究者们把注意力机制运用到了推荐系统中。深度兴趣网络(DIN)是推荐系统中使用注意力机制的第一项工作，它指示用户兴趣的多样性，并使用注意力机制来激活有关候选物品的历史行为。
[0005]但是，DIN模型只考虑了给定的候选物品和用户历史行为序列之间的相关性，却忽略了用户序列中对不同物品的不同行为。比如，在万方这样的文献网站中，用户对某篇文献的行为可能有检索、浏览和下载，不同的行为可能对用户的兴趣有不同的影响。在DIN中，用户的行为只有点击和不点击两种，这限制了对用户具体兴趣的表达。因此，在用户历史行为中加入用户对每个物品的具体行为，并添加一层注意力层来获得行为和物品之间的关系是有必要的。

技术实现思路

[0006]本专利技术主要解决的技术问题是提供用户兴趣分析与抽取方法，能够解决用户兴趣建模问题。
[0007]为解决上述技术问题，本专利技术采用的一个技术方案是：
[0008]一种用户兴趣分析与抽取方法，包括：在用户历史行为中加入用户对每个物品的具体行为，加入一层行为注意力层来计算这些具体行为对用户兴趣的影响，把得到的用户兴趣表示向量馈入MLP网络，来获取用户对候选物品的兴趣等级。
[0009]具体的包括以下步骤：
[0010](1)、输入和嵌入
[0011]在输入层的部分，输入特征分为三大类，即：用户的基本信息、用户的行为序列和
候选商品。其中用户的基本信息是用户本身的特征，用户行为序列是用户对一系列商品的历史行为，这个序列也包括每一个商品的一些基本特征，一般包括商品的ID等等，候选商品是召回的来的商品，模型的任务就是预测用户对于候选商品的行为；
[0012]将上述三种序列通过嵌入层使这三种序列分别变为一个向量，继而将在用户行为中的物品及用户行为序列通过行为注意力层后，得到物品和行为的加权向量；
[0013](2)、用户兴趣获取
[0014]再将物品和行为的加权向量及候选物品经过物品注意力层，加权求和后得到用户的兴趣表示；
[0015](3)、MLP特征交互学习
[0016]将得到的用户兴趣表示向量馈入MLP网络，充分交叉这些特征，输出用户对候选物品的兴趣级别，来验证用户兴趣抽取的准确性。
[0017]具体的各个步骤：
[0018](1)、输入和嵌入
[0019]模型的输入特征一般分为三个大类：用户的基本信息、用户的行为序列和候选物品。
[0020]用户的基本信息是用户本身的特征，一般包括用户的ID，年龄，性别，职业等。
[0021]用户的行为序列是用户对一系列物品的历史行为，在行为序列中，每一个物品都有一些基本特征，一般包括商品的ID，种类等。
[0022]候选物品是通过召回得来的物品，模型的任务就是预测用户对候选物品的行为。候选物品和用户行为序列中的物品一样，一般包括物品的ID，种类，等特征。
[0023]用嵌入层将其转化为低维稠密的向量，模型的三类输入通过嵌入层后，每一种特征都会变成一个低维的向量，把同一个单位的所有特征进行拼接，得到一个向量。
[0024]把用户的基本信息的用户ID、年龄等特征向量拼接成一个向量，得到一个1*nd的向量(n是特征的个数，d是嵌入的维度)；
[0025]把用户的行为序列的中每个物品的所有特征拼接成一个向量，得到一个1*k*nd的向量(k是用户行为序列的长度，n是特征的个数，d是嵌入的维度)；
[0026]把候选物品的所有特征拼接成一个向量，得到一个1*nd的向量(n是特征的个数，d是嵌入的维度)。
[0027](2)、用户兴趣获取
[0028]用户兴趣获取模块是核心模块，主要包括两层注意力层，分别是物品注意力层和行为注意力层。
[0029]两个注意力层都是通过激活单元实现的。
[0030]在行为中的物品和候选物品经过物品注意力层后，得到每个物品和候选物品的加权向量，得到的加权向量再和具体行为经过行为注意力层，加权求和得到用户的兴趣表示。具体而言，将激活单元应用于用户行为特征，将其用作加权和池以在给定候选文献A和用户具体行为的情况下自适应地计算用户兴趣表示v
U
，如式所示：
[0031][0032]e
j
′
＝f9v
A
,e
j
)＝a(e
j
,v
A
)e
j
＝w
j
e
j
[0033]其中E＝{e1,e2,
…
,e
H
}是长度为H的用户U行为中文献的嵌入向量列表，B＝{b1,b2,
…
,b
H
}是用户行为中具体行为的嵌入向量列表，E
′
＝{e
′1,e
′2,
…
,e
′
H
}是用户历史行为的行为级表示，a(
·
)是激活单元，其输出作为激活权重。v
A
是候选文献A的嵌入向量。这样，v
U
(A)随着候选文献和用户历史行为中的具体行为的变化而变化。
[0034](3)、MLP特征交互学习
[0035]把从用户兴趣表示部分得到的向量馈入后面的MLP网络，使得这些特征进行充分的交叉，输出用户对候选物品的兴趣级别。来验证用户兴趣抽取的准确性。
[0036]损失函数采用交叉熵损失函数：
[0037][0038]其中S是大小为N的训练集，T是分类的个数。x是网络的输入，y＝{y1,y2,
…
,y
T
}是标签，y
t
∈{0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户兴趣分析与抽取方法，其特征在于，包括：在用户历史行为中加入用户对每个物品的具体行为，加入一层行为注意力层来计算这些具体行为对用户兴趣的影响，把得到的用户兴趣表示向量馈入MLP网络，来获取用户对候选物品的兴趣等级。2.根据权利要求1所述的一种用户兴趣分析与抽取方法，其特征在于，具体的包括以下步骤：(1)、输入和嵌入在输入层的部分，输入特征分为三大类，即：用户的基本信息、用户的行为序列和候选商品；将上述三种序列通过嵌入层使这三种序列分别变为一个向量，继而将在用户行为中的物品及用户行为序列通过行为注意力层后，得到物品和行为的加权向量；(2)、用户兴趣获取再将物品和行为的加权向量及候选物品经过物品注意力层，加权求和后得到用户的兴趣表示；(3)、MLP特征交互学习将得到的用户兴趣表示向量馈入MLP网络，充分交叉这些特征，输出用户对候选物品的兴趣级别，来验证用户兴趣抽取的准确性。3.根据权利要求2所述的一种用户兴趣分析与抽取方法，其特征在于，步骤(1)具体包括：用户的基本信息是用户本身的特征；用户的行为序列是用户对一系列物品的历史行为，在行为序列中，每一个物品都有基本特征；候选物品是通过召回得来的物品，每一个候选物品都有基本特征；模型的任务预测用户对候选物品的行为；用嵌入层将其转化为低维稠密的向量，模型的三类输入通过嵌入层后，每一种特征都变成一个低维的向量，把同一个单位的所有特征进行拼接，得到一个向量；把用户的基本信息的用户ID、年龄等特征向量拼接成一个向量，得到一个1*nd的向量，n是特征的个数，d是嵌入的维度；把用户的行为序列的中每个物品的所有特征拼接成一个向量，得到一个1*k*nd的向量，k是用户行为序列的长度，n是特征的个数，d是嵌入的维度；把候选物品的所有特征拼接成一个向量，得到一个1*nd的向量，n是特征的个数，d是嵌入的维度。4.根据权利要求2所述的一种用户兴趣分析与抽取方法，其特征在于，步骤(2)具体包括：户兴趣获取模块包括两层注意力层，分别是物...

【专利技术属性】
技术研发人员：汤世平，邓涵洋，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：