基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法技术

本发明专利技术公开了一种基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法，包括：用户

【技术实现步骤摘要】
基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法


[0001]本专利技术涉及推荐系统兴趣点
，具体指一种基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法。

技术介绍

[0002]近年来，配置有GPS(全球定位系统)模块的移动智能设备数量激增，时空位置服务已成为重要发展趋势。Foursquare、Gowalla、Yelp等基于位置社交网络服务(Location
‑
Based Social Network，LBSN)迅猛发展。人们通过签到方式记录感兴趣的兴趣点(POIs,points of interest)。兴趣点推荐通过用户签到数据，分析其历史交互行为，进一步计算其偏好，帮助推荐系统更准确地为其进行兴趣点推荐。
[0003]目前,推荐方法,包括协同过滤(CF)、基于内容(CB)方法、上下文感知方法和其混合方法,已成功应用在许多领域,如电影/视频推荐,和音乐推荐。兴趣点推荐已有很多工作。
[0004]现有兴趣点推荐方法仍存在不足：在许多LBSN服务和应用程序中,只考虑序列信息，忽略空间坐标信息；有程序同时考虑时间信息和空间坐标信息，忽略时空关联性，这会丢失关键信息。将时间和空间信息融入循环神经网络中，又因RNN超强假设，签到序列中相邻签到行为会相互依赖，易产生错误依赖关系，影响推荐结果。

技术实现思路

[0005]本专利技术针对现有兴趣点推荐不足，提出了一种基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法，设计了一个多变量Hawkes过程为基础的方法来模拟用户行为序列之间复杂的顺序关系，以及用户行为序列的相应功能，推荐适当兴趣点，根据目标用户长期/短期喜好，以满足其实时需求。
[0006]为了解决上述技术问题，本专利技术的技术方案为：
[0007]本专利技术采用多变量Hawkes时空点过程。Hawkes过程主要是一个自我激励过程。Hawkes过程最本质特点是点过程：过去发生事件一定会增加将来事件发生概率。Hawkes时空点过程是Hawkes过程的扩展。在第一个事件没有发生时，存在一个μ
u,i
强度函数(基强度)，为某个事件最基本发生概率。
[0008]在本专利技术中，采用用户特征表示与待推荐兴趣点特征表示的相似性乘积作为基强度。因为不同用户对兴趣点访问模式和偏好存在差异，将用户信息与兴趣点信息融入Hawkes时空点过程中，可以实现个性化建模,区分不同用户行为模式。加入用户信息以及兴趣点信息可以让模型学习到每个用户独特访问规律。
[0009]本专利技术首先获取用于实现兴趣点推荐任务的相关数据集，数据集中包含用户集合U＝{u1，u2，...，u
|U|
}、用户访问兴趣点数据集I＝{i1，i2，...，i
|I|
}和用户访问兴趣点对应时间空间信息序列为
[0010]S
u
＝[(u,i1,t1,s1),(u,i2，t2，s2)，...，(u，i
|Su|
‑1，t
|Su|
‑1，S
|Su|
‑1)]，(u,i,t,s)∈U
×
I
×
T
×
S，(u,i,t,s)∈S
u
，S
u
∈S，
[0011]其中(u，i，t，s)表示用户u在t时刻访问兴趣点i，i在位置s处，T为时间戳集合，S为所有兴趣点集合，S
u
为用户u的访问序列。本专利技术中空间位置s为经纬度坐标(latitude,longitude)。
[0012]具体的，包括如下步骤：
[0013]S1.从原始数据中抽取有效数据，构建用户
‑
兴趣点交互数据，令S
u
为用户u的访问序列，(u，i，t，s)∈S
u
，S
u
∈S，其中S为所有用户的访问序列，u∈U，i∈I，其中U为所有用户集合，I为所有兴趣点集合，u为用户编号，i为兴趣点编号，t为用户u访问兴趣点i的时刻，s为兴趣点i的位置。将用户访问序列S
u
送入嵌入模块，分别构建用户u和兴趣点i的特征表示。
[0014]S2.构建用户u访问兴趣点i事件发生概率的基础强度将用户u的特征表示向量和t时刻用户u访问兴趣点i的特征表示向量输入模型。进行元素级乘法操作,并沿着第一个维度(batch维)求和。获得v
u
和v
u，t，i
之间相关性得分μ
u，i
。公式为：
[0015]μ
u，i
＝(v
u
)
T
v
u，t，i
[0016]S3.构建用户u行为序列中的历史序列h对当前兴趣点i的初始激发程度向量对用户u历史访问兴趣点h的特征表示矩阵与t时刻用户u访问兴趣点i的特征表示向量v
u，t，i
进行逐元素相乘。并对最后一维度求和，获取v
u，h
与v
u，t，i
之间的相关性得分α
u，h，i
。公式为：
[0017]α
u，h，i
＝v
u，h
v
u，t，i
[0018]S4.计算用户u对历史行为的注意力(attention)权重。
[0019]S41.将用户u历史访问兴趣点h的特征表示矩阵v
u，h
输入线性层(v
u，h
W
h
+b
h
)，其中为可训练模型参数，再经过非线性激活函数relu()，获得历史访问序列隐特征表示矩阵公式为：
[0020]Hvec
u，h
＝relu(v
u，h
W
h
+b
h
)
[0021]S42.将用户u的特征表示向量v
u
与历史访问序列隐特征表示矩阵Hvec
u，h
相乘经过Softmax()函数获得用户u对不同历史兴趣点注意力向量公式为：
[0022]att
u，h
＝Softmax(Hvec
u，h
v
u
)
[0023]S5.通过基于注意力自适应方法来利用和融合用户偏好。使用注意力模型确定用户长短期偏好动静态权重。
[0024]S51.将用户u的特征表示向量v
u
和平均化历史访问兴趣点特征表示向量拼接到一起，构建一个长短期特征表示矩阵获取一个兼具全局及局部信息特征表示，的公式定义如下：
[0025][0026]其中v
u，h
是用户u历史访问兴趣点h的特征表示矩阵；是t时刻，用户u历史访问兴趣点h的特征表示总和；|S
u，t
|是t时刻用户u历史访问序列长度；S
u，t
是t时刻用户u的历史访问序列。...

【技术保护点】

【技术特征摘要】
1.一种基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法，其特征在于，S1、从原始数据中抽取有效数据，构建用户
‑
兴趣点交互数据；S2、根据用户
‑
兴趣点交互数据，通过元素级乘法操作构建用户访问兴趣点事件发生概率的基础强度；并通过逐元素相乘构建用户行为序列中的历史序列对当前兴趣点的初始激发程度向量；S3、计算用户对历史行为的注意力权重S3
‑
1、将用户u历史访问兴趣点h的特征表示矩阵v
u，h
输入线性层(v
u，h
W
h
+b
h
)，其中为可训练模型参数,再经过非线性激活函数relu(),获得历史访问序列隐特征表示矩阵公式为：Hvec
u，h
＝relu(v
u，h
W
h
+b
h
)；S3
‑
2、将用户u的特征表示向量v
u
与历史访问序列隐特征表示矩阵Hvec
u，h
相乘经过Softmax()函数获得用户u对不同历史兴趣点注意力向量公式为：att
u，h
＝Softmax(Hvec
u，h
v
u
)；S4、通过基于注意力自适应方法来利用和融合用户偏好，进而确定用户长短期偏好动静态权重、长期偏好静态权重和短期偏好动态权重；S5、构建关于用户的指数核函数，其计算过去事件发生对当前事件发生的历史影响随时间及空间的指数衰减K
u
(t
‑
t
h
,s
‑
s
h
)；S6、采用多变量Hawkes时空点过程对用户行为序列建模，所构建模型表达式如下：根据历史序列预测、推荐她、他下一个兴趣点，将上述结果带入模型中，其中是在时刻t时，用户u更偏好s位置处兴趣点i的概率；μ
u，i
是用户u访问兴趣点i事件发生概率的基础强度；是用户u的长期偏好静态权重；是用户u的短期偏好动态权重；att
u，h
是用户u对不同历史兴趣点注意力向量；α
u，h，i
是用户u行为序列中的历史序列h对当前兴趣点i的初始激发程度向量；S7计算用户u在时刻t对兴趣点i
′
感兴趣的概率，对于每个兴趣点i
′
∈I，条件分布p
i
′
|u
(s，t)在整个兴趣点集合I上，公式为：S8对用户u在时刻t采样负样本，负样本为兴趣点特征表示，用负样本兴趣点k
′
特征表示替换上述i
′
特征表示为S9计算损失，并对Hawkes时空点过程参数进行优化。2.根据权利要求1所述的基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法，其特征在于，所述步骤S1的具体方法为：
令S
u
为用户u的访问序列，(u，i，t，s)∈S
u
，S
u
∈S，其中S为所有用户的访问序列，u∈U，i∈I，其中U为所有用户集合，I为所有兴趣点集合，u为用户编号，i为兴趣点编号，t为用户u访问兴趣点i的时刻，s为兴趣点i的位置，将用户访问序列S
u
送入交互序列嵌入模块，分别构建用户u和兴趣点i的特征表示。3.根据权利要求2所述的基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法，其特征在于，所述步骤S2中的基础强度的获取方法：从用户
‑
兴趣点交互数据中提取用户u的特征表示向量和t时刻用户u访问兴趣点i的特征表示向量并进行元素级乘法操作,并沿着第一个batch维求和，获得v
u
和v
u，t，i
之间相关性得分μ
u，i
，即用户u访问兴趣点i事件发生概率的基础强度4.根据权利要求2所述的基于多变量Hawkes时空点过程嵌入注意力的兴趣点推荐方法，其特征在于，所述步骤S2中初始激发程度向量的获取方法为：从用户
‑
兴趣点交互数据中提取用户u历史访问兴趣点h的特征...

【专利技术属性】
技术研发人员：李尤慧子，韦余欣，张新，殷昱煜，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：