基于用户偏好与时空上下文信息的下一个制造技术

本发明专利技术公开了基于用户偏好与时空上下文信息的下一个

【技术实现步骤摘要】
基于用户偏好与时空上下文信息的下一个POI推荐方法


[0001]本专利技术属于数据挖掘与推荐系统
，具体涉及一种基于用户偏好与时空上下文信息的下一个
POI
推荐方法
。

技术介绍

[0002]近年来，随着移动智能设备的普及和移动互联网技术的发展，基于位置的社交网络
(Location
‑
Based Social Network,LBSN)
热度快速增长，如
Foursquare、Gowalla、
微博等
。
用户不仅可以在
LBSN
中与朋友交互，还可以通过带有地理标记的文字
、
图像等信息与某一地点产生交互关系，如到访一间餐厅
、
一个公交站等，从而留下用户的数字足迹
。
这些带有地理信息的地点被称为兴趣点
(Point of Interest,POI)
，而用户到访一次
POI
则构成一次签到
(Check
‑
in)
，这些用户产生的大量签到记录为了解用户的行为规律提供了可能
。
用户的时空移动往往具有周期性，通过深度挖掘
LBSN
中存在的大量签到记录，有助于更加精准地为用户提供符合其偏好的推荐产品，其中下一个
POI
推荐任务近年来备受关注，已经成为基于
LBSN
的推荐任务中重要的研究方向
。
[0003]早期的下一个
POI
推荐系统多采用矩阵分解和马尔科夫链的方法，利用矩阵分解学习所有用户的整体偏好，利用马尔科夫链挖掘
POI
序列的转移特征，最后进行
POI
的推荐
。
随着深度学习领域的发展，有学者将自然语言处理中的方法引入与其任务相似的序列挖掘与
POI
预测推荐系统，利用循环神经网络捕捉
POI
序列的转移特征，最后进行
POI
的推荐
。
然而现有的方法都未能解决时空信息的稀疏性问题，不能充分地挖掘历史信息，这些问题极大影响了
POI
推荐的准确率
。

技术实现思路

[0004]本专利技术针对现有技术的不足，提供了一种基于用户偏好与时空上下文信息的下一个兴趣点推荐方法，充分挖掘用户的历史签到信息，缓解数据时空信息的稀疏性问题，以此提高推荐的准确率
。
[0005]为解决上述问题，本专利技术所采用的技术方案是：
[0006]本专利技术基于用户偏好与时空上下文信息的下一个兴趣点推荐方法，包括以下步骤：
[0007]步骤
1、
从基于位置的社交网络中获取一组用户的所有签到记录；
[0008]步骤
2、
数据预处理：对所有签到数据进行清洗，删除缺失用户
、
兴趣点
、
兴趣点经纬度
、
兴趣点类别或签到时间的无效签到记录，删除被访问次数小于
10
的兴趣点对应的签到记录以及签到记录数量小于
100
的用户的签到记录；然后对清洗后剩余签到数据进行格式统一，具体为：根据每条签到记录的时间戳生成统一格式的“周”和“时”，根据每条签到记录的经纬度生成对应的地理位置编码；按照用户分类保存签到记录，并按照时间顺序对每个用户的签到记录进行重构；接着，进行判断，若用户签到记录超过
500
个，取用户签到记录中最近的
500
个签到记录组成长期签到序列，否则取用户所有签到记录组成长期签到序列；
并将每个用户签到记录中每
s
个签到记录划分为一个短期签到序列，将最后剩余的
s1
个签到记录与前
s
‑
s1
个签到记录划分为一个短期签到序列；遍历所有用户，得到每个用户对应的长期签到序列和短期签到序列；
[0009]步骤
3、
签到记录信息向量嵌入：利用低维稠密向量对兴趣点及各种附属信息进行向量嵌入，对附属信息向量嵌入分别为对用户
、
地理位置编码
、
兴趣点类别
、“时”和“周”以及类别喜好进行向量嵌入；
[0010]步骤
4、
构建并训练基于用户偏好与时空上下文信息的下一个兴趣点推荐模型，具体包括：
(1)
构建用户偏好特征提取模块；该模块采用双层注意力机制挖掘用户长期签到序列中的用户偏好特征，第一层注意力机制采用基于多头自注意力机制的
Transformer
编码器，并行地捕获整个长期签到序列中各签到记录之间的相互关系；第二层注意力机制采用双线性注意力机制，捕获每个签到记录对用户类别喜好的贡献度；
(2)
构建长期行为特征提取模块：该模块的输入是用户的长期签到序列，将每个签到记录的兴趣点
、
地理位置编码
、
兴趣点类别以及“时”和“周”属性嵌入向量进行拼接，然后将整个长期签到序列的拼接向量输入到多层
GRU
，将多层
GRU
的输出向量与用户嵌入向量进行拼接，再经过全连接层与用户偏好特征提取模块的输出向量进行相加；
(3)
构建短期行为特征提取模块：该模块的输入是用户的短期签到序列，将每个签到记录的兴趣点嵌入向量
、
地理位置编码嵌入向量和兴趣点类别嵌入向量分别与其时间嵌入向量进行拼接，得到三种拼接向量，三种拼接向量分别输入到三个参数不共享的
GRU
内，将三个
GRU
的输出向量进行有权重相加，然后与用户嵌入向量进行拼接，经过全连接层与用户偏好特征提取模块的输出向量进行相加；
(4)
构建预测模块：将长
、
短期行为特征提取模块的输出经过非线性层，输出两个兴趣点概率分布向量和两个地理位置编码概率分布向量，两个兴趣点概率分布向量经过兴趣点融合层合并为一个兴趣点概率分布向量，两个地理位置编码概率分布向量经过地理位置融合层合并为一个地理位置编码概率分布向量；然后，将兴趣点概率分布向量和地理位置编码概率分布向量分别按概率值从大到小进行排序，取地理位置编码概率值最大的前
10
个地理位置编码，取这些地理位置编码内的概率值最大的前
k
个兴趣点组成推荐列表输出，
k
取值为
1、5
或
10
，得到基于用户偏好与时空上下文信息的下一个兴趣点推荐模型；
(5)
训练基于用户偏好与时空上下文信息的下一个兴趣点推荐模型：根据每个用户的长期签到序列和短期签到序列构建训练集，采用交叉熵损失函数计算该下一个兴趣点推荐模型的兴趣点预测损失和地理位置编码预测损失，并使用
Ada本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于用户偏好与时空上下文信息的下一个
POI
推荐方法，其特征在于：包括以下步骤：步骤
1、
从基于位置的社交网络中获取一组用户的所有签到记录；步骤
2、
数据预处理：对所有签到数据进行清洗，删除缺失用户
、
兴趣点
、
兴趣点经纬度
、
兴趣点类别或签到时间的无效签到记录，删除被访问次数小于
10
的兴趣点对应的签到记录以及签到记录数量小于
100
的用户的签到记录；然后对清洗后剩余签到数据进行格式统一，具体为：根据每条签到记录的时间戳生成统一格式的“周”和“时”，根据每条签到记录的经纬度生成对应的地理位置编码；按照用户分类保存签到记录，并按照时间顺序对每个用户的签到记录进行重构；接着，进行判断，若用户签到记录超过
500
个，取用户签到记录中最近的
500
个签到记录组成长期签到序列，否则取用户所有签到记录组成长期签到序列；并将每个用户签到记录中每
s
个签到记录划分为一个短期签到序列，将最后剩余的
s1
个签到记录与前
s
‑
s1
个签到记录划分为一个短期签到序列；遍历所有用户，得到每个用户对应的长期签到序列和短期签到序列；步骤
3、
签到记录信息向量嵌入：利用低维稠密向量对兴趣点及各种附属信息进行向量嵌入，对附属信息向量嵌入分别为对用户
、
地理位置编码
、
兴趣点类别
、“时”和“周”以及类别喜好进行向量嵌入；步骤
4、
构建并训练基于用户偏好与时空上下文信息的下一个兴趣点推荐模型，具体包括：
(1)
构建用户偏好特征提取模块；该模块采用双层注意力机制挖掘用户长期签到序列中的用户偏好特征，第一层注意力机制采用基于多头自注意力机制的
Transformer
编码器，并行地捕获整个长期签到序列中各签到记录之间的相互关系；第二层注意力机制采用双线性注意力机制，捕获每个签到记录对用户类别喜好的贡献度；
(2)
构建长期行为特征提取模块：该模块的输入是用户的长期签到序列，将每个签到记录的兴趣点
、
地理位置编码
、
兴趣点类别以及“时”和“周”属性嵌入向量进行拼接，然后将整个长期签到序列的拼接向量输入到多层
GRU
，将多层
GRU
的输出向量与用户嵌入向量进行拼接，再经过全连接层与用户偏好特征提取模块的输出向量进行相加；
(3)
构建短期行为特征提取模块：该模块的输入是用户的短期签到序列，将每个签到记录的兴趣点嵌入向量
、
地理位置编码嵌入向量和兴趣点类别嵌入向量分别与其时间嵌入向量进行拼接，得到三种拼接向量，三种拼接向量分别输入到三个参数不共享的
GRU
内，将三个
GRU
的输出向量进行有权重相加，然后与用户嵌入向量进行拼接，经过全连接层与用户偏好特征提取模块的输出向量进行相加；
(4)
构建预测模块：将长
、
短期行为特征提取模块的输出经过非线性层，输出两个兴趣点概率分布向量和两个地理位置编码概率分布向量，两个兴趣点概率分布向量经过兴趣点融合层合并为一个兴趣点概率分布向量，两个地理位置编码概率分布向量经过地理位置融合层合并为一个地理位置编码概率分布向量；然后，将兴趣点概率分布向量和地理位置编码概率分布向量分别按概率值从大到小进行排序，取地理位置编码概率值最大的前
10
个地理位置编码，取这些地理位置编码内的概率值最大的前
k
个兴趣点组成推荐列表输出，
k
取值为
1、5
或
10
，得到基于用户偏好与时空上下文信息的下一个兴趣点推荐模型；
(5)
训练基于用户偏好与时空上下文信息的下一个兴趣点推荐模型：根据每个用户的长期签到序列和短期签到序列构建训练集，采用交叉熵损失函数计算该下一个兴趣点推荐模型的兴趣点预测损失和地理位置编码预测损失，并使用
Adam
优化器更新该下一个兴趣点推荐模型的参数，从而实现该下一个
兴趣点推荐模型的训练；步骤
5、
将用户的长期签到序列和短期签到序列输入到已训练的基于用户偏好与时空上下文信息的下一个兴趣点推荐模型中，生成
k
个兴趣点，推荐给用户
。2.
根据权利要求1所述的基于用户偏好与时空上下文信息的下一个
POI
推荐方法，其特征在于：所述的地理位置编码采用
DBSCAN
聚类算法
。3.
根据权利要求1所述的基于用户偏好与时空上下文信息的下一个
POI
推荐方法，其特征在于：所述兴趣点嵌入的具体过程为：
①
依据所有用户的签到序列建立同构图，将每个兴趣点作为同构图网络中的节点，兴趣点到兴趣点的转移关系作为同构图网络中的边，边的权重是两个兴趣点之间的转移次数，并依据时间顺序标示兴趣点到兴趣点的方向形成有向图；
②
设置采样长度，基于同构图中边的权重进行采样，采用结构化深层网络嵌入模型学习上述采样得到的序列，将有向图上的所有兴趣点嵌入为向量
。4.
根据权利要求1所述的基于用户偏好与时空上下文信息的下一个
POI
推荐方法，其特征在于：所述的用户
、
地理位置编码
、
兴趣点类别
、“时”和“周”嵌入，具体过程为：将签到数据上的用户
、
地理位置编...

【专利技术属性】
技术研发人员：吴向平，张峥，裴思华，姚帅威，胡珺，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：