基于循环神经网络和注意力机制的下一个地点预测方法技术

本发明专利技术公开了基于循环神经网络和注意力机制的下一个地点预测方法，包括以下步骤：获取所有用户的历史签到数据并按时间先后形成签到序列，根据历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T；根据向量I和向量L计算包含时间戳中用户签到时间和地点ID信息的向量C

Next location prediction method based on recurrent neural network and attention mechanism

【技术实现步骤摘要】
基于循环神经网络和注意力机制的下一个地点预测方法
本专利技术涉及下一个地点预测方法
，具体来说，涉及基于循环神经网络和注意力机制的下一个地点预测方法。
技术介绍
近些年来，越来越多基于位置的社交应用鼓励用户通过签到共享活动。基于此，大量的用户轨迹数据得以积累，这些数据包含空间和时间信息，即用户去了何地，在何时进行了签到。但是，用户对位置的共享具有很强的随机性，用户自身是否乐于签到、时间是否允许签到、情绪变化等，都能在一定程度上影响用户的签到情况。这使得签到数据十分稀疏，有可能用户在某日去了二十余个地点，但只在五个地方进行了签到。对于一个特定的用户来说，这些离散的签到数据可以按照时间整合为一个序列，该序列能够反映出用户的一个历史访问情况。对这些序列数据进行分析后，研究人员发现用户行为具有随机和多变的特点。研究人员还发现，用户行为在社会和地理信息的影响下，仍存在一定的规律性。挖掘用户轨迹所反映出来的行为习惯与规律，以此作为基础的下一个地点预测研究有着广泛的应用，如城市计算、疾病防控、交通流预测、个性化推荐、摘要总结、语义角色标注。下一个地点预测广阔的应用前景，吸引着越来越多的研究人员。在过去的十年间，对下一个地点进行预测的方法层出不穷。常用的包括马尔可夫模型、矩阵分解、循环神经网络、贝叶斯模型。基于上述方法，研究人员在进行预测时考虑了时间和空间的规律性。但目前仍存在如下问题：1、用户总是更愿意在他们最感兴趣的位置签到，这使得签到数据十分稀疏，而且用户的行为习惯会随着时间的变化而发生改变，时间久远的轨迹数据难以用于对用户行为的挖掘。2、人类的行为受到多种环境因素的影响，诸如天气、情绪等因素，甚至包含一些不可控的情况。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的问题，本专利技术要解决的技术问题是：如何挖掘序列模式下以及不同上下文因素下各地点之间的关系，以便合理分析各个用户的不同习惯与偏好，更加准确的对用户将要去到的地点进行预测。为此，本专利技术采用的具体技术方案如下：基于循环神经网络和注意力机制的下一个地点预测方法，通过面向用户历史轨迹数据，采用循环神经网络以及自注意力机制对用户行为规律进行挖掘，对下一个地点进行预测的方法，包括以下步骤：获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T；根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0；根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X；根据所述向量X和所述向量I计算包含所述用户ID信息和各个所述地点ID位置之间的关系向量C1；根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt；根据所述Scorepos和所述Scoreatt的计算结果生成预测列表。优选的，在获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T中还包括以下步骤：对所述签到数据中的所述用户ID进行映射，映射后的向量I可以唯一标识该用户；对所述签到数据中的所述地点ID进行映射，映射后的向量L反应用户去过的地点；对所述签到数据中的所述时间戳进行映射，映射后的向量T反应用户在该地点进行签到的时间；其中，所述时间戳(t1,t2，…tn)，所述地点ID(l1,l2，…ln)和所述用户ID可以分别嵌入实值向量T，L，I中，对于给定的用户，所述向量I，L，T包括该用户一端时间内的行为信息，并在一定程度上能够反映出该用户的行为规律。优选的，在根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0中还包括以下步骤：将所述向量L和所述向量T进行连接，得到包含用户所到地点和所到地点时间信息的向量C0，且所述向量C0包含位置信息和用户访问时间信息；通过GRU对所述向量C0进行处理，获取给定用户所述签到序列中各个所述地点ID位置之间的关系。优选的，在根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X中还包括以下步骤：计算反映出所述签到序列中各个所述地点ID位置之间的关系向量X：zt＝σ(Wt·[ht-1，xt])；rt＝σ(Wr·[ht-1，xt])；ct＝tanh(W·[rt*ht-1,xt])；ht＝(1-zt)*ht-1+zt*ct；其中，xt表示t时刻的输入，ht-1表示t时刻的网络输出，W表示学习到的权值矩阵，zt和rt分别为更新门和复位门，σ表示一个激活函数，ct表示一种新的隐藏状态，ht表示网络的输出；其主要目的是处理稀疏的用户签到数据，在时间跨度很大的情况下，提取出所述签到系列中各个所述地点ID位置之间的关系，该关系在一定程度上反映了用户的偏好，例如，用户喜欢在餐馆吃完午饭后去书店，或者在购物中心购物后去咖啡馆。优选的，在根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt中还包括以下步骤：基于所述向量C1计算Scorepos，Scorepos包含每个所述地点ID的得分，即用户会去的概率；基于所述向量C1计算Scoreatt：scoreatt(Q,K,V)＝Concat(head1,head2,...,headn)W0Concat(head1,head2,...,headn)Wo；所述Scoreatt包含的是不同上下文因素的影响下，每个所述地点ID之间的关系，其中，dk为神经网络隐藏单元的维数，Q、K、V分别是查询、键和值，它们是神经网络前一层的输出；其中，用户会去到的下一个地点除了受到已去地点的影响外，也受到天气、情绪以及一些其它因素的影响，自注意力中的多头机制能够探索不同上下文因素对用户行为的影响，计算得到的权重矩阵可以帮助网络从不同的表示子空间了解每个位置对于给定用户的重要性。优选的，在根据所述Scorepos和所述Scoreatt的计算结果生成预测列表中还包括以下步骤：根据最终的得分获取排序列表，并在所述排序列表中按照分数由高到低对预测地点进行选择。本专利技术的有益效果为：本专利技术利用历史轨迹信息来捕捉时间与用户已经访问过的位置之间的关系，并且利用自注意力机制从不同的上下文因素发现轨迹中各位置间的关系，通过研究特定用户的历史轨迹信息背后的潜在规律，探索序列的规律性，并发现影响用户行为的因素，与传统的常用预测方法相比，本专利技术所提的模型在预测精度上取得了更好的效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，本文档来自技高网...

【技术保护点】
1.基于循环神经网络和注意力机制的下一个地点预测方法，通过面向用户历史轨迹数据，采用循环神经网络以及自注意力机制对用户行为规律进行挖掘，对下一个地点进行预测的方法，其特征在于，包括以下步骤：/n获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T；/n根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C

【技术特征摘要】
1.基于循环神经网络和注意力机制的下一个地点预测方法，通过面向用户历史轨迹数据，采用循环神经网络以及自注意力机制对用户行为规律进行挖掘，对下一个地点进行预测的方法，其特征在于，包括以下步骤：
获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T；
根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0；
根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X；
根据所述向量X和所述向量I计算包含所述用户ID信息和各个所述地点ID位置之间的关系向量C1；
根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt；
根据所述Scorepos和所述Scoreatt的计算结果生成预测列表。


2.根据权利要求1所述的基于循环神经网络和注意力机制的下一个地点预测方法，其特征在于，在获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T中还包括以下步骤：
对所述签到数据中的所述用户ID进行映射，映射后的向量I可以唯一标识该用户；
对所述签到数据中的所述地点ID进行映射，映射后的向量L反应用户去过的地点；
对所述签到数据中的所述时间戳进行映射，映射后的向量T反应用户在该地点进行签到的时间；
其中，所述时间戳(t1,t2，…tn)，所述地点ID(l1,l2，…ln)和所述用户ID可以分别嵌入实值向量T，L，I中，对于给定的用户，所述向量I，L，T包括该用户一端时间内的行为信息，并在一定程度上能够反映出该用户的行为规律。


3.根据权利要求1所述的基于循环神经网络和注意力机制的下一个地点预测方法，其特征在于，在根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0中还包括以下步骤：
将所述向量L和所述向量T进行连接，得到包含用户所到地点和所到地点时间信息的向量C0，且所述向量C0包含位置信息和用户访问时间信息；
通过GRU对所述向量C0进行处理，获取给定用户所述签到序列中各个所述地点ID位置之间的关系。


4.根据权利要求1所述的基于循环神...

【专利技术属性】
技术研发人员：曾骏，何欣，唐浩然，文俊浩，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50