一种基于自监督学习的POI位置预测方法、设备和介质技术

本发明专利技术公开了一种基于自监督学习的POI位置预测方法、设备和介质，方法：获取用户历史POI位置轨迹数据，提取各时间步轨迹特征，并使用嵌入层表示得到用户嵌入和轨迹特征嵌入矩阵，输入至transformer网络提取长期依赖特征向量，并与用户嵌入聚合；将聚合向量输入预测网络，基于预测输出和真实值构建预测损失函数；基于POI

【技术实现步骤摘要】
一种基于自监督学习的POI位置预测方法、设备和介质


[0001]本专利技术属于智能交通和位置预测领域，涉及一种基于自监督学习的POI位置预测方法。

技术介绍

[0002]随着基于位置服务的应用数量不断增加，位置预测也引起了学术界的广泛关注。位置预测是人类移动性研究中的一个重要课题，目的是从已有的历史轨迹数据中提取用户移动行为特征，从而预测用户接下来最有可能访问的地点。通过下一个位置点预测，可以帮助基于位置服务的应用供应商更精准地提供基于地理位置的广告、优惠券等，并提高用户的使用体验。
[0003]针对下一个位置点预测问题，现有研究已经提出了许多优秀的表示学习方法，但它们仍然存在一定的局限性，如监督信号稀疏，大多数模型在监督学习范式下进行位置预测任务，但是其监督信号均来自观察到的用户
‑
POI交互，与整个交互空间相比，观察到的交互作用十分稀疏，如大多数研究针对用户的历史和最近轨迹数据来预测他们将要访问的下一个位置，而忽略了从与其移动模式相似的同伴的移动信息中获利。
[0004]近年来，自监督学习在计算机视觉(CV)、自然语言处理(NLP)中被广泛使用，自监督学习的想法是通过构造辅助监督任务，从输入数据本身提取额外的监督信号从而对下游任务实现显著改进。但是由于轨迹数据不同于图片数据或语言文本难以构造增强算子，因此在位置预测中还未普及。自监督学习的想法是通过构造辅助监督任务，从输入数据本身提取额外的监督信号从而对下游任务实现显著改进。如何利用用户的虚拟同伴信息辅助预测以及将自监督学习的优势引入位置预测算法中，需进行进一步的研究。

技术实现思路

[0005]本专利技术提供一种基于自监督学习的POI位置预测方法，利用用户历史轨迹数据为用户计算不同天气条件下的虚拟好友，使用基于transformer的网络捕获轨迹数据中的移动规律及周期性，将用户与其天气虚拟好友视为正对，与其他用户视为负对进行对比学习，最后通过多任务训练策略提高预测的准确度。
[0006]为实现上述技术目的，本专利技术采用如下技术方案：
[0007]一种基于自监督学习的POI位置预测方法，包括：
[0008]S1，获取多个用户的历史POI位置轨迹数据，从中提取统计时间窗内各时间步的轨迹特征；
[0009]S2，使用嵌入层表示用户特征和各时间步的轨迹特征，得到用户嵌入和轨迹特征嵌入矩阵；
[0010]S3，将用户的轨迹特征嵌入矩阵输入基于transformer的网络，提取用户轨迹的长期依赖特征向量，并将用户嵌入与长期依赖特征向量聚合，记聚合所得向量为用户的聚合向量；
[0011]S4，将用户的聚合向量输入POI位置预测网络得到POI位置预测输出，基于预测输出和真实POI位置构建预测损失函数；
[0012]S5，基于用户在各POI位置的概率向量，即POI
‑
User向量，计算每个用户在每种天气条件下的虚拟同伴；并将各用户与其虚拟同伴的聚合向量视为正对，与非虚拟同伴的聚合向量视为负对，构建对比学习损失函数；
[0013]S6，结合对比学习损失函数和预测损失函数，训练嵌入层、基于transformer的网络以及POI位置预测网络中的参数；
[0014]S7，利用训练好的嵌入层和基于transformer的网络，从待预测用户当前已知的POI位置轨迹数据中提取相应的聚合向量，再将提取到的聚合向量输入训练好的POI位置预测网络，输出即为待预测用户的下一时间步POI位置预测结果。
[0015]进一步地，步骤S1提取的任意时间步k的轨迹特征包括：POI位置l
k
、天气状况w
k
、轨迹起始点所在自然日的某个时间段h
k
和所在自然周的某天d
k
。
[0016]进一步地，在嵌入层使用参数矩阵进行原始向量与实值向量之间的映射，即嵌入层使用不同的参数矩阵W
l
、W
w
、W
h
、W
d
、W
u
分别对l
k
、w
k
、h
k
、d
k
和用户特征u
(i)
进行嵌入表示，具体表示方法如下：
[0017][0018][0019][0020][0021][0022]其中：为对应轨迹特征的嵌入表示向量，为用户i的嵌入表示向量，记为用户嵌入；l
k
，d
k
，h
k
，w
k
，u
(i)
分别是对应轨迹特征的单热点编码向量；
[0023]再通过将嵌入表示向量与位置编码PE相加，得到各时间步k的轨迹特征嵌入向量
[0024][0025][0026][0027]其中，pos表示轨迹在数据集中的位置，i表示POI位置点在该条轨迹中的位置，d
model
表示位置编码的预设嵌入维度；
[0028]最终，对每个用户i均得到其用户嵌入同时还将每个用户i在统计时间窗内所有时间步的轨迹特征嵌入向量构建得到轨迹特征嵌入矩阵emb
all
。
[0029]进一步地，步骤S3使用基于transformer的解码器模块提取用户轨迹的长期依赖
特征向量，具体为：
[0030]所述基于transformer的解码器模块由N个相同的block组成，每个block都有两层；第一层是带有掩码的多头注意力机制，该多头注意力机制包含H个自注意力层，掩码操作用于在进行时间步k的计算时只关注时间步k之前的轨迹特征嵌入向量；第二层是具有两个线性层和一个ReLU激活函数的全连接前馈网络；每一层添加残余连接和层标准化组件；
[0031]首先将轨迹特征嵌入矩阵emb
all
传入到H个不同的自注意力层中得到H个输出矩阵head1、head2、head3…
head
H
，然后将这些输出矩阵进行拼接：
[0032][0033]其中，Multi
‑
Head为带有掩码的多头注意力机制的输出，W
o
为训练过程中学习的权重矩阵，任意第j个自注意力层的输出矩阵head
i
表示为：
[0034][0035]其中，表示连接操作，分别是第j个自注意力层中Q、K、V对应的可学习参数矩阵，第1个block的自注意力层中Q、K、V设置为轨迹特征嵌入矩阵emb
all
，其余block的自注意力层中Q、K、V为前一个block的输出；
[0036]而后将用户嵌入与解码器模块的最终输出的长期依赖特征向量out
n
进行连接，然后输入到全连接残差块中，得到用户i在当前时间步n的聚合向量
[0037][0038]其中，FC(.)为全连接残差块的操作，由一个单一的线性前馈层和一个ReLU激活函数组成，然后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的POI位置预测方法，其特征在于，包括：S1，获取多个用户的历史POI位置轨迹数据，从中提取统计时间窗内各时间步的轨迹特征；S2，使用嵌入层表示用户特征和各时间步的轨迹特征，得到用户嵌入和轨迹特征嵌入矩阵；S3，将用户的轨迹特征嵌入矩阵输入基于transformer的网络，提取用户轨迹的长期依赖特征向量，并将用户嵌入与长期依赖特征向量聚合，记聚合所得向量为用户的聚合向量；S4，将用户的聚合向量输入POI位置预测网络得到POI位置预测输出，基于预测输出和真实POI位置构建预测损失函数；S5，基于用户在各POI位置的概率向量，即POI
‑
User向量，计算每个用户在每种天气条件下的虚拟同伴；并将各用户与其虚拟同伴的聚合向量视为正对，与非虚拟同伴的聚合向量视为负对，构建对比学习损失函数；S6，结合对比学习损失函数和预测损失函数，训练嵌入层、基于transformer的网络以及POI位置预测网络中的参数；S7，利用训练好的嵌入层和基于transformer的网络，从待预测用户当前已知的POI位置轨迹数据中提取相应的聚合向量，再将提取到的聚合向量输入训练好的POI位置预测网络，输出即为待预测用户的下一时间步POI位置预测结果。2.根据权利要求1所述的POI位置预测方法，其特征在于，步骤S1提取的任意时间步k的轨迹特征包括：POI位置l
k
、天气状况w
k
、开始时间t
k
所在自然日的某个时间段h
k
和所在自然周的某天d
k
。3.根据权利要求1所述的POI位置预测方法，其特征在于，在嵌入层使用参数矩阵进行原始向量与实值向量之间的映射，即嵌入层使用不同的参数矩阵W
l
、W
w
、W
h
、W
d
、W
u
分别对l
k
、w
k
、h
k
、d
k
和用户特征u
(t)
进行嵌入表示，具体表示方法如下：进行嵌入表示，具体表示方法如下：进行嵌入表示，具体表示方法如下：进行嵌入表示，具体表示方法如下：进行嵌入表示，具体表示方法如下：其中：为对应轨迹特征的嵌入表示向量，为用户i的嵌入表示向量，记为用户嵌入；l
k
，d
k
，h
k
，w
k
，u
(i)
分别是对应轨迹特征的单热点编码向量；再通过将嵌入表示向量与位置编码pE相加，得到各时间步k的轨迹特征嵌入向量k的轨迹特征嵌入向量k的轨迹特征嵌入向量k的轨迹特征嵌入向量
其中，pos表示轨迹在数据集中的位置，i表示POI位置点在该条轨迹中的位置，d
model
表示位置编码的预设嵌入维度；最终，对每个用户i均得到其用户嵌入同时还将每个用户i在统计时间窗内所有时间步的轨迹特征嵌入向量构建得到轨迹特征嵌入矩阵emb
all
。4.根据权利要求1所述的POI位置预测方法，其特征在于，步骤S3使用基于transformer的解码器模块提取用户轨迹的长期依赖特征向量，具体为：所述基于transformer的解码器模块由N个相同的block组成，每个block都有两层；第一层是带有掩码的多头注意力机制，该多头注意力机制包含H个自注意力层，掩码操作用于在进行时间步k的计算时只关注时间步k之前的轨迹特征嵌入向量；第二层是具有两个线性层和一个ReLU激活函数的全连接前馈网络；每一层添加残余连接和层标准化组件；首先将轨迹特征嵌入矩阵emb

【专利技术属性】
技术研发人员：肖竹，施亚敏，蒋洪波，杨科华，熊用，汪勇军，
申请(专利权)人：湖南大学深圳研究院，
类型：发明
国别省市：