一种基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法技术

本发明专利技术公开了一种基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法，包括：1)对地理标注照片集进行预处理，聚类得到旅游地点，并提取用户访问旅游地点的次数；2)利用VGG16模型获得照片的视觉特征；3)利用自注意力机制为不同照片计算权重值以获得用户和旅游地点的视觉表示；4)基于用户和旅游地点的视觉表示采样得到用户和旅游地点的隐向量，并据此预测用户访问旅游地点的次数；5)基于五元组损失、准确度损失和正则项构成的整体损失对模型进行训练，获得参数调优后的模型；6)给定查询，向查询用户推荐其在查询城市可能感兴趣的旅游地点。该方法从地理标注照片集中挖掘出用户旅游偏爱，并向其推荐可能感兴趣的旅游地点。

A method of personalized tourism location recommendation based on multi-level visual similarity of geographical annotation photos

【技术实现步骤摘要】
一种基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法
本专利技术涉及信息推荐
，具体涉及一种基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法。
技术介绍
近年来，随着移动互联网、智能手机以及照片分享网站(例如Flickr、Panoramio以及Instagram等)的快速发展，互联网上出现了大量地理标注照片，且这些由群体所贡献的地理标注照片数量呈快速增长趋势。基于这些地理标注照片(以下简称照片)可以挖掘城市中的旅游地点(以下简称地点)并分析游客的旅游偏爱(以下简称偏爱)，进一步为用户提供个性化的地点推荐服务。早期基于照片挖掘的地点推荐方法通常直接基于用户访问地点的次数计算用户间的相似性，进而结合基于用户的协同过滤方法为用户推荐地点。为了提升推荐性能，出现了引入各种额外信息的地点推荐方法。随着深度神经网络的发展，照片的视觉内容受到越来越多的关注。现有的基于视觉内容的方法通常首先从照片的视觉内容中提取特征，然后利用这些特征作为先验并结合用户历史训练推荐模型。这些方法无法提取适用于地点推荐的视觉特征，因为视觉特征的提本文档来自技高网...

【技术保护点】
1.一种基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法，包括以下步骤：/n(1)对地理标注的照片集进行预处理，聚类得到旅游的地点集，并提取用户集和用户访问旅游地点的次数；/n(2)利用VGG16模型获得照片的视觉特征；/n(3)采用自注意力机制为不同照片计算权重值以获得用户和地点的视觉表示，并根据该用户和地点的视觉表示获得用户和地点的隐向量；/n(4)根据用户隐向量和地点隐向量预测用户访问该地点的访问次数；/n(5)根据照片的视觉特征构建照片的五元组损失，根据用户隐向量构建用户正则项，根据地点隐向量构建地点正则项，根据访问次数构建准确度损失，然后根据五元组损失、用户正则项、地点正则项以...

【技术特征摘要】
1.一种基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法，包括以下步骤：
(1)对地理标注的照片集进行预处理，聚类得到旅游的地点集，并提取用户集和用户访问旅游地点的次数；
(2)利用VGG16模型获得照片的视觉特征；
(3)采用自注意力机制为不同照片计算权重值以获得用户和地点的视觉表示，并根据该用户和地点的视觉表示获得用户和地点的隐向量；
(4)根据用户隐向量和地点隐向量预测用户访问该地点的访问次数；
(5)根据照片的视觉特征构建照片的五元组损失，根据用户隐向量构建用户正则项，根据地点隐向量构建地点正则项，根据访问次数构建准确度损失，然后根据五元组损失、用户正则项、地点正则项以及准确度损失计算总损失，利用总损失迭代优化VGG16模型的模型参数和注意力机制的权重系数；
(6)针对包含查询用户和查询城市的查询任务，搜索获得查询城市中的所有候选地点，并根据步骤(3)的步骤获得的查询用户隐向量和候选地点隐向量，根据查询用户隐向量和候选地点隐向量计算查询用户对候选地点的偏爱值，以此实现个性化旅游地点推荐。


2.如权利要求1所述的基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法，其特征在于，步骤(1)中，根据照片相应的经纬度位置信息，并利用基于密度的聚类方法对照片进行聚类，得到的每个聚类代表一个地点，聚类中心即为该地点位置；通过该过程，挖掘出地点集L＝{l1,l2,…,l|L|}，其中l＝(c,g)，c是地点l所处的城市，g是l的经纬度信息；
根据照片的拍摄者信息提取用户集U＝{u1,u2,…,u|U|}。


3.如权利要求1所述的基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法，其特征在于，步骤(1)中，对用户地点对(ui∈U，lj∈L)，首先根据照片的拍摄时间对第i个用户ui在第j个地点lj拍摄的照片进行排序；
考虑到用户可能在同一次访问中拍摄若干张照片，如果用户ui在地点lj拍摄的若干连续照片的时间间隔小于一个给定的时间阈值Δt，则认为这些照片属于同一次访问，并将这些照片的拍摄时间的均值用作这次访问的时间t，则该次访问可表示为(ui,lj,t)；即可得到用户访问历史V＝{(ui,lj,t)}，其中，(ui,lj,t)表示用户ui于t时间访问地点lj；
根据用户访问历史V统计每个用户访问每个地点的次数，从而获得用户访问地点的次数M＝{cij}，1≤i≤|U|，1≤j≤|L|，其中，cij表示用户ui访问地点lj的次数。


4.如权利要求1所述的基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法，其特征在于，步骤(3)中，
首先按照照片的拍摄时间堆叠用户ui拍摄照片的视觉特征，形成矩阵UPi，矩阵中每一行对应相应照片的视觉特征，利用自注意力机制融合用户ui拍摄的照片的视觉特征，具体计算方式如下所示：
uai＝softmax(wUtanh(VUUPiT))
ui＝uaiUPi
其中，wU和VU为可学习的网络参数，为自注意力机制的权重和偏差项，uai是照片的权重向量，softmax函数确保所有计算出的权重之和为1；
然后，从均值为ui和方差的高斯分布中采样得到用户隐向量Ui，其中IU是和ui长度相同的全1向量。


5.如权利要求1所述的基于地理标注照片多级视觉相似度的个性化旅游地点推荐方法，其特征在于，步骤(3)中，首先按照照片的拍摄时间堆叠在地点lj拍摄照片的视觉特征，形成矩阵LPj，矩阵中每一行对应相应照片的视觉特征，利用自注意力机制融合在地点lj拍摄的照片的视觉特征，具体计算方式如下所示：
laj＝softmax(wLtanh(VLLPjT))
lj＝lajLPj
其中...

【专利技术属性】
技术研发人员：陈岭，吕丹丹，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33