一种融合深度学习和因子分解机的兴趣点签到预测方法技术

本发明专利技术涉及一种融合深度学习和因子分解机的兴趣点签到预测方法，属于位置签到预测领域包括：S1：获取用户签到数据；S2：对输入的离散数据进行嵌入处理；S3：离散数据去稀疏处理，并学习数据之间的隐含二阶关系；S4：对于连续特征加入全连接隐藏层进行学习，选取合适的激励函数；S5：输入由离散特征经过处理的结果和连续特征经过处理的结果相加作为隐藏层h1的输入；S6：隐藏层h1的输出l1经过一阶线性和特征交互结构并相加作为隐藏层h2的输入；S7：隐藏层h3接收的输入来自隐藏层h1和h2的输出l1和l2，同时加入shortcut结构保证参数学习时梯度的稳定性，确定最佳的模型结构，最后输出预测结果。本发明专利技术通过分析用户签到信息，充分挖掘学习签到规律，预测兴趣点签到问题。

【技术实现步骤摘要】
一种融合深度学习和因子分解机的兴趣点签到预测方法
本专利技术属于位置签到预测领域，涉及一种融合深度学习和因子分解机的兴趣点签到预测方法。
技术介绍
基于位置的社交网络是通过智能终端设备建立的以社会交互为目的的网络。LBSN和用户的生活密切相关，可以真实反映用户的社会关系和现实生活中的活动，是沟通真实物理世界和虚拟互联空间的桥梁。随着移动终端、无线通信、移动互联网等技术的发展，用户可以随时随地记录自己的移动轨迹，并且可以上传到例如Foursquare、Gowalla等基于位置的社交网络，分享自己的爱好，兴趣，游玩攻略等信息。这些签到数据真实的记录了用户在什么时间访问了什么地点。通过对这些签到信息的学习，可以挖掘出用户的潜行为模式、规律和偏好。其中，预测系统作为目前解决信息过滤和个性化服务问题的重要技术手段之一，在位置服务中发挥着越来越重要的作用。目前，社交网络中的用户规模和用户发布的信息增量迅猛，而包含着地理位置信息的内容也在被越来越多的人所关注，有关兴趣点预测的模型层出不穷。除了一些经典的兴趣点签到预测的方法，还有一些方法取得了较好的效果，在中国专利CN107515949A中公开了兴趣点预测和推荐中的用户时空相似性度量方法；另一篇中国专利CN105488213A中则公开了一种面向LBS的基于马尔可夫预测算法的个性化推荐方法，这些方法都对位置签到预测做出了很好的阐述，但是，在实现精准的个性化兴趣点签到预测方面还存在一些不足。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种融合深度学习和因子分解机的兴趣点签到预测方法，旨在针对特定的兴趣点进行签到预测，该方法以特定兴趣点为中心，通过分析用户签到的天气、时间和空间信息，充分地挖掘和学习用户的签到规律和模式，从而能够准确地预测特定兴趣点的签到问题。为达到上述目的，本专利技术提供如下技术方案：一种融合深度学习和因子分解机的兴趣点签到预测方法，包括以下步骤：S1：获取用户签到数据，签到数据分为连续特征数据和离散特征数据；S2：对输入的离散数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征映射到低维向量；S3：利用类似FM的网络结构进行离散数据的去稀疏处理，并学习数据之间的隐含二阶关系；S4：对于连续特征加入全连接隐藏层进行学习，选取合适的激励函数；S5：输入由离散特征经过处理的结果和连续特征经过处理的结果相加作为隐藏层h1的输入；S6：隐藏层h1的输出l1经过一阶线性和特征交互结构并相加作为隐藏层h2的输入；S7：隐藏层h3接收的输入来自隐藏层h1和h2的输出l1和l2，同时加入shortcut结构保证参数学习时梯度的稳定性，确定最佳的模型结构，包括离散特征映射到低维向量的长度、因子分解机中学习特征之间二阶关系的系数矩阵的列数、初始学习率、隐藏层层数以及隐藏层神经元数目，最后输出预测结果。进一步，在步骤S1中，所获取的用户签到数据，分为连续特征数据和离散特征数据，连续特征数据包括经纬度、温度、风速、降雨量，离散特征数据包括签到月、日、时、星期。进一步，在步骤S2中，首先对输入的离散数据数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征Field[1..i..N]映射到低维向量V[1..i..N]，其中Vi的长度为M，公式为：进一步，在步骤S3中，对于稀疏向量，通过利用类似FM的网络结构进行去稀疏处理，其中f为特征间一阶线性关系，s是特征间的二阶关系，经过该结构的处理后去除了数据的稀疏性，并学习到数据之间的隐含二阶关系，R为大小为N*K的矩阵，公式f＝f[1..i..N]和类似因子分解机结构，在这里每一个特征是一个向量vi，特征之间的乘积就是向量的点乘运算，公式为：S＝{si,j}(i,j＝1...N)，si,j＝＜RiRj＞＜ViVj＞，另外，为了进一步缓解数据稀疏的问题，利用信息量公式δ＝-logpi以正负样本1：n的比例构造负样本，负样本的构造可以扩充数据集，增加可训练的样本。进一步，在步骤S4中，把连续特征包括天气、空间等信息加入到全连接隐藏层进行学习，定义relu(x)＝max(0,x)为隐藏层输出的激励函数，公式为：lc1＝relu(Wc1x+bc1)，lc2＝relu(Wc2lc1+bc2)。进一步，在步骤S5中，l1是隐藏层h1的输出，其输入由离散特征经过处理的结果和连续特征经过处理的结果相加组成，公式为：lf＝Wf'f，ls＝Ws's，l1＝relu(lc2+lf+ls+b0)，其中f为特征间一阶线性关系，s是特征间的二阶关系。进一步，在步骤S6中，此时离散特征数据已经经过FM层去稀疏处理，在隐藏层h1的数据可以通过∑wixi+∑∑wijxixj和进行参数学习，表示隐藏层h1的输出l1经过一阶线性和特征交互结构到达h2层并相加，其中表示两个相同大小的矩阵或者向量元素各自相乘，这样特征之间的隐含内在联系能够更好地被挖掘出来，从而提高预测精度。进一步，在步骤S7中，隐藏层h3的输出表示为l3，由于加入的shortcut结构，接受的输入来自隐藏层h1和h2的输出l1和l2，保证参数学习时梯度的稳定性，最后输出预测结果：输出层y∈(0,1)，即用户在兴趣点签到的概率，公式为：l3＝relu(W2l2+l1+b2)，最佳的网络结构包含离散特征映射到低维向量的长度M为20，因子分解机中学习特征之间二阶关系的系数矩阵的列数K为20，初始学习率为0.05，隐藏层个数为3层，隐藏层h1的神经元个数为32，隐藏层h2的神经元个数为64，隐藏层h3的神经元个数为32。本专利技术的收益效果是：采用本专利技术可以准确的预测出对于特定的兴趣点在某一时刻的签到数量，即用户的访问量，大大减少了用户访问某一兴趣点的盲目性，预测的结果还可以应用于旅游规划、智能交通、安全预防等领域。本专利技术对于特定的兴趣点签到预测有别于目前大量以用户为中心的基于位置的社交网络的签到研究。特定兴趣点签到预测，是以兴趣点为中心的签到预测研究，是指给定兴趣点历史签到数据，预测在将来有多少用户会在某一个兴趣点进行签到。在实际生活中，时间、空间、天气等特征对兴趣点的签到转移有着重要的影响，因此在使用深度学习预测兴趣点签到的过程中，也充分结合时间、空间、天气对兴趣点签到的影响，从而大幅度提高了预测的质量，由此可见本专利技术相对于传统的以用户为中心的预测算法有着很大的优势。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术实施例所述方法的宏观流程图；图2为本专利技术实施例所述的兴趣点预测模型网络结构；图3为本专利技术实施例所述步骤S7中所述的残差结构，即shortcut结构；图4为本专利技术实施例所述应用于Gowalla数据集与经典的模型预测准确度的对比示意图；图5为本专利技术实施例所述应用于Brightkite数据集与经典的模型预测准确度的对比示意图；图6为本专利技术实施例所述加入构造的负样本应用于Gowalla数据集预测准确度的示意图；图7为本专利技术实施例所述加入构造的负样本应用于Brightkite数据集预测准确度的示意图。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。如图1-7所示，本专利技术为一种融合深度学习和因子分解机的兴趣点签到预测方法，包括如下步骤：步骤S1：本文档来自技高网...

【技术保护点】
1.一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：包括以下步骤：S1：获取用户签到数据，包括连续特征数据和离散特征数据；S2：对输入的离散数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征映射到低维向量；S3：利用类似FM的网络结构进行离散数据的去稀疏处理，并学习数据之间的隐含二阶关系；S4：对于连续特征加入全连接隐藏层进行学习，选取合适的激励函数；S5：输入由离散特征经过处理的结果和连续特征经过处理的结果，将两项结果进行相加作为隐藏层h1的输入；S6：隐藏层h1的输出l1经过一阶线性和特征交互结构并相加，作为隐藏层h2的输入；S7：隐藏层h3接收的输入来自隐藏层h1和h2的输出l1和l2，同时加入shortcut结构保证参数学习时梯度的稳定性，确定最佳的模型结构，包括离散特征映射到低维向量的长度、因子分解机中学习特征之间二阶关系的系数矩阵的列数、初始学习率、隐藏层层数以及隐藏层神经元数目，最后输出预测结果。

【技术特征摘要】
1.一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：包括以下步骤：S1：获取用户签到数据，包括连续特征数据和离散特征数据；S2：对输入的离散数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征映射到低维向量；S3：利用类似FM的网络结构进行离散数据的去稀疏处理，并学习数据之间的隐含二阶关系；S4：对于连续特征加入全连接隐藏层进行学习，选取合适的激励函数；S5：输入由离散特征经过处理的结果和连续特征经过处理的结果，将两项结果进行相加作为隐藏层h1的输入；S6：隐藏层h1的输出l1经过一阶线性和特征交互结构并相加，作为隐藏层h2的输入；S7：隐藏层h3接收的输入来自隐藏层h1和h2的输出l1和l2，同时加入shortcut结构保证参数学习时梯度的稳定性，确定最佳的模型结构，包括离散特征映射到低维向量的长度、因子分解机中学习特征之间二阶关系的系数矩阵的列数、初始学习率、隐藏层层数以及隐藏层神经元数目，最后输出预测结果。2.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S1中，所述连续特征数据包括经纬度、温度、风速和降雨量，离散特征数据包括签到月、日、时、星期。3.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S2中，将离散特征Field[1..i..N]映射到低维向量V[1..i..N]，公式为：其中Vi的长度为M。4.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S3中，对于稀疏向量，通过利用类似FM的网络结构进行去稀疏处理，公式f＝f[1..i..N]和类似因子分解机结构，其中f为特征间一阶线性关系，在这里每一个特征是一个向量vi，特征之间的乘积就是向量的点乘运算，公式为：S＝{si,j}(i,j＝1...N)，si,j＝＜RiRj＞＜ViVj＞，s是特征间的二阶关系，经过该结构的处理后去除了数据的稀疏性，并学习到数据之间的隐含二阶关系，R为大小为N*K的矩阵，另外，为了进一步缓解...

【专利技术属性】
技术研发人员：苏畅，刘宁宁，谢显中，彭劭闻，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50