一种用户时序行为自动切分预测方法技术

基于短会话的推荐在推荐系统中一直是个热点问题。基于短会话的推荐意思是根据用户在一小段时间窗口内的连续行为对用户未来进行预测。传统的方法通常根据固定大小的时间窗口，将用户的时序行为划分成多个短会话，这样的划分方式存在着1)时间窗口过大则短会话中包含过多用户行为，过小则短会话无法覆盖完整的用户阶段行为；2)很难设置一个对所有用户行为都适合的时间窗口等问题。因此，本发明专利技术提供了一种基于深度序列强化学习的用户时序行为自动切分预测方法，无需人为的对用户序列进行划分，有效的解决上述缺陷。

An Automatic Segmentation and Prediction Method for User Sequence Behavior

【技术实现步骤摘要】
一种用户时序行为自动切分预测方法
本专利技术涉及计算机科学
，具体涉及是一种基于层次循环神经网络和强化学习的用户时序行为自动切分预测方法。
技术介绍
基于短会话的推荐在机器学习和推荐系统领域中一直是个热点问题。基于短会话的推荐意思是根据用户在一小段时间窗口内的连续行为对用户未来进行预测。例如，用户一天中在某社交网络应用上签到5个地点；用户在登录某电子商务网站的一段时间内点击了8个商品等。传统的方法是通过循环神经网络对这样的短会话进行建模的。然而，传统的方法通常根据固定大小的时间窗口，将用户完整的时序行为划分成多个短会话，这样的划分方式存在着1)对一个用户而言，时间窗口设置过大则短会话中可能包含多段互对独立的用户行为，与此相对，时间窗口设置过小则短会话无法覆盖一个完整的用户阶段行为；2)很难设置一个对所有用户行为都适合的时间窗口等问题。因此，本专利技术提供了一种基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，无需人为的对用户序列进行划分，有效的解决上述缺陷。
技术实现思路
本专利技术首次创新提供了一种基于层次循环神经网络和强化学习的用户时序行为自动切分预测方法，其核心在本文档来自技高网...

【技术保护点】
1.一种基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述方法包括如下步骤：步骤一：选取数据集，对数据进行预处理后切分数据为训练集、验证集和测试集；步骤二：把用户和时序行为用高维的独热编码表示，利用嵌入技术转化成低维的稠密向量作为模型的输入；步骤三：对时序数据利用层次循环神经网络进行建模，利用策略网络生成每个时间步的动作指导是否对序列进行切分，继而利用分类网络完成对序列下一时间步行为的预测；步骤四：训练模型参数，利用训练样本，根据不同目标函数阶段性的优化网络模型的参数，并利用验证集对模型参数进行调优；步骤五：利用基于层次循环神经网络和强化学习的网络模型预测测试集中的...

【技术特征摘要】
1.一种基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述方法包括如下步骤：步骤一：选取数据集，对数据进行预处理后切分数据为训练集、验证集和测试集；步骤二：把用户和时序行为用高维的独热编码表示，利用嵌入技术转化成低维的稠密向量作为模型的输入；步骤三：对时序数据利用层次循环神经网络进行建模，利用策略网络生成每个时间步的动作指导是否对序列进行切分，继而利用分类网络完成对序列下一时间步行为的预测；步骤四：训练模型参数，利用训练样本，根据不同目标函数阶段性的优化网络模型的参数，并利用验证集对模型参数进行调优；步骤五：利用基于层次循环神经网络和强化学习的网络模型预测测试集中的用户下一可能行为。2.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述的用户时序行为包括用户签到行为、用户购买商品行为、用户点击网页行为、用户收听音乐行为，俱为本领域普遍采用的行为数据。3.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述步骤一中，所述数据集包括：Gowalla数据集、Foursquare数据集、Amazon数据集中的一个或多个数据集，俱为本领域普遍采用的公开行为数据集。4.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述步骤一中，所述的对数据进行预处理包括以下步骤：a1.按用户将行为序列数据按时间戳由远及近地排序；a2.对其中不频繁的数据进行过滤操作；a3.选择一个时间窗口，将以此为切分依据的序列切分方式记录下来作为策略网络的初始策略π0。5.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述的步骤一中，切分数据为训练集，验证集和测试集为：对每个用户，将时序数据的最后一个地点作为测试集，时序数据的倒数第二个作为验证集，其余均作为训练集。6.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述的步骤二中，所述得到模型的输入包括以下步骤：b1.数据编码化：记共有N个用户和M个地点，采用独热编码，即用N维稀疏向量表示用户集合，用户独特的特征维度记为1，其余全为0，同理应用于地点；b2.数据嵌入化：利用嵌入技术将N维用户向量映射到另一个低维的数值向量空间，作为之后模型的输入，记变换后的用户向量集合表示为U＝{u1，u2，...，uN}，地点向量集合表示为P＝{p1，p2，...，pM}。7.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述的步骤三中，循环神经网络是指但不限于门控循环单元网络，使用长短期记忆网络替换亦可，以时间步t为例，记xt为时间步t时的输入，其具体计算过程包括以下步骤：c1.计算更新门zt：zt＝σ(Wz·[ht-1，xt]+bz)，c2计算重置门rt：rt＝σ(Wr·[ht-1，xt]+br)，c3.计算隐藏记忆状态c4.计算隐藏状态ht：其中，σ为sigmoid函数，·表示哈达玛积，[]表示向量的拼接，*表示矩阵乘法，Wz，Wr，bz，br，bh都是模型可学习的参数。8.根据权利要求1所述的基于层次循环神经网路和强化学习的用户时序行为自动切分预测方法，其特征在于，所述的步骤三中，利...

【专利技术属性】
技术研发人员：张伟，梁文伟，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海,31