基于改进VHRED与强化学习的查询推荐方法及系统技术方案

本发明专利技术涉及一种基于改进VHRED与强化学习的查询推荐方法及系统，该方法包括以下步骤：步骤A：收集搜索引擎的用户查询日志记录，对用户查询日志记录数据进行预处理，构建用户查询日志训练集

Query recommendation method and system based on improved vhred and reinforcement learning

【技术实现步骤摘要】
基于改进VHRED与强化学习的查询推荐方法及系统
本专利技术涉及自然语言处理领域，具体涉及一种基于改进VHRED与强化学习的查询推荐方法及系统。
技术介绍
查询建议为用户输入的会话提供建议的查询。查询建议可以使搜索引擎更好的了解用户的查询意图，从而可以更好的优化用户的查询。因此，这一任务在过去十年中受到了相当大的关注。Cao等人提出了上下文感知的查询建议框架——在会话中考虑整个查询序列，而不是只考虑最后一个查询。他们使用查询集群构建了一个概念序列后缀树，用于高效和有效的上下文感知查询建议。查询序列也可以用混合变量记忆马尔可夫模型来建模。上下文感知查询建议在会话中考虑更多的用户操作，从而更好地为信息需求建模。因此，该思想在查询分类和排序方面也是有效的。Ozertem等人发展了一个排名框架，学习直接从用户搜索日志中的搜索行为建议查询。它利用大规模的搜索日志，避免了人工标签的要求。有监督的建议系统通常比无监督的建议系统更准确，同时也更灵活。他们的建议结果也可以改善多样化和个性化的搜索。Sordoni等人开发了一种用于上下文感知查询建议的分级编本文档来自技高网...

【技术保护点】
1.一种基于改进VHRED与强化学习的查询推荐方法，其特征在于，包括以下步骤：/n步骤A：收集搜索引擎的用户查询日志记录，对用户查询日志记录数据进行预处理，构建用户查询日志训练集TS；/n步骤B：使用用户查询日志训练集TS训练基于带有时间特征的VHRED及强化学习的查询推荐深度学习网络模型；/n步骤C：查询推荐系统接受用户输入的查询语句，将查询语句输入到训练好的查询推荐深度学习网络模型中，输出相匹配的查询推荐。/n

【技术特征摘要】
1.一种基于改进VHRED与强化学习的查询推荐方法，其特征在于，包括以下步骤：
步骤A：收集搜索引擎的用户查询日志记录，对用户查询日志记录数据进行预处理，构建用户查询日志训练集TS；
步骤B：使用用户查询日志训练集TS训练基于带有时间特征的VHRED及强化学习的查询推荐深度学习网络模型；
步骤C：查询推荐系统接受用户输入的查询语句，将查询语句输入到训练好的查询推荐深度学习网络模型中，输出相匹配的查询推荐。


2.根据权利要求1所述的基于改进VHRED与强化学习的查询推荐方法，其特征在于，所述步骤A具体包括以下步骤：
步骤A1：收集搜索引擎的用户查询日志记录，得到原始查询日志集合；其中搜索引擎的每条查询日志由一个三元组(u,q,t)表示，u表示用户，q表示查询，t表示查询时间；
步骤A2：按照用户对原始查询日志集合进行划分，并按照查询时间排序，得到不同用户的查询日志子集；
步骤A3：设置时间间隔T，按照如下规则：查询时间间隔大于T的查询日志属于不同会话，不同会话中的查询互不关联，同一会话中的最后一条查询为包含用户查询意图的目标查询，将每个用户的查询日志子集进一步划分为多个会话，得到每个用户的会话集合，所有用户的会话集合构成用户查询日志训练集TS；
将TS中一个用户u的一个会话表示为其中qi表示会话中的第i条查询，ti表示qi对应的查询时间，会话包含ku+1条查询，最后一条查询为用户真实的目标查询；
对qi进行分词以及去除停用词后，将qi进一步表示为表示qi中的第j个词语，j＝1,2,...,L(qi)，L(qi)表示qi的词数；qi对应的查询时间ti表示为ti＝(xi,yi,zi,di)，xi表示小时，yi表示分钟，zi表示秒，di表示星期几。


3.根据权利要求2所述的基于改进VHRED与强化学习的查询推荐方法，其特征在于，所述查询推荐深度学习网络模型包括基于带有时间特征的可变层级编码器-解码器循环神经网络VHRED的生成器网络和基于层级自编码器的判别器网络两部分，所述层级自编码器以多层GRU分别对词语、句子、段落进行编码，以捕获不同级别的语义结构信息；所述步骤B具体包括以下步骤：
步骤B1：以用户会话为单位，将用户查询日志训练集TS中的查询文本及查询时间对输入到生成器网络中，输出生成器网络所预测的目标查询；
步骤B2：根据目标损失函数loss，利用反向传播方法计算生成器网络中各参数的梯度，并利用随机梯度下降方法更新参数；
步骤B3：将步骤B1预测得到的目标查询与用户会话中的用户真实的目标查询，输入到判别器网络中，输出类别概率，通过类别概率来判断输入的目标查询是生成器网络所预测的目标查询还是用户真实的目标查询；
步骤B4：将步骤B3中判别器网络输出的类别概率作为生成器网络的奖励，使用策略梯度方法进行强化学习训练，最大化回报期望；
步骤B5：当查询推荐深度学习网络模型产生的损失值迭代变化小于设定阈值或者达到最大迭代次数，终止查询推荐深度学习网络模型的训练。


4.根据权利要求3所述的基于改进VHRED与强化学习的查询推荐方法，其特征在于，所述步骤B1，以用户会话为单位，将用户查询日志训练集TS中的查询文本及查询时间对输入到生成器网络中，输出生成器网络所预测的目标查询，具体包括以下步骤：
步骤B11：以用户会话为单位，对用户会话中除目标查询外的每个查询文本与查询时间对(qi,ti)进行编码，得到表征向量
若用户会话为则用户会话中的一个查询文本与查询时间对(qi,ti)的表征向量表示为为表征向量和的连接，为qi的表征向量，为ti的表征向量；
其中qi的编码公式如下：



其中，GRU表示门控循环神经网络，为qi中第j个词语的词向量表示，通过在预训练的词向量矩阵E∈Rd×|D|中查找得到，其中d表示词向量的维度，|D|是词典D中的词数，
ti的编码公式如下：



其中，
连接表征向量和得到
步骤B12：以用户会话为单位，将用户会话中除目标查询外的每个查询文本与查询时间对的表征向量组成序列，输入生成器网络的基于GRU网络的编码器模块进行编码，得到用户会话Su的表征向量包含用户会话内除目标查询外的所有查询信息；
其中，Su的编码公式如下：



步骤B13：根据步骤B12得到的计算用户会话Su的隐变量zu；
首先将输入生成器网络的前馈神经网络模块得到均值μu，公式如下：



其中dz为隐变量zu的维度，Tanh为双曲正切函数，fFNN为前馈神经网络；
将均值μu输入softplus函数，计算得到协方差∑u，公式如下：
∑u＝softplus(f(μu))
其中，softplus为激活函数，softplus(x)＝log(1+ex)；
然后，根据均值μu和协方差∑u，通过随机取样计算得到隐变量zu，公式如下：



其中，samples为随机数向量，从标准正态分布中抽取dz个随机数，构成随机数向量samples，为向量∑u与samples的哈达玛(Hadamard)积，得到用户会话的隐变量
步骤B14：将步骤B12得到的和步骤B13得到的zu输入到生成器网络的基于GRU网络的解码器模块进行解码，输出生成器网络所预测的目标查询；
首先计算用户会话的表征向量的初始隐状态公式如下：<...

【专利技术属性】
技术研发人员：陈羽中，胡潇炜，郭昆，陈泽林，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35