一种基于因子分解机的神经注意力机制手机应用推荐模型制造技术

本发明专利技术属于电子商务技术领域，涉及一种融合注意力机制的神经网络手机应用推荐模型。当前互联网应用程序的许多预测性任务需要建模分类变量，比如为用户进行手机应用的推荐。为了应用标准的机器学习技术，这些预测模型总是通过独热编码方法转换成一组二进制特征，使得合成的特征向量高度稀疏。要从这些稀疏的数据中学习有效信息，对特征之间的相互作用进行提取是至关重要的。本发明专利技术的目的是提供一种新的手机应用推荐模型，该模型基于神经网络和注意力机制，提高和深化了因子分解机模型，设计新型模型结构，解决了因子分解机模型只能捕获二阶特征交互以及对所有的特征交互采用相同权重的问题，本发明专利技术也适用于一般的推荐系统。

【技术实现步骤摘要】
一种基于因子分解机的神经注意力机制手机应用推荐模型
本专利技术属于电子商务
，涉及一种融合注意力机制的神经网络手机应用推荐模型。
技术介绍
互联网应用程序的许多预测性任务需要建模分类变量，比如为用户进行手机应用的推荐。为了应用标准的机器学习技术，这些预测模型总是通过独热编码方法转换成一组二进制特征，使得合成的特征向量高度稀疏。要从这些稀疏的数据中学习有效信息，对特征之间的相互作用进行提取是至关重要的。研究发现，人们通常在吃饭的时间段下载送餐的应用，这可以看出，应用的类别和时间戳的二阶交互可以看作手机应用推荐的信号。而因子分解机是一个较为流行的提取特征交互的方式，以线性的方式提取特征间的交互，但是由于其复杂度，通常只考虑到二阶的特征交互，无法捕获高阶的特征交互，此外，因子分解机对所有的特征交互都采用相同的权重，即对于不同的预测结果特征的重要程度都相同，这很有可能引入噪声，并对推荐性能造成不利影响。近几年，深度神经网络在工业领域应用十分广泛，用于非线性特征交互的学习，取得了不错的成果，但是模型结构复杂，优化较为困难。本专利技术对上述弊端进行改进，从而提高手机应用的推荐效果。
技术实现思路
本专利技术的目的是提供一种新的手机应用推荐模型，该模型基于神经网络和注意力机制，提高和深化了因子分解机模型，解决了因子分解机模型只能捕获二阶特征交互以及对所有的特征交互采用相同权重的问题，本专利技术也适用于一般的推荐系统。本专利技术所采用的技术方案是：首先是数据的获取。我们采用Frappe手机网站中用户使用手机应用的数据集，该数据集包括了96203个用户在不同上下文下的应用使用日志，每个日志包括用户id、应用id以及8个上下文特征(例如天气、地点等)，我们将每个日志进行独热编码最终得到5382个特征向量，如果用户使用了系统推荐的应用，则标记为1。其次是对于推荐模型的设计。所设计的推荐模型包括三部分：特征提取部分、注意力部分以及预测部分。特征提取部分包括一个输入层、嵌入层以及特征提取层；注意力部分包括注意力网络；预测部分包括池化操作、全连接层以及预测层。特征提取部分的输入是稀疏向量。对于我们设计的手机应用推荐来讲，系统获得的数据是较为稀疏的，我们对每个日志进行独热编码，得到了5382个非零特征向量，然后，将每个非零特征传输到嵌入层中形成稠密向量，并在特征交互层执行特征交互操作。注意力部分包含一个注意力层，该层考虑了预测中不同特征交互的重要性。直到注意力层，该模型只能捕获一阶和二阶特征的交互。捕获的低阶特征交互将通过预测层的池化操作作为最终结果的一部分。现如今，人们已经被大量丰富的信息所淹没，数据形式多种多样，商家希望综合考虑多方面的信息从而为用户做出精准的手机应用推荐。因此，高阶特征的交互同样十分重要。为了能够学习复杂的高阶特征交互作用，我们在注意力层之上堆叠了一个全连接层，使用非线性激活函数以允许模型执行非线性建模。该模型可以同时捕获低阶和高阶特征交互。本专利设计的推荐模型可以表示为：如果xi＝0，代表第i个特征在实例中不存在，上式中w0表示整体的偏置，wi表示特征xi的权重，式子中的前两项类似于因子分解机的线性部分。第三项f(x)是模型的主要部分，其中x＝[xfiled1,xfiled2,...,xfiledm]，xfiledm则代表x的第m个字段。本专利技术的创新主要在于f(x)，其包含了基于注意力机制的二阶特征交互部分以及全连接层网络提取的高阶特征交互部分。接下来对模型的每一部分进行阐述。A.特征抽取部分特征抽取部分主要包括输入层、嵌入层、特征交互层。嵌入层“嵌入”一词最初起源和应用于自然语言处理领域，经典的word2vec是对于词向量的嵌入。嵌入层是一个以one-hot(独热编码)为输入、中间层节点为字向量维数的全连接层，而这个全连接层的参数，就是一个“字向量表”。该推荐模型的嵌入层是一个全连接层，该层的输入是Frappe数据中获得的特征的独热编码，将高维稀疏特征转换为低维稠密的特征向量以降低计算维度。特征间的交互关系使用嵌入层学到的参数来表示，例如第i个手机应用特征的嵌入向量为vi，输入特征向量x的嵌入向量即Vx＝{x1v1,...,xnvn}，在此只考虑非零特征的嵌入向量Vx＝{xivi}，xi≠0。该层输入数据的维度可能不同，但是经过嵌入层输出后维度相同，且为稠密向量。该层得到的低维稠密的嵌入向量作为下一层特征交互层的输入。特征交互层该层进行特征间的交互，它将Frappe数据集经过嵌入层得到的向量两两交互形成相互作用的向量，并用向量的元素乘积来编码其相互作用。嵌入层的输出Vx＝{xivi}，(xi≠0)为该层的输入，特征交互层的输出表示为一组向量：⊙表示两个向量的元素相乘。公式(2)由于需要计算所有成对的交互作用，其直接计算复杂度是o(kn2)，因此我们通过简化公式(2)将复杂性降低为线性复杂度，简化过程如下：此外，在对特征交互建模时，特征交互层不会引入额外的参数或成本。B.注意力部分为了区分不同特征对于预测目标的重要程度，我们提出使用注意力机制进行特征交互重要性的判断。在其他的应用推荐的过程中，系统可能只考虑到了单个特征对预测的影响，并对全部特征进行线性的加权，但是我们提出并不是所有的特征对用户的应用推荐有用，我们调查发现，青少年喜欢玩射击类的游戏，因此，在进行游戏应用推荐时，年龄和游戏的类别对于预测结果应分配较大的比重，而天气等因素应占据较小的比重。因此本专利技术通过一个注意力网络来计算不同特征对预测目标的注意力权重，然后对特征进行加权求和，权值越大，表明该特征对预测目标贡献越大。该方式不仅能够降低计算成本，而且削弱了噪声和冗余特征交互的影响。aij表示特征xi和xj交互的注意力分数,即特征交互对预测的重要程度。aij的计算可以分为两部分，如公式(4)所示：其中wa、ba以及h为模型参数，wa∈Rt×k，ba∈Rt，h∈Rt，t为注意力网络隐藏层的大小，k为嵌入层大小。为了使得我们的专利技术有更强的表达能力和泛化水平，我们决定引入非线性函数作为激励函数，通过大量的实验证明，本专利技术使用relu的效果最佳，模型的性能更好。C.预测部分预测部分主要由池化操作、全连接层网络以及预测层组成。池化操作将注意力部分得出的Frappe应用数据的注意力权重与数据的特征交互向量相乘进行求和池化操作，表示为公式(5):池化操作的输出是一个k维的向量。该部分捕获了低阶的特征交互，并作为最终预测结果的一部分。全连接层网络模型在经过特征交互层以及注意力层部分之后，已经提取到Frappe数据中一阶特征和二阶特征的交互，可以根据用户的相关信息进行基础的应用推荐。但是当输入数据内容多样时，只考虑低阶特征交互会影响预测结果，为了提高预测精度，需要提取高阶的特征交互。因此在注意力组件之上堆叠一个全连接层，将注意力网络求和池化后的结果作为输入传递到该层，全连接层表示如下：其中本文档来自技高网...

【技术保护点】
1.一种基于因子分解机的神经注意力机制手机应用推荐方法，其特征是：构建一个新型的手机应用推荐模型，然后把不同场景下的手机应用日志数据输入该推荐模型，将其作为训练数据训练该模型，待训练的模型损失最低时，投入新的用户数据，则该模型便能推荐给不同用户喜欢的不同手机应用，实现个性化的推荐，从而提高用户的满意度。/n

【技术特征摘要】
1.一种基于因子分解机的神经注意力机制手机应用推荐方法，其特征是：构建一个新型的手机应用推荐模型，然后把不同场景下的手机应用日志数据输入该推荐模型，将其作为训练数据训练该模型，待训练的模型损失最低时，投入新的用户数据，则该模型便能推荐给不同用户喜欢的不同手机应用，实现个性化的推荐，从而提高用户的满意度。


2.如权利要求1所述的一种基于因子分解机的神经注意力机制手机应用推荐方法，其特征是：对构建的新型手机应用推荐模型进行训练。


3.如权利要求1所述的一种基于因子分解机的神经注意力机制手机应用推荐方法，其特征是：经过训练好的手机应用推荐模型输出的数据则为给用户推荐的个性化手机应用。


4.一种基于因子分解机的神经注意力机制手机应用推荐方法，其特征是：具体包括以下步骤：
（1）获取手机应用日志的训练数据、测试数据，并将训练数据划分出一部分的验证集，训练集、验证集和测试集的比例为7：2：1；
（2）构建基于因子分解机的神经注意力机制手机应用推荐模型，利用其训练数据进行模型的训练；
（3）利用手机应用日志验证集数据进行模型的调参，使得损失函数最小，模型最优；
（4）将手机应用日志测试数据输入至所构建的推荐模型中，得到其网络的输出，则为用户的个性化手机应用推荐。


5.如权利要求4所述的一种基于因子分解机的神经注意力机制手机应用推荐方法，其特征是：所述步骤（1）中，手机应用日志数据的训练集、验证集和测试集为随机分类。


6.如权利要求4所述的一...

【专利技术属性】
技术研发人员：张志军，温鹏，袁卫华，徐功文，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：山东;37