MLP神经网络的生成方法、物品推荐方法及其装置制造方法及图纸

本发明专利技术公开了一种MLP神经网络的生成方法、物品推荐方法及其装置，所述生成方法包括以下步骤：获取多个交互序列，每个交互序列均包含有用户以及与所述用户有过交互的若干物品；创建MLP神经网络，所述MLP神经网络设置有嵌入层、全局编码层和局部编码层；基于所有交互队列，对所述MLP神经网络进行训练。从而得到了准确性高的MLP神经网络。了准确性高的MLP神经网络。了准确性高的MLP神经网络。

【技术实现步骤摘要】
MLP神经网络的生成方法、物品推荐方法及其装置


[0001]本专利技术涉及物品推荐
，尤其涉及一种MLP神经网络的生成方法、物品推荐方法及其装置。

技术介绍

[0002]随着社会的进步和信息技术的发展，越来越多的用户使用电子商务系统进行在线购物、在线定外卖、以及在线订购电影票等等。当某个用户访问过、购买过、评价过某个项目(该项目可以为商品，外卖和电影票等)时，电子商务系统会存储这些交互数据。可以理解的是，如果电子商务系统可以对这些交互数据进行处理，然后得到该用户未来用可能访问、购买若干项目，然后将若干项目推荐给该用户，则能够极大的提高该用户购买该项目的可能性。

技术实现思路

[0003]有鉴于此，本专利技术的主要目的在于提供一种MLP神经网络的生成方法、物品推荐方法及其装置。
[0004]为达到上述目的，本专利技术的技术方案是这样实现的：一种用于物品推荐的MLP神经网络的生成方法，包括以下步骤：获取多个交互序列，每个交互序列均包含有用户以及与所述用户有过交互的若干物品；创建MLP神经网络，所述MLP神经网络设置有嵌入层、全局编码层和局部编码层，所述嵌入层用于：生成所有交互序列中所有物品的嵌入向量，并将所有的嵌入向量组成嵌入矩阵E；所述全局编码层用于：通过序列混合器得到用户的序列层级编码表示，之后使用通道混合器对嵌入维度进行混合以捕获通道层级的关系，最终得到用户的全局表示；所述局部编码器用于：同过卷积局部增强得到用户的局部编码表示，辅以多粒度局部感知机制，得到多层级的局部表示，最终使用元素乘积得到融合了多粒度局部信息的表示；基于所有交互队列，对所述MLP神经网络进行训练。
[0005]作为本专利技术实施例的一种改进，所述全局编码层包含有序列混合层、通道混合层和自适应融合层，所述序列混合层和通道混合层均为具有激活函数的MLP，所述序列混合层用于嵌入矩阵E的序列维度的关系进行检索，所述通道混合层用于对嵌入矩阵E的通道维度的关系进行建模；所述序列混合层中的每一层的输入为y
s
＝e
u
+W2(GELU(W1LayerNorm(e
u
)+b1))+b2，其中，y
s
是包含交叉项相关性的序列混合层的输出，W1和W2分别表示序列混合层中的第一和第二个全连接层的可学习权重，b1和b2均为偏置向量；所述通道混合层的输出为Y
g
＝y
s
+GELU(LayerNorm(y
s
)W3+b3)W4+b4，其中，Y
g
是包含跨通道相关性的通道混合层的输出，W3和W4均为通道混合层中可学习的权重，b3和b4为偏置向量。
[0006]作为本专利技术实施例的一种改进，所述局部编码层包括局部依赖增强模块和多粒度局部信息感知机制。
[0007]作为本专利技术实施例的一种改进，所述局部依赖增强模块由通道投影单元、激活函数高斯误差线性单元、卷积局部增强单元和通道投影组成；所述局部依赖增强模块的输出
为H＝GELU(LayerNorm(e
u
)W5+b5)，Y
l
＝e
u
+CLE(H)W6+b6，其中，W5和W6分别表示两个通道投影对应的线性变换权重，b5和b6分别表示偏置向量；所述卷积局部增强单元的计算过程为：CLE(H)＝H1⊙
H
′2，H
′2＝SiLU(DWConv(LayerNorm(H2)))，其中，DWConv为深度卷积，表示卷积局部增强权重，
⊙
为Hadamard乘积。
[0008]作为本专利技术实施例的一种改进，其中，2k+1表示深度卷积的核大小，n是最大的局部尺度。
[0009]作为本专利技术实施例的一种改进，所述自适应融合层用于：基于注意力的池化将每个分支的输出序列汇总为一个向量：y
g
＝softmax(Y
g
W
att
)Y
g
，y
L
＝softmax(Y
L
W
att
)Y
L
，其中，y
g
为全局池化表示，y
L
是局部池化表示，W
att
表示用于生成注意力分数的可学习权重；Y＝w
g
Y
g
+w
L
Y
L
，w
g
,w
L
＝softmax(W
g
y
g
,W
L
y
L
)，W
g
和W
L
表示线性变换。
[0010]作为本专利技术实施例的一种改进，所述MLP神经网络的损失函数为：作为本专利技术实施例的一种改进，所述MLP神经网络的损失函数为：其中，σ()为sigmoid函数，表示时间步长N+1的真实项，是随机抽样的负项，最后一项Y
N
的表示作为最终的预测结果。
[0011]本专利技术实施例还提供了一种用于物品推荐的MLP神经网络的生成装置，包括以下模块：信息获取模块，用于获取多个交互序列，每个交互序列均包含有用户以及与所述用户有过交互的若干物品；神经网络创建模块，用于创建MLP神经网络，所述MLP神经网络设置有嵌入层、全局编码层和局部编码层，所述嵌入层用于：生成所有交互序列中所有物品的嵌入向量，并将所有的嵌入向量组成嵌入矩阵E；所述全局编码层用于：通过序列混合器得到用户的序列层级编码表示，之后使用通道混合器对嵌入维度进行混合以捕获通道层级的关系，最终得到用户的全局表示；所述局部编码器用于：同过卷积局部增强得到用户的局部编码表示，辅以多粒度局部感知机制，得到多层级的局部表示，最终使用元素乘积得到融合了多粒度局部信息的表示；训练模块，用于基于所有交互队列，对所述MLP神经网络进行训练。
[0012]本专利技术实施例还提供了一种物品推荐方法，包括以下步骤：执行上述的生成方法并得到MLP神经网络；获取与预设用户有过交互的若干物品，将所述若干物品输入到所述MLP神经网络，从而得到推荐物品。
[0013]本专利技术实施例还提供了一种物品推荐装置，包括以下模块：预处理模块，用于执行上述的生成方法并得到MLP神经网络；处理模块，用于获取与预设用户有过交互的若干物品，将所述若干物品输入到所述MLP神经网络，从而得到推荐物品。
[0014]本专利技术实施例所提供的MLP神经网络的生成方法、物品推荐方法及其装置具有以下优点：本专利技术实施例公开了一种MLP神经网络的生成方法、物品推荐方法及其装置，所述生成方法包括以下步骤：获取多个交互序列，每个交互序列均包含有用户以及与所述用户有过交互的若干物品；创建MLP神经网络，所述MLP神经网络设置有嵌入层、全局编码层和局部编码层；基于所有交互队列，对所述MLP神经网络进行训练。从而得到了准确性高的MLP神经网络。
附图说明
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于物品推荐的MLP神经网络的生成方法，其特征在于，包括以下步骤：获取多个交互序列，每个交互序列均包含有用户以及与所述用户有过交互的若干物品；创建MLP神经网络，所述MLP神经网络设置有嵌入层、全局编码层和局部编码层，所述嵌入层用于：生成所有交互序列中所有物品的嵌入向量，并将所有的嵌入向量组成嵌入矩阵E；所述全局编码层用于：通过序列混合器得到用户的序列层级编码表示，之后使用通道混合器对嵌入维度进行混合以捕获通道层级的关系，最终得到用户的全局表示；所述局部编码器用于：同过卷积局部增强得到用户的局部编码表示，辅以多粒度局部感知机制，得到多层级的局部表示，最终使用元素乘积得到融合了多粒度局部信息的表示；基于所有交互队列，对所述MLP神经网络进行训练。2.根据权利要求1所述的生成方法，其特征在于，所述全局编码层包含有序列混合层、通道混合层和自适应融合层，所述序列混合层和通道混合层均为具有激活函数的MLP，所述序列混合层用于嵌入矩阵E的序列维度的关系进行检索，所述通道混合层用于对嵌入矩阵E的通道维度的关系进行建模；所述序列混合层中的每一层的输入为y
s
＝e
u
+W2(GELU(W1LayerNorm(e
u
)+b1))+b2，其中，y
s
是包含交叉项相关性的序列混合层的输出，W1和W2分别表示序列混合层中的第一和第二个全连接层的可学习权重，b1和b2均为偏置向量；所述通道混合层的输出为Y
g
＝y
s
+GELU(LayerNorm(y
s
)W3+b3)W4+b4，其中，Y
g
是包含跨通道相关性的通道混合层的输出，W3和W4均为通道混合层中可学习的权重，b3和b4为偏置向量。3.根据权利要求2所述的生成方法，其特征在于：所述局部编码层包括局部依赖增强模块和多粒度局部信息感知机制。4.根据权利要求3所述的生成方法，其特征在于：所述局部依赖增强模块由通道投影单元、激活函数高斯误差线性单元、卷积局部增强单元和通道投影组成；所述局部依赖增强模块的输出为H＝GELU(LayerNorm(e
u
)W5+b5)，Y
l
＝e
u
+CLE(H)W6+b6，其中，W5和W6分别表示两个通道投影对应的线性变换权重，b5和b6分别表示偏置向量；所述卷积局部增强单元的计算过程为：CLE(H)＝H1⊙
H
′2，H
′2＝SiLU(DWConv(LayerNorm(H2)))，其中，DWConv为深度卷积，表示卷积局部增强权重，
⊙
为Hadamard乘积。5.根据权利要求4所述的生成方法，其特征在于：其中，2k+1表示深度卷积的核...

【专利技术属性】
技术研发人员：孙逊，龙超，鲜学丰，
申请(专利权)人：苏州市职业大学苏州开放大学，
类型：发明
国别省市：