多兴趣推荐方法及装置制造方法及图纸

本发明专利技术提供了一种多兴趣推荐方法及装置，属于人工智能领域。多兴趣推荐方法，包括：根据用户行为序列，利用卡尔曼胶囊网络提取用户的历史多兴趣表达；根据所述用户行为序列和目标物品，利用卡尔曼胶囊网络提取用户的可能兴趣表达；根据所述用户的历史多兴趣表达和所述用户的可能兴趣表达，利用第一注意力模型预估用户对所述目标物品的点击率。本发明专利技术的技术方案解决了在进行多兴趣推荐时，动态路由算法迭代复杂度高的问题。复杂度高的问题。复杂度高的问题。

【技术实现步骤摘要】
多兴趣推荐方法及装置


[0001]本专利技术涉及业务
，特别是指一种多兴趣推荐方法及装置。

技术介绍

[0002]个性化推荐是根据用户行为记录和物料特点，从海量备选物料中推荐符合用户兴趣的物料。从而把正确的东西分发给正确的人，避免用户低效率的过滤信息。
[0003]多兴趣推荐：用户行为通常是隐态信息，其中隐含着用户的点击选择逻辑。如果直接将用户行为序列输入神经网络学习，确实可以学到部分用户选择逻辑，但是学习效率低下，且不具备可解释性。通过对用户行为的建模，抽象出来用户的多个兴趣表征，对于神经网络来说，可以更好学习到这部分内容，可解释性也更强。
[0004]胶囊网络：普通神经网络的神经元是一个标量，可以表征的信息有限。胶囊网络似的神经元是一个向量，可以表征更多信息。胶囊网络最开始用于图像识别领域，目的在于通过一个神经元，既能表征图像某个区域的局部特征，也能表征该个区域的位置信息。一个胶囊网络的胶囊向量可以用模长表征特征的存在概率，方向表征特征的姿态信息，从而达到预期目的。
[0005]卡尔曼滤波器：卡尔曼滤波器是一种动态估计算法，通过融合来自经验模型的预测和来自外部测量的修正，达到对隐空间状态的估计。通常用在通信、导航、控制等领域。由于卡尔曼滤波器仅依赖上一次迭代结果，所以具有计算速度快，迭代收敛速度快的优点。而且卡尔曼滤波器公式简单灵活，可以建模在任意空间。
[0006]现有技术在进行多兴趣推荐时，改变了胶囊网络的动态路由算法中向量和权重融合的方式，将原始网络简单相乘的方式，替换为门控单元的形式。动态路由算法本身就是多次递归逐渐收敛的方法，增加门控单元后会使得复杂度进一步增加。另一方面，动态路由多次迭代的方式会加速参数的收敛。门控单元处在循环之内，虽然多次循环，但是参数环境是一样的，少量训练样本就导致门控单元内大量参数收敛于局部最小值，无法从后续大量样本中学习到内容，从而失去门控单元设定大量参数的意义；另外预测用户对目标物品的点击率时，直接将用户兴趣向量同目标物品向量进行简单融合，没有将目标物品同用户行为进行有效建模，也没有从目标物品提取到用户可能的兴趣表示。

技术实现思路

[0007]本专利技术要解决的技术问题是提供一种多兴趣推荐方法及装置，解决了在进行多兴趣推荐时，动态路由算法迭代复杂度高的问题。
[0008]为解决上述技术问题，本专利技术的实施例提供技术方案如下：
[0009]一方面，提供一种多兴趣推荐方法，包括：
[0010]根据用户行为序列，利用卡尔曼胶囊网络提取用户的历史多兴趣表达；
[0011]根据所述用户行为序列和目标物品，利用卡尔曼胶囊网络提取用户的可能兴趣表达；
[0012]根据所述用户的历史多兴趣表达和所述用户的可能兴趣表达，利用第一注意力模型预估用户对所述目标物品的点击率。
[0013]一些实施例中，所述根据用户行为序列，利用卡尔曼胶囊网络提取用户的历史多兴趣表达包括：
[0014]利用m组卡尔曼滤波器分别利用所述用户行为序列计算兴趣向量，得到m个兴趣向量，m为大于1的整数，利用每一卡尔曼滤波器计算兴趣向量包括：
[0015]将所述用户行为序列中的每一个行为用向量表示，组成行为向量矩阵；
[0016]利用权重矩阵w将所述行为向量矩阵从低层空间映射到高层空间；
[0017]利用卡尔曼滤波器计算各个行为向量的权重；
[0018]利用所述卡尔曼滤波器更新的权重，对多个所述行为向量加权求和，得到的结果作为兴趣向量。
[0019]一些实施例中，利用卡尔曼滤波器计算各个行为向量的权值包括：
[0020]随机初始化每个行为向量的权重为c
i
，将其构造成对角矩阵c形式，主对角线上依次为每个行为向量的权重值，权重矩阵c为卡尔曼滤波器追踪参数，卡尔曼滤波器过程方程定义如下：
[0021]c
k
＝Ac
k
‑1+w
k
‑1[0022]卡尔曼滤波器测量方程定义如下：
[0023]z
k
＝Hc
k
+v
k
[0024]其中c
k
c
k
‑1为系统状态矩阵，即卡尔曼滤波器追踪参数，A为状态转移矩阵，H为状态观测矩阵，z
k
为观测量，w
k
‑1为过程噪声，v
k
为测量噪声，其中，过程方程定义为将权重矩阵从上一时刻c
k
‑1转移到当前时刻c
k
的过程，其结果为当前时刻的先验估计；测量方程定义为利用当前权重矩阵的先验估计c
k
计算观测量z
k
的过程。假定权重值分布符合标准高斯分布，则观测量定义为当前先验估计c
k
的均值和方差，标准值为标准高斯分布的均值和方差。
[0025]一些实施例中，卡尔曼滤波器参数更新过程如下：
[0026][0027][0028][0029][0030][0031]其中，P
k
为状态估计协方差矩阵，z为观测量标准值，Q为过程噪声协方差，R为测量噪声协方差，A、H为参数学习矩阵，P、Q、R为超参数矩阵。
[0032]一些实施例中，所述根据所述用户行为序列和目标物品，利用卡尔曼胶囊网络提取用户的可能兴趣表达包括：
[0033]将所述目标物品置于所述用户行为序列的后面，共同输入到卡尔曼滤波器进行权重计算，经过加权平均、非线性激活之后的输出向量，作为用户的可能兴趣表达。
[0034]一些实施例中，根据所述用户的历史多兴趣表达和所述用户的可能兴趣表达，利用第一注意力模型预估用户对所述目标物品的点击率包括：
[0035]利用所述第一注意力模型对用户的历史多兴趣表达向量和用户的可能兴趣表达
向量进行建模；
[0036]利用逻辑回归将所述第一注意力模型输出的多个向量拟合为一个值，经过sigmod函数激活后，作为用户对所述目标物品的点击概率。
[0037]一些实施例中，所述第一注意力模型的损失函数为交叉熵损失函数。
[0038]本专利技术实施例还提供了一种多兴趣推荐装置，包括：
[0039]第一提取模块，用于根据用户行为序列，利用卡尔曼胶囊网络提取用户的历史多兴趣表达；
[0040]第二提取模块，用于根据所述用户行为序列和目标物品，利用卡尔曼胶囊网络提取用户的可能兴趣表达；
[0041]处理模块，用于根据所述用户的历史多兴趣表达和所述用户的可能兴趣表达，利用第一注意力模型预估用户对所述目标物品的点击率。
[0042]一些实施例中，所述第一提取模块用于利用m组卡尔曼滤波器分别利用所述用户行为序列计算兴趣向量，得到m个兴趣向量，m为大于1的整数，利用每一卡尔曼滤波器计算兴趣向量包括：
[0043]将所述用户行为序列中的每一个行为用向量表示，组成行为向量矩阵；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多兴趣推荐方法，其特征在于，包括：根据用户行为序列，利用卡尔曼胶囊网络提取用户的历史多兴趣表达；根据所述用户行为序列和目标物品，利用卡尔曼胶囊网络提取用户的可能兴趣表达；根据所述用户的历史多兴趣表达和所述用户的可能兴趣表达，利用第一注意力模型预估用户对所述目标物品的点击率。2.根据权利要求1所述的多兴趣推荐方法，其特征在于，所述根据用户行为序列，利用卡尔曼胶囊网络提取用户的历史多兴趣表达包括：利用m组卡尔曼滤波器分别利用所述用户行为序列计算兴趣向量，得到m个兴趣向量，m为大于1的整数，利用每一卡尔曼滤波器计算兴趣向量包括：将所述用户行为序列中的每一个行为用向量表示，组成行为向量矩阵；利用权重矩阵w将所述行为向量矩阵从低层空间映射到高层空间；利用卡尔曼滤波器计算各个行为向量的权重；利用所述卡尔曼滤波器更新的权重，对多个所述行为向量加权求和，得到的结果作为兴趣向量。3.根据权利要求2所述的多兴趣推荐方法，其特征在于，利用卡尔曼滤波器计算各个行为向量的权值包括：随机初始化每个行为向量的权重为c
i
，将其构造成对角矩阵c形式，主对角线上依次为每个行为向量的权重值，权重矩阵c为卡尔曼滤波器追踪参数，卡尔曼滤波器过程方程定义如下：c
k
＝Ac
k
‑1+w
k
‑1卡尔曼滤波器测量方程定义如下：z
k
＝Hc
k
+v
k
其中c
k
c
k
‑1为系统状态矩阵，即卡尔曼滤波器追踪参数，A为状态转移矩阵，H为状态观测矩阵，z
k
为观测量，w
k
‑1为过程噪声，v
k
为测量噪声，其中，过程方程定义为将权重矩阵从上一时刻c
k
‑1转移到当前时刻c
k
的过程，其结果为当前时刻的先验估计；测量方程定义为利用当前权重矩阵的先验估计c
k
计算观测量z
k
的过程，假定...

【专利技术属性】
技术研发人员：郭瑞璞，冯俊兰，邓超，曾海涛，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：