训练用户兴趣挖掘模型、用户兴趣挖掘的方法和装置制造方法及图纸

本说明书实施例提供一种训练用户兴趣挖掘模型、用户兴趣挖掘的方法和装置，方法包括：获取多个样本用户构成的关系网络图，关系网络图中具有社交关系的两个样本用户之间具有连接边；根据用户的行为日志特征，确定其初始用户表征向量；将多个样本用户分别对应的初始用户表征向量和关系网络图输入所述图神经网络，得到目标用户的融合用户表征向量；将多个样本用户分别对应的融合用户表征向量输入兴趣分布预测网络，得到各样本用户分别对应的兴趣分布参数；调整网络参数，使得兴趣分布参数所表征的预测兴趣分布与已知的用户兴趣先验分布之间的分布差异减小。对于不活跃的用户，也能有效挖掘用户兴趣。有效挖掘用户兴趣。有效挖掘用户兴趣。

【技术实现步骤摘要】
训练用户兴趣挖掘模型、用户兴趣挖掘的方法和装置


[0001]本说明书一个或多个实施例涉及计算机领域，尤其涉及训练用户兴趣挖掘模型、用户兴趣挖掘的方法和装置。

技术介绍

[0002]在数字营销领域，运营需要根据对用户需求和偏好的理解，创造新的营销广告或内容素材。然而，用户数据往往是高维难以理解的，对高维用户行为数据进行降维和提供可解释性是帮助运营做营销的关键。假如把用户视为文档，访问对象(item)的行为当成词，那么使用主题模型来从用户行为数据挖掘用户意图是很自然的事情。其中，用户意图还可以称为用户兴趣。然而，现实中常存在大量不活跃的用户，这就给传统的主题模型带来了挑战，意味着大量的用户兴趣将无法被有效挖掘。
[0003]因此，希望能有改进的方案，对于不活跃的用户，也能有效挖掘用户兴趣。

技术实现思路

[0004]本说明书一个或多个实施例描述了一种训练用户兴趣挖掘模型、用户兴趣挖掘的方法和装置，对于不活跃的用户，也能有效挖掘用户兴趣。
[0005]第一方面，提供了一种训练用户兴趣挖掘模型的方法，所述用户兴趣挖掘模型包括图神经网络和兴趣分布预测网络，方法包括：
[0006]获取多个样本用户构成的关系网络图，所述关系网络图中具有社交关系的两个样本用户之间具有连接边；
[0007]将所述多个样本用户中的任一样本用户作为目标用户，根据所述目标用户的行为日志特征，确定所述目标用户的初始用户表征向量，所述行为日志特征表征了用户在一段时间内访问的对象；
[0008]将所述多个样本用户分别对应的初始用户表征向量和所述关系网络图输入所述图神经网络，通过所述图神经网络，得到所述目标用户的融合用户表征向量；
[0009]将所述多个样本用户分别对应的融合用户表征向量输入所述兴趣分布预测网络，得到各样本用户分别对应的兴趣分布参数；
[0010]通过最小化目标函数，调整所述用户兴趣挖掘模型的网络参数，所述目标函数包括，各样本用户分别对应的兴趣分布参数所表征的预测兴趣分布与已知的用户兴趣先验分布之间的分布差异，所述调整至少使得所述分布差异减小。
[0011]在一种可能的实施方式中，所述行为日志特征通过向量表征，该向量的每个元素对应于一个对象，该元素的数值代表该对象是否被访问。
[0012]在一种可能的实施方式中，所述通过所述图神经网络，得到所述目标用户的融合用户表征向量，包括：
[0013]通过所述图神经网络，进行预定轮数的多轮迭代运算得到所述目标用户的融合用户表征向量；
[0014]所述多轮迭代运算中的任一轮迭代包括：
[0015]利用所述目标用户的上一轮迭代得到的融合用户表征向量，所述目标用户的邻居用户的上一轮迭代得到的融合用户表征向量，所述目标用户和所述邻居用户之间的权重参数，以及本轮的迭代参数，得到所述目标用户本轮迭代的融合用户表征向量。
[0016]在一种可能的实施方式中，所述用户兴趣先验分布为正态分布，所述正态分布具有已知均值和已知协方差；
[0017]所述将所述多个样本用户分别对应的融合用户表征向量输入所述兴趣分布预测网络，得到各样本用户分别对应的兴趣分布参数，包括：
[0018]将所述多个样本用户中任一样本用户对应的融合用户表征向量输入所述兴趣分布预测网络，通过所述兴趣分布预测网络输出该样本用户对应的预测均值和预测协方差。
[0019]进一步地，所述已知均值和已知协方差根据先验的狄利克雷的已知参数而确定，所述已知参数与预先假定的兴趣数目有关。
[0020]进一步地，所述兴趣分布预测网络包括多层感知器(muti－layer perception，MLP)；所述通过所述兴趣分布预测网络输出该样本用户对应的预测均值和预测协方差，包括：
[0021]通过所述MLP的第一网络层，输出所述预测均值；
[0022]通过所述MLP的第二网络层，输出所述预测协方差。
[0023]进一步地，所述分布差异为KL散度，所述KL散度通过所述预测均值、所述预测协方差、所述已知均值和所述已知协方差而确定。
[0024]在一种可能的实施方式中，所述用户兴趣挖掘模型还包括线性映射网络；所述方法还包括：
[0025]获取各对象分别对应的语义表征向量；
[0026]将各语义表征向量输入所述线性映射网络，通过所述线性映射网络生成兴趣对象分布矩阵，所述兴趣对象分布矩阵中的同一行元素体现了同一兴趣下各对象分别出现的概率；
[0027]根据各样本用户分别对应的兴趣分布参数形成用户兴趣预测分布，通过对所述用户兴趣预测分布采样，得到用户兴趣分布矩阵，所述用户兴趣分布矩阵的同一行元素体现了同一样本用户针对各兴趣分别的概率；
[0028]根据所述兴趣对象分布矩阵和所述用户兴趣分布矩阵，确定各样本用户的预测行为日志；
[0029]所述目标函数还包括，根据各样本用户的预测行为日志和行为日志特征确定的似然概率；所述调整所述用户兴趣挖掘模型的网络参数还使得，所述似然概率增大。
[0030]进一步地，所述似然概率，通过计算各样本用户的预测行为日志和行为日志特征之间的相似度而确定。
[0031]进一步地，所述获取各对象分别对应的语义表征向量，包括：
[0032]将各对象中任一对象的描述性文本输入预先训练的表征模型，通过所述表征模型输出该对象对应的语义表征向量。
[0033]进一步地，所述表征模型通过如下方式进行训练：
[0034]将样本对象的描述性文本中抽取的第一分词，与该样本对象作为一组正样本；
[0035]将所有对象的描述性文本的语料中抽取的第二分词，与该样本对象作为一组负样本；
[0036]利用所述正样本和所述负样本对所述表征模型进行训练，训练目标为最大化所述样本对象的语义表征向量与所述第一分词的分词表征向量的第一相似度，以及最小化所述样本对象的语义表征向量与所述第二分词的分词表征向量的第二相似度。
[0037]第二方面，提供了一种用户兴趣挖掘的方法，所述方法基于第一方面所述的方法得到的训练后的用户兴趣挖掘模型而实现，包括：
[0038]根据待挖掘用户与其他用户的社交关系，将所述待挖掘用户加入所述关系网络图；
[0039]根据所述待挖掘用户的行为日志特征，确定所述待挖掘用户的初始用户表征向量；
[0040]将所述关系网络图中各用户分别对应的初始用户表征向量和所述关系网络图输入所述图神经网络，通过所述图神经网络，得到所述待挖掘用户的融合用户表征向量；
[0041]将所述待挖掘用户的融合用户表征向量输入所述兴趣分布预测网络，得到所述待挖掘用户对应的兴趣分布参数；
[0042]根据所述待挖掘用户对应的兴趣分布参数，形成用户兴趣分布，通过对所述用户兴趣分布采样，确定所述待挖掘用户针对各兴趣分别的概率。
[0043]在一种可能的实施方式中，所述用户兴趣挖掘模型还包括线性映射网络；所述方法还包括：
...

【技术保护点】

【技术特征摘要】
1.一种训练用户兴趣挖掘模型的方法，所述用户兴趣挖掘模型包括图神经网络和兴趣分布预测网络，所述方法包括：获取多个样本用户构成的关系网络图，所述关系网络图中具有社交关系的两个样本用户之间具有连接边；将所述多个样本用户中的任一样本用户作为目标用户，根据所述目标用户的行为日志特征，确定所述目标用户的初始用户表征向量，所述行为日志特征表征了用户在一段时间内访问的对象；将所述多个样本用户分别对应的初始用户表征向量和所述关系网络图输入所述图神经网络，通过所述图神经网络，得到所述目标用户的融合用户表征向量；将所述多个样本用户分别对应的融合用户表征向量输入所述兴趣分布预测网络，得到各样本用户分别对应的兴趣分布参数；通过最小化目标函数，调整所述用户兴趣挖掘模型的网络参数，所述目标函数包括，各样本用户分别对应的兴趣分布参数所表征的预测兴趣分布与已知的用户兴趣先验分布之间的分布差异，所述调整至少使得所述分布差异减小。2.如权利要求1所述的方法，其中，所述行为日志特征通过向量表征，该向量的每个元素对应于一个对象，该元素的数值代表该对象是否被访问。3.如权利要求1所述的方法，其中，所述用户兴趣先验分布为正态分布，所述正态分布具有已知均值和已知协方差；所述将所述多个样本用户分别对应的融合用户表征向量输入所述兴趣分布预测网络，得到各样本用户分别对应的兴趣分布参数，包括：将所述多个样本用户中任一样本用户对应的融合用户表征向量输入所述兴趣分布预测网络，通过所述兴趣分布预测网络输出该样本用户对应的预测均值和预测协方差。4.如权利要求3所述的方法，其中，所述已知均值和已知协方差根据先验的狄利克雷的已知参数而确定，所述已知参数与预先假定的兴趣数目有关。5.如权利要求3所述的方法，其中，所述兴趣分布预测网络包括多层感知器MLP；所述通过所述兴趣分布预测网络输出该样本用户对应的预测均值和预测协方差，包括：通过所述MLP的第一网络层，输出所述预测均值；通过所述MLP的第二网络层，输出所述预测协方差。6.如权利要求3所述的方法，其中，所述分布差异为KL散度，所述KL散度通过所述预测均值、所述预测协方差、所述已知均值和所述已知协方差而确定。7.如权利要求1所述的方法，其中，所述用户兴趣挖掘模型还包括线性映射网络；所述方法还包括：获取各对象分别对应的语义表征向量；将各语义表征向量输入所述线性映射网络，通过所述线性映射网络生成兴趣对象分布矩阵，所述兴趣对象分布矩阵中的同一行元素体现了同一兴趣下各对象分别出现的概率；根据各样本用户分别对应的兴趣分布参数形成用户兴趣预测分布，通过对所述用户兴趣预测分布采样，得到用户兴趣分布矩阵，所述用户兴趣分布矩阵的同一行元素体现了同一样本用户针对各兴趣分别的概率；根据所述兴趣对象分布矩阵和所述用户兴趣分布矩阵，确定各样本用户的预测行为日
志；所述目标函数还包括，根据各样本用户的预测行为日志和行为日志特征确定的似然概率；所述调整所述用户兴趣挖掘模型的网络参数还使得，所述似然概率增大。8.如权利要求7所述的方法，其中，所述似然概率，通过计算各样本用户的预测行为日志和行为日志特征之间的相似度而确定。9.如权利要求7所述的方法，其中，所述获取各对象分别对应的语义表征向量，包括：将各对象中任一对象的描述性文本输入预先训练的表征模型，通过所述表征模型输出该对象对应的语义表征向量。10.如权利要求9所述的方法，其中，所述表征模型通过如下方式进行训练：将样本对象的描述性文本中抽取的第一分词，与该样本对象作为一组正样本；将所有对象的描述性文本的语料中抽取的第二分词，与该样本对象作为一组负样本；利用所述正样本和所述负样本对所述表征模型进行训练，训练目标为最大化所述样本对象的语义表征向量与所述第一分词的分词表征向量的第一相似度，以及最小化所述样本对象的语义表征向量与所述第二分词的分词表征向量的第二相似度。11.一种训练用户兴趣挖掘模型的方法，所述用户兴趣挖掘模型包括图神经网络、兴趣分布预测网络和线性映射网络，所述方法包括：获取多个样本用户构成的关系网络图，所述关系网络图中具有社交关系的两个样本用户之间具有连接边；将所述多个样本用户中的任一样本用户作为目标用户，根据所述目标用户的行为日志特征，确定所述目标用户的初始用户表征向量，所述行为日志特征表征了用户在一段时间内访问的对象；将所述多个样本用户分别对应的初始用户表征向量和所述关系网络图输入所述图神经网络，通过所述图神经网络，得到所述目标用户的融合用户表征向量；将所述多个样本用户分别对应的融合用户表征向量输入所述兴趣分布预测网络，得到各样本用户分别对应的兴趣分布参数；获取各对象分别对应的语义表征向量；将各语义表征向量输入所述线性映射网络，通过所述线性映射网络生成兴趣对象分布矩阵，所述兴趣对象分布矩阵中的同一行元素体现了同一兴趣下各对象分别出现的概率；根据各样本用户分别对应的兴趣分布参数形成用户兴趣预测分布，通过对所述用户兴趣预测分布采样，得到用户兴趣分布矩阵，所述用户兴趣分布矩阵的同一行元素体现了同一样本用户针对各兴趣分别的概率；根据所述兴趣对象分布矩阵和所述用户兴趣分布矩阵，确定各样本用户的预测行为日志；通过最大化目标函数，调整所述用户兴趣挖掘模型的网络参数，所述目标函数为第一相关项与第二相关项之差，所述第一相关项为根据各样本用户的预测行为日志和行为日志特征确定的似然概率，所述第二相关项为各样本用户分别对应的兴趣分布参数所表征的预测兴趣分布与已知的用户兴趣先验分布之间的分布差异。12.一种用户兴趣挖掘的方法，所述方法基于权利要求1所述的方法得到的训练后的用户兴趣挖掘模型而实现，包括：根据待挖掘用户与其他用户的社交关系，将所述待挖掘用户加入所述关系网络图；
根据所述待挖掘用户的行为日志特征，确定所述待挖掘用户的初始用户表征向量；将所述关系网络图中各用户分别对应的初始用户表征向量和所述关系网络图输入所述图神经网络，通过所述图神经网络，得到所述待挖掘用户的融合用户表征向量；将所述待挖掘用户的融合用户表征向量输入所述兴趣分布预测网络，得到所述待挖掘用户对应的兴趣分布参数；根据所述待挖掘用户对应的兴趣分布参数，形成...

【专利技术属性】
技术研发人员：王伟帆，程晓程，刘子奇，林宇，申月，张志强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：