基于多尺度建模的分层注意力微视频序列推荐方法及装置制造方法及图纸

本发明专利技术提出了基于多尺度建模的分层注意力微视频序列推荐方法及装置，通过预测用户对微视频的点击率，而后判断是否给用户做推荐，能有效提高微视频平台的推荐性能。微视频分享平台序列推荐方法包括：步骤1、使用时间窗口来捕捉用户的短期动态兴趣表征；步骤2、对步骤1得到的时间窗口信息，利用类目级别的注意力机制来描述用户的粗粒度兴趣表征；步骤3、对步骤1得到的时间窗口信息，利用项目级别的注意力机制捕捉细粒度的用户兴趣表征；步骤4、利用步骤2和步骤3得到的用户兴趣表征，采用前向多头自我注意力机制来识别和整合之前分割的时间窗口之间的长期相关性的统一表示，利用向量信息进行微视频序列推荐。息进行微视频序列推荐。息进行微视频序列推荐。

【技术实现步骤摘要】
基于多尺度建模的分层注意力微视频序列推荐方法及装置


[0001]本专利技术涉及微视频分享平台推荐
，尤其涉及一种基于多尺度建模的分层注意力微视频序列推荐方法及装置。

技术介绍

[0002]近期，微视频分享服务变得非常受人们的欢迎。用户可以用智能手机拍摄短视频(通常是几十秒)，接着上传到在线平台分享(如，快手和抖音)。很多沉默用户会被网络平台上的微视频吸引对其浏览或互动，但他们的贡献较少。在中国受欢迎的微视频分享平台上，每天有超过6000万的活跃用户，用户每天上传的微视频总量超过1000万。由此可见，这里明显存在信息过载的现象。因此，我们急需针对微视频分享平台设计高效的序列推荐算法，用来帮助用户找到他们最喜爱的微视频，进而提高分享服务平台的用户体验感。
[0003]具体到微视频推荐场景，最近几年已经取得的了一些进展，但是这项任务仍然非常困难，无法解决微视频分享平台信息过载问题，使得微视频分享平台的推荐性能不佳。

技术实现思路

[0004]本专利技术提出了一种基于多尺度建模的分层注意力微视频序列推荐方法及装置，用以解决或者至少部分解决现有技术中微视频分享平台的推荐性能不佳的技术问题。
[0005]为了达到上述目的，本专利技术第一方面提供了基于多尺度建模的分层注意力微视频序列推荐方法，包括：
[0006]S1：采用时间窗口捕捉用户的短期动态兴趣表征，其中，用户行为序列划分到多个时间窗口中，每个时间窗口内包含多个微视频；
[0007]S2：基于时间窗口内包含的微视频，对短期动态兴趣表征利用类目级别的注意力机制描述用户的粗粒度兴趣表征；
[0008]S3：基于时间窗口内包含的微视频，对短期动态兴趣表征利用项目级别注意力机制描述用户的细粒度兴趣表征；
[0009]S4：对用户的粗粒度兴趣表征和用户的细粒度兴趣表征进行整合，并采用前向多头自我注意力机制来识别和整合分割的时间窗口之间的长期相关性的统一表征向量；
[0010]S5：根据用户的粗粒度兴趣表征、用户的细粒度兴趣表征以及统一表征向量，通过使用预测函数估计用户与物品之间的交互概率，并利用用户的粗粒度兴趣表征、用户的细粒度兴趣表征以及统一表征向量进行序列推荐。
[0011]在一种实施方式中，步骤S1采用下述方式来实现：
[0012][0013]其中，为第t个视觉特征向量，表示用户的短期动态兴趣表征，f表示视觉特征向量；E
f
是经过学习得到的一个嵌入矩阵，是利用微视频s
i
在ImageNet上预训练的Inception
‑
v3模型从封面图中抽取的视觉特征向量，s
i
表示第i个微视频。
[0014]在一种实施方式中，步骤S2采用下述方式来实现：
[0015][0016]其中，
⊙
表示逐元素相乘；k表示微视频序列中微视频的排序号；表示用户的粗粒度兴趣表征，t表示时间窗口排序号，c表示按类目级别；c
tj
表示第t个时间窗口内第j个微视频的类目级别向量表征；表示表示类目级别的注意力分数归一化后的注意力权重。
[0017]在一种实施方式中，步骤S3采用下述方式来实现：
[0018][0019]其中，
⊙
表示逐元素相乘，表示用户的细粒度兴趣表征，t表示时间窗口的排序号，f表示视觉特征向量；f
tj
表示第t个时间窗口内第j个微视频项目级别向量表征，表示视觉特征层面的注意力分数归一化后的注意力权重。
[0020]在一种实施方式中，步骤S4包括：
[0021]S4.1：将用户的粗粒度兴趣表征与用户的细粒度兴趣表征进行融合，得到用户的局部兴趣表征；
[0022]S4.2：将用户的局部兴趣表征{l
t
,t＝1,2
…
,m}复制三次，分别记为{q
t
}，{k
t
}和{v
t
}，{q
t
}，{k
t
}和{v
t
}分别表示查询项，键项和值项，下标t表示时间窗口的排序号，使用{q
t
}和{k
t
}计算注意力分数，即{q
t
}和{k
t
}的积称作注意力分数，然后将计算得到的注意力分数与{v
t
}加权聚合得到全局兴趣表征；
[0023]S4.3：基于S4.2得到的全局兴趣表征，将{q
t
},{k
t
}和{v
t
}分别线性映射z次，每次映射采用不同的投影矩阵将其映射到d
z
维空间下，设置d
z
＝d
q
＝d
k
＝d
v
＝d/z，d
z
、d
k
、d
v
、d分别表示查询项的维度、键项的维度、值项的维度以及用户全局兴趣表征的维度；其中，在每一次映射过程中，在第t个和第j个时间窗口之间，通过{q
t
}和{k
j
}的相乘操作得到一个d
v
维的全局兴趣表征的注意力分数；
[0024]S4.4：基于S4.3得到的全局兴趣表征的注意力分数，进而计算得到注意力分数张量并对得到的注意力分数张量加上一个有向掩码H；
[0025]S4.5：基于S4.4得到的注意力分数张量与一个有向掩码的和，进而进行softmax函数归一化处理，得到全局兴趣表征的注意力权重；
[0026]S4.6：基于S4.5得到的全局兴趣表征的注意力权重计算张量L，L的每个元素都是一个d
z
维向量，并基于张量L得到用户的全局兴趣表征g
t
；
[0027]S4.7：根据用户的局部兴趣表征和用户的全局兴趣表征得到用户的最终兴趣表征。
[0028]在一种实施方式中，步骤S4.3中每一次映射过程中，计算d
v
维的全局兴趣表征的注意力分数的方式为：
[0029][0030]其中r＝1,2,
…
,z；是权重矩阵；and是{q
t
}和{k
j
}两者的投影矩阵参数；是偏置向量。
[0031]在一种实施方式中，步骤S4.4中的有向掩码H的元素为：
[0032][0033]通过有向掩码使得全局兴趣表征的注意力分数经过softmax函数归一化时，如果j≥t,则j时间窗口中位置信息对t时间窗口中的位置权重贡献为0。
[0034]在一种实施方式中，步骤S4.6中的张量L的元素为：
[0035][0036]其中i＝1,2,
…
,z,表示v
j
的投影矩阵参数，其中v
j
表示第j个值项，L的每个元素都是一个d
z
维向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度建模的分层注意力微视频序列推荐方法，其特征在于，包括：S1：采用时间窗口捕捉用户的短期动态兴趣表征，其中，用户行为序列划分到多个时间窗口中，每个时间窗口内包含多个微视频；S2：基于时间窗口内包含的微视频，对短期动态兴趣表征利用类目级别的注意力机制描述用户的粗粒度兴趣表征；S3：基于时间窗口内包含的微视频，对短期动态兴趣表征利用项目级别注意力机制描述用户的细粒度兴趣表征；S4：对用户的粗粒度兴趣表征和用户的细粒度兴趣表征进行整合，并采用前向多头自我注意力机制来识别和整合分割的时间窗口之间的长期相关性的统一表征向量；S5：根据用户的粗粒度兴趣表征、用户的细粒度兴趣表征以及统一表征向量，通过使用预测函数估计用户与物品之间的交互概率，并利用用户的粗粒度兴趣表征、用户的细粒度兴趣表征以及统一表征向量进行序列推荐。2.如权利要求1所述的基于多尺度建模的分层注意力微视频序列推荐方法，其特征在于，步骤S1采用下述方式来实现：其中，为第t个视觉特征向量，表示用户的短期动态兴趣表征，f表示视觉特征向量；E
f
是经过学习得到的一个嵌入矩阵，是利用微视频s
i
在ImageNet上预训练的Inception
‑
v3模型从封面图中抽取的视觉特征向量，s
i
表示第i个微视频。3.如权利要求1所述的基于多尺度建模的分层注意力微视频序列推荐方法，其特征在于，步骤S2采用下述方式来实现：其中，
⊙
表示逐元素相乘；k表示微视频序列中微视频的排序号；表示用户的粗粒度兴趣表征，t表示时间窗口排序号，c表示按类目级别；c
tj
表示第t个时间窗口内第j个微视频的类目级别向量表征；表示表示类目级别的注意力分数归一化后的注意力权重。4.如权利要求1所述的基于多尺度建模的分层注意力微视频序列推荐方法，其特征在于，步骤S3采用下述方式来实现：其中，
⊙
表示逐元素相乘，表示用户的细粒度兴趣表征，t表示时间窗口的排序号，f表示视觉特征向量；f
tj
表示第t个时间窗口内第j个微视频项目级别向量表征，表示视觉特征层面的注意力分数归一化后的注意力权重。5.如权利要求1所述的基于多尺度建模的分层注意力微视频序列推荐方法，其特征在于，步骤S4包括：S4.1：将用户的粗粒度兴趣表征与用户的细粒度兴趣表征进行融合，得到用户的局部兴趣表征；S4.2：将用户的局部兴趣表征[l
t
，t＝1，2
…
，m}复制三次，分别记为{q
t
}，{k
t
}和{v
t
}，
{q
t
}，{k
t
}和{v
t
}分别表示查询项，键项和值项，下标t表示时间窗口的排序号，使用{q
t
}和{k
t
}计算注意力分数，即{q
t
}和{k
t
}的积称作注意力分数，然后将计算得到的注意力分数与{v
t
}加权聚合得到全局兴趣表征；S4.3：基于S4.2得到的全局兴趣表征，将{q
t
}，{k
t
}和{v
t
}分别线性映射z次，每次映射采用不同的投影矩阵将其映射到d
z
维空间下，设置d
z
＝d
q
＝d
k
＝d
v
＝d/z，d
q
、d
k
、d
v
...

【专利技术属性】
技术研发人员：胡瑞敏，黄娜娜，王晓晨，李登实，张翔，朱栋梁，王美，
申请(专利权)人：武汉大学，
类型：发明
国别省市：