一种基于网络自协作的隐式推荐方法和系统技术方案

本发明专利技术公开了一种基于网络自协作的隐式推荐方法和系统。该方法包括：对应于一个序列推荐模型，构建具有相同网络架构的对等序列推荐模型；对于所述序列推荐模型及其对等序列推荐模型进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型中移植参数来重激活该序列推荐模型的无效参数；以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进行序列推荐服务。本发明专利技术通过自动化地促进多个模型的协作和优化，能够获得更具表现力的序列推荐模型，为用户提供准确的推荐服务。服务。服务。

【技术实现步骤摘要】
一种基于网络自协作的隐式推荐方法和系统


[0001]本专利技术涉及序列推荐
，更具体地，涉及一种基于网络自协作的隐式推荐方法和系统。

技术介绍

[0002]近年来，推荐系统(RS)已成为许多大型社交媒体和电子商务平台的核心技术。在这样的系统上能够显式或隐式地产生大量用户-推荐项交互行为(即反馈)。特别是隐式反馈(例如点击，购买，观看的视频和播放的歌曲)相对显式评分数据更容易收集并且规模更大。例如，在Tiktok上，每个视频的播放时间通常少于20秒，那么用户在一个小时内可以轻松观看多达100部短视频。因此，最近对前N个推荐的研究已经从显式反馈问题转变为隐式反馈问题。隐式推荐系统的本质是利用用户先前的反馈来预测用户希望交互的前N个推荐项的列表。目前，基于深度神经网络(DNN)的推荐模型已实现了卓越的性能，并且几乎主导了推荐系统领域。在本专利技术中，将专注于探索通过多模型协作机制增强隐式推荐系统的技术方案。
[0003]在现有的利用多模型协作的一项研究成果中，提出了使用标准的集成学习的方法，结合多个弱模型的输出形成一个强模型，通过这种方式能够提高推荐准确率。在另一项研究成果中，提出了基于知识蒸馏的多模型协作的方法，将知识从大型的、经预训练的教师模型转移到通常较小的学生模型中，进而提高学生模型的表现。然而，以上两种方法由于没有明确考虑到推荐领域的特点，或者提升效果不够理想，明显降低了预测效率，或者使用范围受限。
[0004]经分析，目前隐式推荐模型存在两个明显缺陷：大型的推荐模型通常会带来明显的性能提升，但存在过参数化现象，即模型中存在大量冗余的神经元和参数，这已经成为模型表现力的主要障碍；深度神经网络模型中的参数的重要性难以评判，使用常见的L1/L2-norm只能关注参数的绝对值，而无法衡量参数的变化。

技术实现思路

[0005]本专利技术的目的是克服上述现有技术的缺陷，提供一种基于网络自协作的隐式推荐方法和系统，在深度学习模型的基础上，提出了利用新的网络自协作框架为用户进行准确地推荐服务。
[0006]根据本专利技术的第一方面，提供一种基于网络自协作的隐式推荐方法。该方法包括以下步骤：
[0007]对应于一个序列推荐模型，构建具有相同网络架构的对等序列推荐模型；
[0008]对于所述序列推荐模型及其对等序列推荐模型进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型来重激活该序列推荐模型的无效参数；
[0009]以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进
行序列推荐服务。
[0010]根据本专利技术的第二方面，提供一种基于网络自协作的隐式推荐系统。该系统包括：
[0011]网络自协作框架：其被设置包含一个序列推荐模型以及与其具有相同网络架构的一个或多个对等序列推荐模型；
[0012]协作训练模块：用于对所述网络自协作框架进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型来重激活该序列推荐模型的无效参数；
[0013]序列预测模块：用于以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进行序列推荐服务。
[0014]与现有技术相比，本专利技术的优点在于，根据序列推荐领域的特点，在深度学习模型的基础上，提出了一种新的网络自协作训练框架，该框架利用具有相同网络结构的多个基于DNN的推荐模型的协作训练机制(称为自协作机制)，在训练过程中重新激活并增强冗余的参数，从而获得更高的推荐准确率，且仍保持其原始推理效率。
[0015]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0016]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0017]图1是根据本专利技术一个实施例的基于网络自协作的隐式推荐方法的流程图；
[0018]图2是根据本专利技术一个实施例的具有两个相同网络架构的网络自协作框架的示意图；
[0019]图3根据本专利技术一个实施例的具有四个相同网络架构的网络自协作框架的示意图；
[0020]图4是根据本专利技术一个实施例的NextItNet网络架构图。
具体实施方式
[0021]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0022]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0023]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0024]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0025]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0026]本专利技术提出了一种用于隐式推荐任务的网络自协作训练框架，在本文中称为
SeCoRec，通过从原始序列推荐模型的一个或多个相同网络架构的模型中移植信息来重新激活该原始序列模型的无效参数进而提高模型的表现。本文将使用NextItNet架构实现SeCoRec为例进行说明。NextItNet架构可参见(“A simple convolutional generative network for next item recommendation”，Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining.2019:582-590.Yuan F,Karatzoglou A,Arapakis I,et al.)。
[0027]参见图1所示，该实施例提供的基于网络自协作的隐式推荐方法包括以下步骤。
[0028]步骤S110，构建具有相同网络架构的多个序列推荐模型，包括原始序列推荐模型及其对等模型。
[0029]序列推荐模型可基于深度神经网络构建，每个序列推荐模型具有相同的网络架构，例如具有相同层数、每层具有相同数量的神经元等。为了便于理解，在本文中，从第一个序列推荐模型(或称为原始序列推荐模型)出发进行描述，将其他的序列推荐模型也称为第一个序列推荐模型的对等模型。但应理解的是，上述相同结构的多个序列推荐模型在自协作训练中处于相同的角色，可以互相补充参数信息，以增强自身的表达力。
[0030]步骤S120，设计衡量序列推荐模型中每一层参数重要性的标准。
[0031]例如，选择神经网络层(如包括嵌入层和sof本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络自协作的隐式推荐方法，包括以下步骤：对应于一个序列推荐模型，构建具有相同网络架构的对等序列推荐模型；对于所述序列推荐模型及其对等序列推荐模型进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型来重激活该序列推荐模型的无效参数；以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进行序列推荐服务。2.根据权利要求1所述的方法，其中，所述重激活该序列推荐模型的无效参数后，参数信息表示为：其中％是取模运算，i是序列推荐模型的层索引，是系数，用于表征序列推荐模型第i层参数的重要性，是信息移植后的新参数矩阵，k＝1标识所述序列推荐模型，k＝2标识对等序列推荐模型。3.根据权利要求2所述的方法，其中，根据以下步骤确定将所述序列推荐模型中的参数矩阵转换为向量；根据向量中参数的值对参数进行排序，并将向量划分为具有相等数值间隔的m个统计堆栈；计算参数矩阵W
i
的熵为：的熵为：基于参数矩阵W
i
的熵确定表示为：其中α是一个超参数，N是序列推荐模型中一层参数的数量，n
j
是第j个统计堆栈中的参数数量。4.根据权利要求1所述的方法，其中，将所述序列推荐模型及其对等序列模型设置为K个，分别标记为M1,
…
,M
K
，对于模型M
i
(1≤i≤K-1)将模型M
i+1
作为其伙伴，并且对于最后一个模型M
K
，将模型M1作为伙伴，以形成一个循环通过多次迭代进行协作训练，并在协作训练中，使用模型M
i+1
的参数作为外部信息来补充模型M
i
，其中K是大于2的整数。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：杨敏，原发杰，孙洋，李成明，姜青山，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：