【技术实现步骤摘要】
本申请实施例涉及神经网络，具体而言，涉及一种基于自适应解耦转换器的序列推荐模型训练方法及产品。
技术介绍
1、序列推荐旨在利用用户与商品的历史交互信息，捕捉不同时段下用户的购买意图从而提供更好的推荐。由于用户的购买意图多种多样，如学习用途、娱乐用途等，为了更好地提取用户特征，能够建模序列信息的同时采用多头注意力机制，被期望能够捕捉不同层面信息的转换器被引入到序列推荐中，是一种序列推荐中被广泛采用的策略。
2、然而，现有的序列推荐方法一方面不能保证多头注意力机制建模了不同购买意图的解耦信息，另一方面，其忽略了不同数据集、模型不同层之间行为的影响，导致所需解耦能力存在差异，这使得现有的序列推荐方法的序列推荐性能受到限制。因此，如何有效提升序列推荐性能，成为本领域技术人员亟待解决的问题。
技术实现思路
1、本申请实施例在于提供一种基于自适应解耦转换器的序列推荐模型训练方法及产品，旨在解决如何有效提升序列推荐性能的问题。
2、本申请实施例第一方面提供一种基于自适应解耦转换器的序列推荐模型训练方法，应用于序列推荐模型，所述方法包括：
3、获取历史交互样本，所述历史交互样本包括多种不同的意图信息；
4、将所述历史交互样本输入多个连续的编码器层，得到输出表征预测值，所述输出表征预测值为最后一个编码器层输出的多个解耦意图表征的组合；
5、基于所述输出表征预测值、重建辅助优化目标与独立性辅助优化目标，对所述序列推荐模型的参数进行优化；>
6、其中，每个所述编码器层基于多头注意力机制获取多个意图表征；对所述多个意图表征进行特征解耦，以对所述多个意图表征进行独立性约束，得到每个所述编码器层输出的多个解耦意图表征，每个所述解耦意图表征用于表示不同的所述意图信息；基于所述解耦意图表征与所述意图表征，获取每个所述编码器层对应的独立性辅助优化目标。
7、在一种可选的实施方式中，对所述多个意图表征进行特征解耦，以对所述多个意图表征进行独立性约束，得到每个所述编码器层输出的多个解耦意图表征，并基于所述解耦意图表征与所述意图表征，获取每个所述编码器层对应的独立性辅助优化目标，包括：
8、构建多个潜在因子，所述潜在因子为所述意图信息在目标数据空间内的表征，且所述多个潜在因子之间相互独立；
9、基于所述多个潜在因子对所述多个意图表征进行特征解耦，获取所述多个意图表征对应的特征概率，作为所述多个解耦意图表征，所述特征概率表征每个所述意图表征属于任意一个潜在因子的概率；
10、基于所述解耦意图表征与所述意图表征，获取每个所述编码器层对应的独立性辅助优化目标，其中，所述独立性辅助优化目标按照如下公式获取：
11、
12、其中，为所述独立性辅助优化目标；t为时间步骤，k为所述多头注意力机制中的注意力头，yk,t为每个所述注意力头对应的辅助标签，yk,t∈{1,2,…,n}，n为所述注意力头的数量；为所述意图表征属于潜在因子i的特征概率。
13、在一种可选的实施方式中，在每个所述编码器层获取独立性辅助优化目标之后，所述方法还包括：
14、将每个所述编码器层输出的解耦意图表征输入多个连续的解码器层，得到多个解码表征，所述多个连续的解码器层与所述多个连续的编码器层一一对应；
15、基于每个编码器层输出的解耦意图表征，与每个所述编码器层对应的解码器层输出的解码表征，获取每个所述编码器层对应的所述重建辅助优化目标，所述重建辅助优化目标用于对所述序列推荐模型的参数进行优化。
16、在一种可选的实施方式中，所述基于所述输出表征预测值、重建辅助优化目标与独立性辅助优化目标，对所述序列推荐模型的参数进行优化，包括：
17、将每个所述编码器层对应的所述独立性辅助优化目标组合为独立损失，以及，将每个所述编码器层对应的所述重建辅助优化目标组合为重建损失；
18、基于所述输出表征预测值以及所述历史交互样本的标签，获取任务损失；
19、基于所述独立损失、所述重建损失以及所述任务损失，对所述序列推荐模型的参数进行优化，得到优化后的序列推荐模型。
20、在一种可选的实施方式中，所述基于所述独立损失、所述重建损失以及所述任务损失，对所述序列推荐模型的参数进行优化，得到优化后的序列推荐模型，包括：
21、获取第一权重以及第二权重；
22、按照所述第一权重和所述第二权重，对所述独立损失、所述重建损失以及所述任务损失进行组合，得到总体损失；
23、基于所述总体损失，对所述序列推荐模型的参数进行优化；
24、其中，所述总体损失按照如下公式获取：
25、
26、其中，为所述总体损失；为所述任务损失；为基于所述第一权重的所述独立损失，为所述独立性辅助优化目标；为所述第一权重；为所述第二权重；为基于所述第二权重的所述重建损失，为所述重建辅助优化目标；l为所述序列推荐模型中所述编码器层的层数，l为所述序列推荐模型中的任意一层编码器层。
27、在一种可选的实施方式中，所述获取第一权重以第二权重，包括：
28、初始化多个候选者，每个所述候选者包括至少一组候选权重对，所述候选权重对包括第一候选权重和第二候选权重；
29、以每组所述候选权重对作为权重对所述序列推荐模型的参数进行优化，得到每组所述候选权重对的优化性能数据；
30、基于所述优化性能数据对所述候选权重对进行筛选，得到多个目标权重对，所述目标权重对的优化性能数据满足第一预设条件；
31、基于差分进化算法对所述目标权重对进行预设次数的迭代搜索，确定所述优化性能数据最优的权重对，将所述优化性能数据最优的权重对中的第一候选权重和第二候选权重分别作为所述第一权重和所述第二权重。
32、在一种可选的实施方式中，所述以每组所述候选权重对作为权重对所述序列推荐模型的参数进行优化，得到每组所述候选权重对的优化性能数据，包括：
33、获取所述序列推荐模型的参数，并基于双线性插值法确定每组所述候选权重对分别对应的所述序列模型的参数，作为每组所述候选权重对的待更新参数；
34、基于所述历史交互样本，对所述序列推荐模型进行训练，获取第一独立损失、第一重建损失以及第一任务损失；
35、将每组所述候选权重对作为所述第一重建损失以及所述第一独立损失的权重，对每组所述候选权重对的待更新参数进行优化，得到每组所述候选权重对的优化性能数据。
36、本申请实施例第二方面提供一种基于自适应解耦转换器的序列推荐模型训练装置，应用于序列推荐模型，所述装置包括：
37、样本获取模块，用于获取历史交互样本，所述历史交互样本包括多种不同的意图信息；
38、预测模块，用于将所述历史交互样本输入多个连续的编码器层，得到输出表征预测值，所述输出表征预测值为最后一个本文档来自技高网...
【技术保护点】
1.一种基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，应用于序列推荐模型，所述方法包括：
2.根据权利要求1所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，对所述多个意图表征进行特征解耦，以对所述多个意图表征进行独立性约束，得到每个所述编码器层输出的多个解耦意图表征，并基于所述解耦意图表征与所述意图表征，获取每个所述编码器层对应的独立性辅助优化目标，包括：
3.根据权利要求1所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，在每个所述编码器层获取独立性辅助优化目标之后，所述方法还包括：
4.根据权利要求1所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，所述基于所述输出表征预测值、重建辅助优化目标与独立性辅助优化目标，对所述序列推荐模型的参数进行优化，包括：
5.根据权利要求4所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，所述基于所述独立损失、所述重建损失以及所述任务损失，对所述序列推荐模型的参数进行优化，得到优化后的序列推荐模型，包括：
6.根据权利要求5
7.根据权利要求6所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，所述以每组所述候选权重对作为权重对所述序列推荐模型的参数进行优化，得到每组所述候选权重对的优化性能数据，包括：
8.一种基于自适应解耦转换器的序列推荐模型训练装置，其特征在于，应用于序列推荐模型，所述装置包括：
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1-7中任一所述的基于自适应解耦转换器的序列推荐模型训练方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-7中任一所述的基于自适应解耦转换器的序列推荐模型训练方法中的步骤。
...【技术特征摘要】
1.一种基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，应用于序列推荐模型，所述方法包括：
2.根据权利要求1所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，对所述多个意图表征进行特征解耦，以对所述多个意图表征进行独立性约束，得到每个所述编码器层输出的多个解耦意图表征，并基于所述解耦意图表征与所述意图表征，获取每个所述编码器层对应的独立性辅助优化目标，包括：
3.根据权利要求1所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，在每个所述编码器层获取独立性辅助优化目标之后，所述方法还包括：
4.根据权利要求1所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，所述基于所述输出表征预测值、重建辅助优化目标与独立性辅助优化目标，对所述序列推荐模型的参数进行优化，包括：
5.根据权利要求4所述的基于自适应解耦转换器的序列推荐模型训练方法，其特征在于，所述基于所述独立损失、所述重建损失以及所述任务损失，对所述序...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。