【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种训练行为序列预测模型、预测行为序列的方法、装置、设备及介质。
技术介绍
1、用户行为序列也可以称为基于时间序列的用户行为，是某一时间段内，按照时间先后顺序记录的用户从事某种活动的每一步行为。例如，记录用户从进入网站到离开网站过程中的每一步行为，得到一条用户行为序列。通过对用户行为序列进行分析，可以归纳出群体用户的行为特征，以便为用户提供更精准的服务。目前，针对行为序列的研究中，可以通过有监督的学习方式或无监督的学习方式进行处理。有监督学习通常是利用带有专家标注的标签的训练数据，学习一个从输入变量到输出变量的函数映射。在有监督的学习方式中，收集和标注样本需要耗费大量的人力、物力。无监督学习利用没有专家标注训练数据，对数据的结构建模，一般需要对训练数据进行有技巧性的增强处理，再通过如byol(bootstrap your own latent，无需负样本的对比自监督学习)、moco(动量对比学习)等复杂的对比学习网络来实现自监督学习训练。其中，对训练数据进行增强处理同样需要耗费大量的人力、物力。因此，如何在有效对行为序列进行分析、学习的同时降低成本是亟需解决的技术问题。
技术实现思路
1、为解决上述技术问题或至少部分地解决上述技术问题，本专利技术实施例提供一种训练行为序列预测模型的方法、预测行为序列的方法、装置、电子设备及介质。
2、第一方面，本专利技术实施例提供了一种训练行为序列预测模型的方法，包括：
3、将第一行为序列样本集
4、将第二行为序列样本集中的各个第二样本作为输入数据输入第二模型，获得所述各个第二样本对应的第一类别；所述第二模型的预测任务为next token prediction任务；
5、基于所述第一行为序列样本集对应的聚类结果，确定所述各个第二样本对应的第二类别；
6、所述第一类别作为所述第二样本的预测标签，所述第二类别作为所述第二样本的期望标签，根据所述预测标签和所述期望标签，更新所述第二模型的网络参数以及所述第一模型的网络参数；
7、迭代执行上述步骤，直至满足停止条件，在满足所述停止条件的情况下将更新后的所述第二模型作为行为序列预测模型。
8、在可选的实施例中，在将所述第一样本作为输入数据输入所述第一模型以及将所述第二样本作为输入数据输入所述第二模型之前，所述方法还包括：
9、初始化所述第一模型和所述第二模型，所述第二模型与所述第一模型的网络结构和网络参数相同。
10、在可选的实施例中，根据所述预测标签和所述期望标签，更新所述第二模型的网络参数以及所述第一模型的网络参数，包括：根据所述预测标签和所述期望标签，计算损失信息；根据所述损失信息，更新所述第二模型的网络参数；基于所述第二模型更新后的网络参数，更新所述第一模型的网络参数。
11、在可选的实施例中，所述基于所述第二模型更新后的网络参数，更新所述第一模型的网络参数，包括：计算所述第二模型更新后的网络参数与预设的第一因子的第一乘积；计算所述第一模型的网络参数与第二因子的第二乘积，所述第二因子根据所述第一因子确定；根据所述第一乘积和所述第二乘积，确定所述第一模型更新后的网络参数。
12、在可选的实施例中，所述第一行为序列样本集对应的聚类结果包括n个聚类中心以及归属于所述n个聚类中心的聚类簇，n为大于1的整数；
13、所述基于所述第一行为序列样本集对应的聚类结果，确定所述各个第二样本对应的第二类别，包括：针对每一第二样本，确定所述第二样本与所述各个聚类中心的相似度，将与所述第二样本相似度最大的聚类中心，确定为所述第二样本对应的第二类别。
14、在可选的实施例中，所述方法还包括：基于第一采样方法，从初始样本集中进行采样，得到所述第一行为序列样本集；基于第二采样方法，从所述初始样本集中进行采样，得到所述第二行为序列样本集，其中，所述第二行为序列样本集中第二样本的数量多于所述第一行为序列样本集中第一样本的数量。
15、第二方面，本专利技术实施例提供了一种预测行为序列的方法，该方法包括：
16、获取待预测用户在第一时间段的历史行为序列；
17、将所述待预测用户的历史行为序列输入行为序列预测模型，确定所述待预测用户在第二时间段的预测行为；
18、根据所述待预测用户在所述第二时间段的预测行为，执行与所述预测行为相对应的策略。
19、第三方面，本专利技术实施例提供了一种训练行为序列预测模型的装置，包括：
20、聚类模块，用于将第一行为序列样本集中的各个第一样本作为输入数据输入第一模型，获得所述各个第一样本的特征向量，基于所述各个第一样本的特征向量，对所述各个第一样本进行聚类，获得聚类结果；
21、第一分类模块，用于将第二行为序列样本集中的各个第二样本作为输入数据输入第二模型，获得所述各个第二样本对应的第一类别；所述第二模型的预测任务为nexttoken prediction任务；
22、第二分类模块，用于基于所述第一行为序列样本集对应的聚类结果，确定所述各个第二样本对应的第二类别；
23、更新模块，用于所述第一类别作为所述第二样本的预测标签，所述第二类别作为所述第二样本的期望标签，根据所述预测标签和所述期望标签，更新所述第二模型的网络参数以及所述第一模型的网络参数；在满足停止条件的情况下将更新后的所述第二模型作为行为序列预测模型。
24、在可选的实施例中，所述装置还包括初始化模块，用于：初始化所述第一模型和所述第二模型，所述第二模型与所述第一模型的网络结构和网络参数相同。
25、在可选的实施例中，所述更新模块还用于：根据所述预测标签和所述期望标签，计算损失信息；根据所述损失信息，更新所述第二模型的网络参数；基于所述第二模型更新后的网络参数，更新所述第一模型的网络参数。
26、在可选的实施例中，所述更新模块还用于：计算所述第二模型更新后的网络参数与预设的第一因子的第一乘积；计算所述第一模型的网络参数与第二因子的第二乘积，所述第二因子根据所述第一因子确定；根据所述第一乘积和所述第二乘积，确定所述第一模型更新后的网络参数。
27、在可选的实施例中，所述第一行为序列样本集对应的聚类结果包括n个聚类中心以及归属于所述n个聚类中心的聚类簇，n为大于1的整数；
28、所述第二类别确定模块还用于：针对每一第二样本，确定所述第二样本与所述各个聚类中心的相似度，将与所述第二样本相似度最大的聚类中心，确定为所述第二样本对应的第二类别。
29、在可选的实施例中，所述装置还包括采样模块，用于基于第一采样方法，从初始样本集中进行采样，得到所述第一行为序列样本集；基于第二采样方法，从所述初始样本集本文档来自技高网...
【技术保护点】
1.一种训练行为序列预测模型的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在将所述第一样本作为输入数据输入所述第一模型以及将所述第二样本作为输入数据输入所述第二模型之前，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，根据所述预测标签和所述期望标签，更新所述第二模型的网络参数以及所述第一模型的网络参数，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二模型更新后的网络参数，更新所述第一模型的网络参数，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一行为序列样本集对应的聚类结果包括N个聚类中心以及归属于所述N个聚类中心的聚类簇，N为大于1的整数；
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.一种预测行为序列的方法，其特征在于，所述方法包括根据权利要求1-6任一项所训练的行为序列预测模型，包括：
8.一种训练行为序列预测模型的装置，其特征在于，包括：
9.一种预测行为序列的装置，其特征在于，所述装置包括根
10.一种电子设备，其特征在于，包括：
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法或权利要求7所述的方法。
...【技术特征摘要】
1.一种训练行为序列预测模型的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在将所述第一样本作为输入数据输入所述第一模型以及将所述第二样本作为输入数据输入所述第二模型之前，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，根据所述预测标签和所述期望标签，更新所述第二模型的网络参数以及所述第一模型的网络参数，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二模型更新后的网络参数，更新所述第一模型的网络参数，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一行为序列样本集对应的聚类结果包括n个聚类中心以及归属于所述n个...
【专利技术属性】
技术研发人员：尚群凯，朱亮，王昌辉，陈炜，谢奔，
申请(专利权)人：南京领行科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。