本说明书实施例提供一种行为预测系统的训练方法，包括：获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；将所述第一训练样本输入所述行为预测系统，该行为预测系统包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；利用所述行为预测结果和行为标签，训练所述行为预测系统。统。统。
【技术实现步骤摘要】
行为预测系统的训练方法及装置
[0001]本说明书一个或多个实施例涉及机器学习
，尤其涉及一种行为预测系统的训练方法及装置。
技术介绍
[0002]当今，人们越来越频繁地使用服务平台向用户提供的多种多样的服务，相应地，为了提高用户的服务体验，服务平台可以利用机器学习模型对用户在使用服务时的相关行为进行预测，进而根据预测结果为用户定制服务方案。例如，平台可以通过预测某用户对各类视频的点击概率，确定向该用户推送视频流的类别和排序。又例如，购物网站可以通过预测某用户针对某一商品的喜好程度，确定是否向该用户推荐该商品。
[0003]显然，希望针对用户行为的预测结果越准确越好。然而，目前预测用户行为的方式较为单一，得到的预测结果准确度也十分有限。因此，需要提出一种方案，可以有效提高用户行为预测结果的准确性。
技术实现思路
[0004]本说明书一个或多个实施例描述行为预测系统的训练方法及装置，可以更好地学习用户兴趣，从而提升针对用户行为的预测结果准确度。
[0005]根据第一方面，提供一种行为预测系统的训练方法。该方法包括：获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；将所述第一训练样本输入所述行为预测系统，该行为预测系统包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；利用所述行为预测结果和行为标签，训练所述行为预测系统。
[0006]在一个实施例中，所述目标对象和多个历史对象为商品或用户。
[0007]在一个实施例中，所述编码器包括多个编码层；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵，包括：各个编码层分别基于本层中的键变换矩阵和值变换矩阵，处理由上一编码层输出的针对所述多个历史对象的对象表征矩阵，得到该编码层对应的键结果矩阵和值结果矩阵；基于所述多个编码层对应的多个键结果矩阵和多个值结果矩阵，确定所述键输出矩阵和值输出矩阵。
[0008]在一个实施例中，所述解码器基于所述键输出矩阵和值输出矩阵，确定针对所述第一用户针对所述目标对象的兴趣向量，包括：所述解码器利用其查询变换矩阵处理所述目标对象的嵌入向量，得到查询输出向量，并且，基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定所述兴趣向量。
[0009]根据第二方面，提供一种行为预测系统的训练方法，包括：获取第一训练样本，其
中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；将所述第一训练样本输入所述行为预测系统，该行为预测系统包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；利用所述行为预测结果和行为标签，训练所述行为预测系统。
[0010]在一个实施例中，所述解码器确定针对所述目标对象的查询输出向量，包括：所述解码器利用其查询变换矩阵处理目标对象的嵌入向量，得到所述查询输出向量。
[0011]在一个实施例中，所述解码器确定针对所述目标对象的查询输出向量，包括：所述解码器利用第一查询变换矩阵处理目标对象的嵌入向量，得到第一查询输出向量，并基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定针对所述目标对象的表征向量，再利用第二查询变换矩阵处理所述表征向量，第二查询输出向量，作为所述查询输出向量。
[0012]在一个实施例中，所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果，包括：所述预测层基于所述查询输出向量、键输出矩阵和值输出矩阵计算乘积结果，对所述乘积结果进行线性变换和/或非线性变换处理，得到变换结果，基于所述变换结果确定所述行为预测结果。
[0013]根据第三方面，提供一种行为预测系统的训练装置，包括：样本获取单元，配置为获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；预测单元，配置为将所述第一训练样本输入所述行为预测系统，该行为预测系统包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；训练单元，配置为利用所述行为预测结果和行为标签，训练所述行为预测系统。
[0014]根据第四方面，提供一种行为预测系统的训练装置，包括：样本获取单元，配置为获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；预测单元，配置为将所述第一训练样本输入所述行为预测系统，该行为预测系统包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；训练单元，配置为利用所述行为预测结果和行为标签，训练所述行为预测系统。
[0015]根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
[0016]根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，该处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
[0017]采用本说明书实施例提供的方法和装置，引入基于TF机制的编码器和解码器，并且，将体现用户兴趣的历史对象序列作为编码器的输入，得到键输出向量和值输出向量，再将该键输出向量和值输出向量，以及目标对象的特征作为解码器的输入，得到表征用户对
目标对象兴趣倾向的兴趣向量，从而利用预测层根据该兴趣向量确定用户对目标对象的行为预测结果，进而根据此行为预测结果和行为标签更新行为预测系统中的模型参数。如此，可以训练出预测精准、性能优良的行为预测系统。
附图说明
[0018]为了更清楚地说明本专利技术实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0019]图1示出根据一个实施例的行为预测系统的训练架构示意图；
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种行为预测系统的训练方法，包括：获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；将所述第一训练样本输入所述行为预测系统，该行为预测系统包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器基于所述键输出矩阵和值输出矩阵，确定所述第一用户针对所述目标对象的兴趣向量；所述预测层基于所述兴趣向量得到行为预测结果；利用所述行为预测结果和行为标签，训练所述行为预测系统。2.根据权利要求1所述的方法，其中，所述目标对象和多个历史对象为商品或用户。3.根据权利要求1所述的方法，其中，所述编码器包括多个编码层；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵，包括：各个编码层分别基于本层中的键变换矩阵和值变换矩阵，处理由上一编码层输出的针对所述多个历史对象的对象表征矩阵，得到该编码层对应的键结果矩阵和值结果矩阵；基于所述多个编码层对应的多个键结果矩阵和多个值结果矩阵，确定所述键输出矩阵和值输出矩阵。4.根据权利要求1所述的方法，其中，所述解码器基于所述键输出矩阵和值输出矩阵，确定针对所述第一用户针对所述目标对象的兴趣向量，包括：所述解码器利用其查询变换矩阵处理所述目标对象的嵌入向量，得到查询输出向量，并且，基于所述查询输出向量、键输出矩阵和值输出矩阵的乘积确定所述兴趣向量。5.一种行为预测系统的训练方法，包括：获取第一训练样本，其中包括目标对象，第一用户已做出特定行为的多个历史对象，以及指示第一用户是否对所述目标对象做出所述特定行为的行为标签；将所述第一训练样本输入所述行为预测系统，该行为预测系统包括预测层，以及基于Transformer机制的编码器和解码器；其中，所述编码器确定针对所述多个历史对象的键输出矩阵和值输出矩阵；所述解码器确定针对所述目标对象的查询输出向量；所述预测层基于所述键输出矩阵、值输出矩阵和查询输出向量，确定行为预测结果；利用所述行为预测结果和行为标签，训练所述行为预测系统。6.根据权利要求5所述的方法，其中，所述解码器确定针对所述目标对象的查询输出向量，包括：所述解码器利用其查询变换矩阵处理目标对象的嵌入向量，得到所述查询输出向量。7.根据权利要求5所述的方法，其中，所述解码器确定针对所述目标对象的查询输出向量，包括：所述解码器...
【专利技术属性】
技术研发人员：张长浩，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。