行为预测系统的更新方法及装置、存储介质和计算设备制造方法及图纸

本说明书实施例提供一种行为预测系统的更新方法，该方法包括：获取训练样本对，其中包括对应同一用户的源域样本和目标域样本，各域样本包括对应域的当前对象，用户已做出特定行为的M个历史对象，以及指示该用户是否对该当前对象做出特定行为的行为标签；将训练样本对输入行为预测系统，在其中的源域编码层和目标域编码层采用联合注意力机制，编码得到源域当前对象向量和M个源域历史对象向量，以及目标域当前对象向量和M个目标域历史对象向量；基于2M个历史对象向量，分别进行第一融合和第二融合，对应得到源域用户向量和目标域用户向量；基于各域用户向量和各域当前对象向量，确定各域行为预测结果，进而结合各域行为标签，更新行为预测系统。更新行为预测系统。更新行为预测系统。

【技术实现步骤摘要】
行为预测系统的更新方法及装置、存储介质和计算设备


[0001]本说明书实施例涉及计算机
，尤其涉及一种行为预测系统的更新方法及装置。

技术介绍

[0002]当今，人们越来越频繁地使用服务平台向用户提供的多种多样的服务，相应地，为了提高用户的服务体验，服务平台可以利用机器学习模型对用户在使用服务时的相关行为进行预测，进而根据预测结果为用户定制服务方案。例如，新闻资讯网站可以通过预测某用户针对各类新闻板块的点击概率，确定向该用户推送的新闻资讯页面中所包括新闻板块的类别和排序。又例如，购物网站可以通过预测某用户针对某一商品的喜好程度，确定是否向该用户推荐该商品。
[0003]显然，希望针对用户行为的预测结果越准确越好。然而，目前预测用户行为的方式较为单一，得到的预测结果准确度也十分有限。因此，需要提出一种合理的方案，可以有效提高用户行为预测结果的准确性。

技术实现思路

[0004]在本说明书描述的行为预测系统的更新方法及装置中，充分利用用户在源域和目标域的数据，采用联合注意力机制对用户行为进行建模，从而利用学习到的细粒度用户偏好表达，提升用户在两个域，尤其是目标域内行为预测结果的准确性。
[0005]根据第一方面，提供一种行为预测系统的更新方法，包括：获取训练样本对，其中包括对应同一用户的源域样本和目标域样本，各域样本包括对应域的当前对象，用户已做出特定行为的M个历史对象，以及指示该用户是否对该当前对象做出特定行为的行为标签。将所述训练样本对输入所述行为预测系统，该行为预测系统包括源域编码层和目标域编码层；其中，所述源域编码层针对源域样本中的M+1个源域对象，基于目标域样本中M+1个目标域对象确定源域注意力，从而编码得到源域当前对象向量和M个源域历史对象向量；所述目标域编码层针对所述M+1个目标域对象，基于所述M+1个源域对象确定目标域注意力，从而编码得到目标域当前对象向量和M个目标域历史对象向量。基于所述M个源域历史对象向量以及M个目标域历史对象向量，分别进行第一融合和第二融合，对应得到源域用户向量和目标域用户向量。基于所述源域用户向量和所述源域当前对象向量，确定源域行为预测结果；基于所述目标域用户向量和目标域当前对象向量，确定目标域行为预测结果。基于所述源域行为预测结果和源域行为标签，以及所述目标域行为预测结果和目标域行为标签，更新所述行为预测系统。
[0006]在一个实施例中，所述源域编码层包括N个源域编码子层，其中第i个源域编码子层获取所述M+1个源域对象的上一层表征向量和所述M+1个目标域对象的上一层表征向量，至少基于对所述M+1个目标域对象的上一层表征向量的第一线性变换结果确定所述源域注意力，基于所述源域注意力编码得到所述M+1个源域对象的本层表征向量。所述目标域编码
层包括N个目标域编码子层，其中第i个目标域编码子层获取所述M+1个源域对象的上一层表征向量和所述M+1个目标域对象的上一层表征向量，至少基于对所述M+1个源域对象的上一层表征向量的第二线性变换结果确定所述目标域注意力，基于所述目标域注意力编码得到所述M+1个目标域对象的本层表征向量。
[0007]根据第二方面，提供一种行为预测系统的更新装置，包括：样本对获取单元，配置为获取训练样本对，其中包括对应同一用户的源域样本和目标域样本，各域样本包括对应域的当前对象，用户已做出特定行为的M个历史对象，以及指示该用户是否对该当前对象做出特定行为的行为标签。对象编码单元，配置为将所述训练样本对输入所述行为预测系统，该行为预测系统包括源域编码层和目标域编码层；其中，所述源域编码层针对源域样本中的M+1个源域对象，基于目标域样本中M+1个目标域对象确定源域注意力，从而编码得到源域当前对象向量和M个源域历史对象向量；所述目标域编码层针对所述M+1个目标域对象，基于所述M+1个源域对象确定目标域注意力，从而编码得到目标域当前对象向量和M个目标域历史对象向量。用户表征单元，配置为基于所述M个源域历史对象向量以及M个目标域历史对象向量，分别进行第一融合和第二融合，对应得到源域用户向量和目标域用户向量。行为预测单元，配置为基于所述源域用户向量和所述源域当前对象向量，确定源域行为预测结果；基于所述目标域用户向量和目标域当前对象向量，确定目标域行为预测结果。系统更新单元，配置为基于所述源域行为预测结果和源域行为标签，以及所述目标域行为预测结果和目标域行为标签，更新所述行为预测系统。
[0008]根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所描述的方法。
[0009]根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所描述的方法。
[0010]在本说明书实施例披露的行为预测系统的更新方法及装置中，充分利用用户在源域和目标域的数据，采用联合注意力机制对用户行为进行建模，从而利用学习到的细粒度用户偏好表达，提升用户在两个域，尤其是目标域内行为预测结果的准确性，进而实现对用户的精准推荐，有效提高用户体验。
附图说明
[0011]为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0012]图1示出根据一个实施例的行为预测系统的系统架构示意图；图2示出根据一个实施例的行为预测系统的更新方法流程图；图3示出Transformer机制中编码器的结构示意图；图4示出根据一个实施例的两个域的第i个编码子层间的数据流示意图；图5示出根据一个实施例的行为预测系统的更新装置结构图。
具体实施方式
[0013]下面结合附图，对本说明书披露的多个实施例进行描述。
[0014]本说明书实施例披露一种行为预测系统的更新方法，基于此方法进行多次迭代更新后得到的行为预测系统，可以用于预测某一用户是否会对某一业务对象（如广告图片或商品）做出特定行为（如点击行为或购买行为）。
[0015]下面先对上述更新方法的专利技术构思进行介绍。具体地，为了提高用户体验，服务平台需要尽可能向用户推荐符合其需求的业务对象。在一种实施方式中，可以采集用户在单个业务领域中的历史行为数据，然后训练针对该领域的行为预测模型。然而，一方面，用户在单个业务领域中产生行为数据的业务对象数量有限，因此，基于单个域的用户数据建模会存在数据稀疏的问题；另一方面，针对一些新的用户，其在某个域中没有历史行为，因而基于单个域的建模会存在冷启动的问题。
[0016]此外，专利技术人观察到，用户通常在不同域内有行为数据，并且，不同域的行为数据之间往往存在一定、乃至较大的关联性。例如，用户在电商平台上有一些小孩衣物的购买行为，其同时会在音频播放平台中有一些儿童读物音频的播放行为；又例如，某些用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为预测系统的更新方法，包括：获取训练样本对，其中包括对应同一用户的源域样本和目标域样本，各域样本包括对应域的当前对象，用户已做出特定行为的M个历史对象，以及指示该用户是否对该当前对象做出特定行为的行为标签；将所述训练样本对输入所述行为预测系统，该行为预测系统包括源域编码层和目标域编码层；其中，所述源域编码层针对源域样本中的M+1个源域对象，基于目标域样本中M+1个目标域对象确定源域注意力，从而编码得到源域当前对象向量和M个源域历史对象向量；所述目标域编码层针对所述M+1个目标域对象，基于所述M+1个源域对象确定目标域注意力，从而编码得到目标域当前对象向量和M个目标域历史对象向量；基于所述M个源域历史对象向量以及M个目标域历史对象向量，分别进行第一融合和第二融合，对应得到源域用户向量和目标域用户向量；基于所述源域用户向量和所述源域当前对象向量，确定源域行为预测结果；基于所述目标域用户向量和目标域当前对象向量，确定目标域行为预测结果；基于所述源域行为预测结果和源域行为标签，以及所述目标域行为预测结果和目标域行为标签，更新所述行为预测系统。2.根据权利要求1所述的方法，其中，所述源域编码层包括N个源域编码子层，其中第i个源域编码子层获取所述M+1个源域对象的上一层表征向量和所述M+1个目标域对象的上一层表征向量，至少基于对所述M+1个目标域对象的上一层表征向量的第一线性变换结果确定所述源域注意力，基于所述源域注意力编码得到所述M+1个源域对象的本层表征向量；所述目标域编码层包括N个目标域编码子层，其中第i个目标域编码子层获取所述M+1个源域对象的上一层表征向量和所述M+1个目标域对象的上一层表征向量，至少基于对所述M+1个源域对象的上一层表征向量的第二线性变换结果确定所述目标域注意力，基于所述目标域注意力编码得到所述M+1个目标域对象的本层表征向量。3.根据权利要求2所述的方法，其中，所述行为预测系统还包括，源域嵌入层和目标域嵌入层，所述源域嵌入层确定所述M+1个源域对象对应的M+1个源域对象嵌入向量；所述目标域嵌入层确定所述M+1个目标域对象对应的M+1个目标域对象嵌入向量；所述第i个为第1个；所述M+1个目标域对象的上一层表征向量为所述M+1个目标域对象嵌入向量；所述M+1个源域对象的上一层表征向量为所述M+1个源域对象嵌入向量。4.根据权利要求2所述的方法，其中，所述第i个不是第1个；所述M+1个目标域对象的上一层表征向量为，第i-1个目标域编码层输出的M+1个目标域对象表征向量；所述M+1个源域对象的上一层表征向量为，第i-1个源域编码层输出的M+1个源域对象表征向量。5.根据权利要求2所述的方法，其中，所述源域编码层和目标域编码层均基于Transformer机制；所述第i个源域编码子层，利用源域查询变换矩阵对所述M+1个目标域对象的上一层表征向量进行所述第一线性变换，得到源域查询结果矩阵；分别利用源域键变换矩阵和源域值变换矩阵对所述M+1个源域对象的上一层表征向量进行变换，得到对应的源域键结果矩
阵和源域值结果矩阵；基于所述源域查询结果矩阵和所述源域键结果矩阵的乘积确定所述源域注意力，基于所述源域注意力和所述源域值结果矩阵，得到所述M+1个源域对象的本层表征向量；所述第i个目标域编码子层，利用目标域查询变换矩阵对所述M+1个源域对象的上一层表征向量进行所述第二线性变换，得到目标域查询结果矩阵；分别利用目标域键变换矩阵和目标域值变换矩阵对所述M+1个目标域对象的上一层表征向量进行变换，得到对应的目标域键结果矩阵和目标域值结果矩阵；基于所述目标域查询结果矩阵和所述目标域键结果矩阵的乘积确定所述目标域注意力，基于所述目标域注意力和所述目标域值结果矩阵，得到所述M+1个目标域对象的本层表征向量。6.根据权利要求2所述的方法，其中，所述源域编码层和目标域编码层均基于Transformer机制；所述第i个源域编码子层，分别利用源域键变换矩阵和源域值变换矩阵对所述M+1个目标域对象的上一层表征向量进行所述第一线性变换，得到源域键结果矩阵和源域值结果矩阵；利用源域查询变换矩阵对所述M+1个源域对象的上一层表征向量进行变换，得到源域查询结果矩阵；基于所述源域查询结果矩阵和所述源域键结果矩阵的乘积确定所述源域注意力，基于所述源域注意力和所述源域值结果矩阵，得到所述M+1个源域对象的本层表征向量；所述第i个目标域编码子层，分别利用目标域键变换矩阵和目标域值变换矩阵对所述M+1个源域对象的上一层表征向量进行所述第二线性变换，得到目标域键结果矩阵和目标域值结果矩阵；利用目标域查询变换矩阵对所述M+1个目标域对象的上一层表征向量进行变换，得到目标域查询结果矩阵；基于所述目标域查询结果矩阵和所述目标域键结果矩阵的乘积确定所述目标域注意力，基于所述目标域注意力和所述目标域值结果矩阵，得到所述M+1个目标域对象的本层表征向量。7.根据权利要求1所述的方法，其中，所述第一融合包括：利用第一组合权重，对所述M个源域历史对象向量的源域平均向量，以及所述M个目标域历史对象向量的目标域平均向量进行加权求和，得到所述源域用户向量；所述第二融合包括：利用第二组合权重，对所述源域平均向量和目标域平均向量进行加权求和，得到...

【专利技术属性】
技术研发人员：董鑫，高喆，莫林剑，李宁，李海，程磊，何勇，严坦，
申请(专利权)人：蚂蚁智信杭州信息技术有限公司，
类型：发明
国别省市：