训练样本生成方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种训练样本生成方法、装置、电子设备及存储介质。该方法包括：基于预定时间段内系统的用户行为数据，根据至少第一查询词下的多个搜索会话生成多个正样本商品列表；确定所述第一查询词下的多个商品的一种或多种属性；在所述第一查询词下包括多种属性的情况下，确定所述多种属性中每种属性下的商品数量在所述第一查询词下的商品总数中所占的比例；根据所述多种属性以及所述多种属性对应的所述比例，在负样本候选池中选择多个商品，以构建多个负样本商品列表。利用本申请实施例能够获得高质量的训练样本。能够获得高质量的训练样本。能够获得高质量的训练样本。

【技术实现步骤摘要】
训练样本生成方法、装置、电子设备及存储介质


[0001]本申请涉及机器学习和电商平台
，尤其涉及一种训练样本生成方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]电商平台的搜索引擎根据搜索请求(query)召回商品，召回的商品经过粗排、精排等处理后曝光，供用户挑选购买。关于粗排和精排，参考图1，粗排阶段的整体策略是根据召回结果与query的相关性对召回结果进行筛选、排序，相关性高的商品进入精排；精排阶段可综合考虑多种因素对排序的影响，例如考虑商品的历史销量或当前热度，可使更有可能被用户选中购买的商品得到曝光机会，又如考虑卖家促销因素，将促销商品优先曝光，等等。以上描述的召回曝光策略适用于各类网络平台的搜索引擎或推荐系统。
[0003]其中，粗排处理中的核心问题之一是粗排模型的负样本选择问题。由于系统可记录的日志数据有限，已有的做法大多是基于用户行为(如搜索关键词、浏览曝光商品、点击商品、收藏商品、支付购买商品等)来构建正负样本，例如针对用户输入搜索词之后的一系列行为，以该用户最终支付购买的商品为该次搜索的正样本，以曝光但未被支付和/或未被点击的商品为负样本，这种正负样本在一定程度上反映该用户的选择倾向，可作为粗排模型的训练样本。但是，按照上述方式确定的负样本多样性较差，与粗排模型实际处理的数据分布差异较大，训练效果难以让人满意。目前，相关场景中粗排模型的训练样本构成问题存在较大的优化空间，是研发人员研究的热点和难点之一，粗排模型训练效果有待提升。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种用于构建训练样本的方法、装置、电子设备及计算机可读存储介质，用于解决以上至少一种技术问题。
[0005]第一方面，本申请实施例提供一种训练样本生成方法，包括：
[0006]基于预定时间段内系统的用户行为数据，根据至少第一查询词下的多个搜索会话生成多个正样本商品列表；
[0007]确定所述第一查询词下的多个商品的一种或多种属性；
[0008]在所述第一查询词下包括多种属性的情况下，确定所述多种属性中每种属性下的商品数量在所述第一查询词下的商品总数中所占的比例；
[0009]根据所述多种属性以及所述多种属性对应的所述比例，在负样本候选池中选择多个商品，以构建多个负样本商品列表。
[0010]第二方面，本申请实施例提供一种训练样本生成装置，包括：
[0011]正样本处理模块，用于基于预定时间段内系统的用户行为数据，根据至少第一查询词下的多个搜索会话生成多个正样本商品列表；
[0012]属性处理模块，用于确定所述第一查询词下的多个商品的一种或多种属性；
[0013]比例处理模块，用于在所述第一查询词下包括多种属性的情况下，确定所述多种
属性中每种属性下的商品数量在所述第一查询词下的商品总数中所占的比例；
[0014]负样本处理模块，用于根据所述多种属性以及所述多种属性对应的所述比例，在负样本候选池中选择多个商品，以构建多个负样本商品列表。
[0015]第三方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；所述电子设备执行所述计算机程序指令时实现如上所述的方法的步骤。
[0016]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。
[0017]第五方面，本申请实施例提供一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。
[0018]基于本申请的实施例，可依据较长时间段内不同属性正样本商品的数量占比来确定负样本商品，可更符合系统模型实际处理的商品的分布，利用本申请实施例得到的正负样本商品列表，能够从本质上稳定地提升模型训练质量。
附图说明
[0019]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中的附图作简单介绍。
[0020]图1是一种推荐系统的模型示意图。
[0021]图2是本申请实施例的训练样本生成方法的流程示意图。
[0022]图3是利用本申请实施例构建训练样本的原理示意图。
[0023]图4是本申请实施例的用于构建训练样本的装置的结构框图。
[0024]图5是用来实现本申请实施例的训练样本生成方法的电子设备的示意图。
具体实施方式
[0025]以下将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，提供这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0026]本领域技术人员知晓，本申请的实施方式可以实现为一种系统、装置、设备、方法、计算机可读存储介质或计算机程序产品。因此，本公开可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件与软件结合的形式。
[0027]根据本申请的实施方式，提出一种训练样本生成方法、装置、存储介质和计算设备。
[0028]在本文中，附图中的任何元素数量均用于示例而非限制，附图中任何命名都仅用于区分，而不具有任何限制含义。
[0029]以下参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。
[0030]经本申请的专利技术人研究发现，在粗排模型的训练阶段，使用排序学习(Learning To Rank，LTR)技术中的文档列表方法(ListWise Approach)整体上优于其他方法，其中，在
构建粗排模型的训练样本时，可以以用户点击和支付的商品的列表(list)作为正样本list，并且，可在系统商品库中选取若干相同类目的商品构成负样本list，生成正负样本list的样本对，用于训练粗排模型。具体来看，对于同一个query，如果用户在一次搜索会话中点击和支付了10个商品，那么在商品库的相应类目下获取负样本商品的数量可为10的倍数，例如50个、100个。照此，如果用户在一次搜索行为中点击和支付的商品数量较多，则负样本的数量相应较多，反之，如果用户点击和支付的商品数量较少，则负样本的数量相应较少；同理，如果用户点击的商品覆盖的种类多，则负样本的种类丰富，样本的多样性好，反之，如果用户点击和支付的商品覆盖的种类少，则负样本种类少，样本的多样性差；再者，如果出现用户多次反复点击相同(或同类)商品，则将出现大量同类的负样本商品，样本的多样性受到限制，样本质量不稳定。
[0031]图2示出了本申请实施例的训练样本生成方法的流程示意图，该方法包括以下步骤：
[0032]S101，基于预定时间段内系统的用户行为数据，根据至少第一查询词下的多个搜索会话生成多个正样本商品列表；
[0033]S102，确定所述第一查询词下的多个商品本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练样本生成方法，其特征在于，包括：基于预定时间段内系统的用户行为数据，根据至少第一查询词下的多个搜索会话生成多个正样本商品列表；确定所述第一查询词下的多个商品的一种或多种属性；在所述第一查询词下包括多种属性的情况下，确定所述多种属性中每种属性下的商品数量在所述第一查询词下的商品总数中所占的比例；根据所述多种属性以及所述多种属性对应的所述比例，在负样本候选池中选择多个商品，以构建多个负样本商品列表。2.根据权利要求1所述的方法，其特征在于，所述多个正样本商品列表和所述多个负样本商品列表用于以排序学习LTR技术中的文档列表Listwise方法训练商品搜索系统中的粗排模型。3.根据权利要求1所述的方法，其特征在于，所述预定时间段涉及至少两个自然日。4.根据权利要求1所述的方法，其特征在于，所述用户行为数据包括：用户点击的商品的属性信息和用户支付的商品的属性信息。5.根据权利要求4所述的方法，其特征在于，所述属性信息包括以下至少一项：商品的类型、商品的类目、商品的型号、商品的机型。6.根据权利要求1所述的方法，其特征在于，所述正样本商品列表中包括在单个搜索会话中用户点击和支付的商品的信息。7.根据权利要求1所述的方法，其特征在于，根据所述多种属性以及所述多种属性对应的所述比例，在负样本候选池中选择多个商品，包括：在负样本候选池中获取多个负样本商品，其中所述多个负样本商品包含的属性与所述第一查询词下的所述多种属性相同，并且，所述多个负样本商品中不同属性下的商品数量的比例与所述第一查询词下的所述多种属性对应的所述比例相同；基于所述多个负样本商品构建至少一个负样本商品列表。8.根据权利要求1所述的方法，其特征在于，根据所述多种属性以及所述多种属性对应的所述比例，在负样本候选池中选择多个商品，包括：确定所述第一查询词下的第1～N类属性下的商品数量对应的所述比例为K1:K2:
…
K
N
，其中K
i
代表第i类属性的商品的数量对应的百分比，i＝1～N，N为正整数；在负样本候选池中的所述第1～N类属性的商品集合中，分别随机获取至少K
i
个商品的信息；基于所述至少K
i
个商品的信息构建至少一个负样本商品列表。9.根据权利要求1所述的方法，其特征在于，根据所述多种属性以及所述多种属性对应的所述比例，在负样本候选池中选择多个商品，包括：确定所述第一查询词下包括第i类属性和第i+1类属性，所述第i类属性与所述第i+1类属性下的商品数量对应的所述比例为K
i
:K
i+1
；构建多个临时列表，每个临时列表中包括至少一个第i类属性的商品和至少一个第i+1类属性的商品；对所述多个临时列表添加第一类标识，对负样本候选池中具有所述第i类属性的多个商品添加第二类标识，对负样本候选池中具有所述第i+1类属性的多个商品添加第三类标
识；对于所述多个临时列表中的第j个临时列表，基于所述第j个临时列表对应的第一类标识以及负样本候选池中商品携带的第二类标识，确定K
i
个负样本商品；以及，基于所述第j...

【专利技术属性】
技术研发人员：范凯，杨生，
申请(专利权)人：北京转转精神科技有限责任公司，
类型：发明
国别省市：