模型训练的数据处理方法、装置、电子设备、存储介质制造方法及图纸

技术编号:35584561 阅读:22 留言:0更新日期:2022-11-16 14:58
本公开关于一种模型训练的数据处理方法、装置、电子设备、存储介质。所述方法包括:获取用户账户的若干行为数据样本,若干行为数据样本包括历史行为数据样本和在线行为数据样本,历史行为数据样本包括用户账户的全部历史行为数据样本,或者,基于样本提取逻辑从全部历史行为数据样本中提取到的部分历史行为数据样本;确定每个行为数据样本对应的训练数据和训练标签;通过训练数据和训练标签对在线推荐模型进行在线训练,在线推荐模型是已训练达到线上预测要求的模型,训练完毕的在线推荐模型用于在线向用户账户推荐对象。通过在训练样本中增加历史行为数据,可以不更改模型结构及推理阶段的输入,大幅降低线上推荐系统的压力。大幅降低线上推荐系统的压力。大幅降低线上推荐系统的压力。

【技术实现步骤摘要】
模型训练的数据处理方法、装置、电子设备、存储介质


[0001]本公开涉及互联网
,尤其涉及一种模型训练的数据处理方法、装置、电子设备、计算机可读存储介质、计算机程序产品。

技术介绍

[0002]推荐系统可基于模型预估的点击通过率(CTR,Click

Through

Rate)、转化率(CVR,Conversion Rate)等向客户端推荐对象。由于用户历史行为信息中蕴含着用户兴趣点的信息,在对模型训练时,通过使模型持续学习用户历史行为信息,有助于提高推荐系统的推荐准确性。
[0003]为了让模型学习到更多的用户历史行为信息,相关技术中,基于用户的全部历史行为数据形成超长行为序列,将该超长行为序列作为训练数据对模型进行训练。相应地,在推理时也需要使用全部历史行为数据形成的超长行为序列作为输入。但是,在训练和推理时都使用超长行为序列作为模型的输入,意味着线上推荐系统需承载极大的压力,存在内存消耗较大的问题。

技术实现思路

[0004]本公开提供一种模型训练的数据处理方法、装置、电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练的数据处理方法,其特征在于,包括:获取用户账户的若干行为数据样本,每个所述行为数据样本是所述用户账户对相关联的各对象进行操作生成的,若干所述行为数据样本包括历史行为数据样本和在线行为数据样本,所述历史行为数据样本包括所述用户账户的全部历史行为数据样本,或者,基于样本提取逻辑从所述全部历史行为数据样本中提取到的部分历史行为数据样本;确定每个行为数据样本对应的训练数据和训练标签;通过所述训练数据和所述训练标签对在线推荐模型进行在线训练,所述在线推荐模型是已训练达到线上预测要求的模型,训练完毕的所述在线推荐模型用于在线向所述用户账户推荐对象。2.根据权利要求1所述的模型训练的数据处理方法,其特征在于,所述基于样本提取逻辑从所述全部历史行为数据样本中提取到的部分历史行为数据样本,通过执行以下处理中的任一种得到:根据所述历史行为数据样本对应的对象的重要度进行提取,得到所述部分历史行为数据样本;或者,获取所述在线行为数据样本对应的对象的目标对象类型,从所述全部历史行为数据样本中提取所述目标对象类型下的历史行为数据样本,作为所述部分历史行为数据样本;或者,获取所述历史行为数据样本与所述在线行为数据样本的第一相似度,并基于所述第一相似度进行提取,得到所述部分历史行为数据样本;或者,获取对象类型的类型多样性指标,根据所述类型多样性指标进行提取,得到所述部分历史行为数据样本。3.根据权利要求2所述的模型训练的数据处理方法,其特征在于,提取到的所述部分历史行为数据样本的数量根据所述在线推荐模型的训练速度确定。4.根据权利要求1~3任一项所述的模型训练的数据处理方法,其特征在于,所述通过所述训练数据和所述训练标签对在线推荐模型进行训练,包括:获取每个所述行为数据样本对应的权重;将每个所述行为数据样本对应的训练数据输入至所述在线推荐模型,得到每个所述行为数据样本对应的预测结果;根据每个所述行为数据样本对应的所述预测结果、所述训练标签和所述权重确定损失值;根据所述损失值调整所述在线推荐模型的模型参数,并继续输入下一个行为数据样本对应的训练数据,直至达到训练停止条件。5.根据权利要求4所述的模型训练的数据处理方法,其特征在于,当所述行为数据样本为历史行为数据样本时,所述获取每个所述行为数据样本对应的权重,包括:获取每个所述历史行为...

【专利技术属性】
技术研发人员:廖一桥骆明楠
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1