模型训练方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种模型训练方法、装置、设备及存储介质，涉及计算机技术领域，进一步涉及计算机视觉和深度学习等人工智能技术。具体实现方案为：确定基于树结构的待训练模型在训练过程中需要使用的期望容量；在本地设备中图像处理器的可用容量小于所述期望容量的情况下，对所述待训练模型的树结构进行拆分，得到至少两个子树；通过本地设备中图像处理器，分别采用所述至少两个子树关联的样本集，对待训练模型进行训练。通过本公开的技术，为通过图像处理器对规模较大的TDM模型进行训练提供了一种新思路。一种新思路。一种新思路。

【技术实现步骤摘要】
模型训练方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及计算机视觉和深度学习等人工智能领域，具体涉及一种模型训练方法、装置、设备以及存储介质。

技术介绍

[0002]随着深度学习等人工智能技术的快速发展，人工智能技术已经广泛应用于计算机视觉领域，即基于人工智能技术训练计算机视觉任务模型。比如为了能够从海量数据集(比如海量广告或者商品等)中高效且精准的召回用户感兴趣的内容，基于树的深度模型(Tree
‑
based Deep Model，TDM)被广泛使用。
[0003]目前，对于数据量比较大的TDM模型，通常采用分布式CPU集群进行训练。但受限于CPU的硬件能力等，无法支持复杂的TDM模型，因此亟需提供一种新的模型训练方法，用于训练TDM模型。

技术实现思路

[0004]本公开提供了一种模型训练方法、装置、设备及存储介质。
[0005]根据本公开的一方面，提供了一种模型训练方法，该方法包括：
[0006]确定基于树结构的待训练模型在训练过程中需要使用的期望容量；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：确定基于树结构的待训练模型在训练过程中需要使用的期望容量；在本地设备中图像处理器的可用容量小于所述期望容量的情况下，对所述待训练模型的树结构进行拆分，得到至少两个子树；通过本地设备中图像处理器，分别采用所述至少两个子树关联的样本集，对待训练模型进行训练。2.根据权利要求1所述的方法，其中，所述对所述待训练模型的树结构进行拆分，得到至少两个子树，包括：根据本地设备中图像处理器的可用容量，以及所述待训练模型的树结构中叶子节点分布情况，对所述待训练模型的树结构进行拆分，得到至少两个子树。3.根据权利要求1所述的方法，其中，所述通过本地设备中图像处理器，分别采用所述至少两个子树关联的样本集，对待训练模型进行训练，包括：针对每一子树，根据该子树所关联的种子样本和该子树的子树结构，生成该子树的样本集；控制所述本地设备中图像处理器，基于该子树中节点参数，采用该子树的样本集，对待训练模型进行训练，以更新待训练模型的神经网络参数和该子树中节点参数。4.根据权利要求3所述的方法，其中，所述根据该子树所关联的种子样本和该子树的子树结构，生成该子树的样本集，包括：将所述种子样本在子树结构中所属的支路，作为目标支路；根据所述种子样本中的请求消息，以及所述目标支路所包括的目标节点，构成该子树的正样本集；根据所述种子样本中的请求消息，以及该子树中除所述目标节点之外的其他节点，构建该子树的负样本集。5.根据权利要求3所述的方法，其中，所述本地设备中配置有至少两个图像处理器，所述控制所述本地设备中图像处理器，基于该子树中节点参数，采用该子树的样本集，对待训练模型进行训练，包括：将该子树的样本集分配给至少两个图像处理器，以得到图像处理器关联的子样本集；通过图像处理器采用关联的子样本集，对待训练模型进行训练。6.根据权利要求3所述的方法，所述控制所述本地设备中图像处理器，基于该子树中节点参数，采用该子树的样本集，对待训练模型进行训练之前，还包括：向所述本地设备中图像处理器传输该子树中节点参数。7.一种模型训练装置，包括：期望容量确定模块，用于确定基于树结构的待训练模型在训练过程中需要使用的期望容量；树拆分模块，用于在本地设备中图像处理器的可用容量小于所述期望...

【专利技术属性】
技术研发人员：焦学武，刘林，胡伟，杨羿，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：