一种模型更新方法技术

本发明专利技术的目的在于提供一种模型更新方法，应用于分布式系统中，其特征在于，包括：对模型进行全量更新的步骤；以周期t对模型进行增量更新的步骤；其中，所述分布式系统包括参数服务器节点和若干工作节点；所述参数服务器节点维护嵌入层参数；所述工作节点用于存储全连接网络参数；所述工作节点之间互不通信；所述每个工作节点与所述参数服务器之间进行通信。本发明专利技术的模型更新方法既最大限度地利用了新训练数据训练的模型成果，又将更新模型的系统开销、高频更新引发的负面影响降到最低，因而具有较高的产业应用价值。

【技术实现步骤摘要】

本专利技术涉及机器学习领域，尤其涉及用于机器学习训练的样本数据的收集方法。

技术介绍

1、机器学习在广告投放、内容推荐、搜索结果排序等领域的应用越来越广泛，基本原理是使用样本数据(通常来自真实的历史数据)对模型进行训练，然后再用训练好的模型对数据进行处理。实务中模型的训练更新过程是持续的，即不断收集新的训练数据、不断对模型进行训练，然后每隔一个周期就用新的模型训练成果(通常指一组参数)对老模型进行更新。在模型架构不变的情况下，影响模型效果的因素包括训练数据的数量和时效，使用的训练数据越新，训练出的模型效果越好。

2、对于大型的推荐系统，由于用户数量众多，产生训练数据的数量在很短的时间内(比如以小时为单位计算)就能满足训练需求，那么理论上模型的更新频率也可以相应提高。但模型的更新涉及复杂的计算机集群同步，如果对模型的参数更新频繁，虽然总体上能利用模型时效性带来的优势，但一方面更新带来的系统负担过重、影响服务质量，另一方面模型容易受到异常数据的影响，性能不够稳定。

技术实现思路

1、鉴于以上所述现有技本文档来自技高网...

【技术保护点】

1.一种模型更新方法，应用于分布式系统中，其特征在于，包括：

2.根据权利要求1所述的模型更新方法，其特征在于，所述周期t为0.5～5小时。

3.根据权利要求1所述的模型更新方法，其特征在于，所述对模型进行全量更新的步骤以周期T进行，所述周期T大于所述周期t。

4.根据权利要求3所述的模型更新方法，其特征在于，所述周期T为0.5～7天。

5.根据权利要求1所述的模型更新方法，其特征在于，所述参数服务器为多个，共同组成集群；每个所述参数服务器只维护部分嵌入层参数，所述集群维护全部所述嵌入层参数；所述各参数服务器之间互不通信；所述每个工作节点与...

【技术特征摘要】

1.一种模型更新方法，应用于分布式系统中，其特征在于，包括：

2.根据权利要求1所述的模型更新方法，其特征在于，所述周期t为0.5～5小时。

3.根据权利要求1所述的模型更新方法，其特征在于，所述对模型进行全量更新的步骤以周期t进行，所述周期t大于所述周期t。

4.根据权利要...

【专利技术属性】
技术研发人员：祁明良，
申请(专利权)人：小红书科技有限公司，
类型：发明
国别省市：