模型更新方法、装置、电子设备及存储介质制造方法及图纸

本公开是关于一种模型更新方法、装置、电子设备及存储介质，涉及计算机技术领域，用以解决相关技术中在模型训练完毕后，将模型生成镜像推送到预估服务器，模型更新速度较慢的问题，本公开方法包括：在执行服务器使用同一个历史样本集合进行模型参数的迭代训练过程中，根据每次接收到的所述执行服务器发送的梯度值对模型参数进行更新；在满足参数推送条件后，将上次满足参数推送条件之后进行更新的模型参数中的部分或全部模型参数推送给预估服务器。由于本公开实施例在迭代训练过程中通过多次推送将更新的模型参数增量推送给预估服务器，由于每次推送预估服务器的模型参数是有限的，减小了预估服务器的压力。

Model updating method, device, electronic equipment and storage medium

【技术实现步骤摘要】
模型更新方法、装置、电子设备及存储介质
本公开涉及计算机
，尤其涉及一种模型更新方法、装置、电子设备及存储介质。
技术介绍
TensorFlow(张量流)是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现。基于TensorFlow，可以训练各种神经网络模型，用于图像、自然语言理解等研究。具体的，参阅图1所示，TensorFlow中通常包含有参数服务器(PS，ParameterServer)、执行服务器(Worker)以及预估服务器，其中，参数服务器用于在模型训练过程中存储模型参数，执行服务器用于在模型训练过程中从参数服务器处获取模型参数，并进行梯度更新，而预估服务器用于将训练完毕的模型部署到线上。TensorFlow中，由参数服务器和执行服务器进行迭代训练，当参数服务器和执行服务器训练了一批数据并生成相应的模型时，迭代就完成了。TensorFlow的模型推送方式是将参数服务器中的模型存储成模型镜像，然后再将镜像批量推送到线上预估服务器上，以推荐模型为例，一般推荐模型的大小可以达到TB(Terabyt本文档来自技高网...

【技术保护点】
1.一种模型更新方法，其特征在于，应用于参数服务器，包括：/n在执行服务器使用同一个历史样本集合进行模型参数的迭代训练过程中，根据每次接收到的所述执行服务器发送的梯度值对模型参数进行更新；/n在满足参数推送条件后，将上次满足参数推送条件之后进行更新的模型参数中的部分或全部模型参数推送给预估服务器，以使所述预估服务器根据所述模型参数对当前上线的模型进行更新。/n

【技术特征摘要】
1.一种模型更新方法，其特征在于，应用于参数服务器，包括：
在执行服务器使用同一个历史样本集合进行模型参数的迭代训练过程中，根据每次接收到的所述执行服务器发送的梯度值对模型参数进行更新；
在满足参数推送条件后，将上次满足参数推送条件之后进行更新的模型参数中的部分或全部模型参数推送给预估服务器，以使所述预估服务器根据所述模型参数对当前上线的模型进行更新。


2.根据权利要求1所述的模型更新方法，其特征在于，所述参数推送条件包括下列的部分或全部：
相邻两次推送之间的时间间隔达到预设时长；
N个更新后的模型参数的变化率大于预设阈值，其中所述变化率用于表示同一个模型参数更新前后的变化程度，N为正整数。


3.根据权利要求1所述的模型更新方法，其特征在于，所述模型参数包括嵌入参数和网络参数；所述方法还包括：
在执行服务器使用同一历史样本集合进行模型参数的迭代训练过程之前，将所述嵌入参数发送给所述执行服务器；以及
在执行服务器使用同一历史样本集合进行模型参数的迭代训练过程中，若接收到所述执行服务器发送的参数请求，则将所述参数请求对应的网络参数发送给所述执行服务器。


4.一种模型更新方法，其特征在于，应用于执行服务器，包括：
在使用同一历史样本集合与参数服务器进行模型参数的迭代训练过程中，从所述参数服务器获取模型参数进行迭代；
将每次迭代得到的用于更新模型参数的梯度值发送给所述参数服务器，以使所述参数服务器在满足参数推送条件后，将上次满足参数推送条件之后进行更新的模型参数中的部分或全部用于更新模型的模型参数推送给预估服务器。


5.一种模型更新方法，其特征在于，应用于预估服务器，包括：
接收参数服务器在满足推送条件后推送的模型参数，其中所述模型参数是上次满足推送条件之后所述参数服务器进行更新的模型参数中的部分或全部；
根据所述模型参数对当前上线的模型进行更新。
...

【专利技术属性】
技术研发人员：任恺，吴碧海，杨光旭，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11