模型更新方法、装置、计算机可读存储介质和计算机设备制造方法及图纸

本申请涉及一种模型更新方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取分布式定时任务，其中，分布式定时任务用于模型训练；将分布式定时任务发送至第一服务器，第一服务器用于执行分布式定时任务，生成模型文件；当接收到第一服务器发送的分布式定时任务完成的消息时，更新模型文件对应的文件路径，文件路径用于指示第二服务器获取模型文件，进行模型更新。采用本申请实施例中的方法能够提高模型更新效率。

Model updating method, device, computer readable storage medium and computer equipment

【技术实现步骤摘要】
模型更新方法、装置、计算机可读存储介质和计算机设备
本申请涉及计算机
，特别是涉及一种模型更新方法、装置、计算机可读存储介质和计算机设备。
技术介绍
随着科学技术发展，算法模型需要不断进行更新，以适应信息的爆发性增长。传统的算法模型更新是由算法维护人员对算法进行更新。而由于是人为操作，经常无法及时进行更新，导致模型更新效率低。
技术实现思路
基于此，有必要针对模型更新效率低的技术问题，提供一种模型更新方法、装置、计算机可读存储介质和计算机设备，能够提高模型更新效率。一种模型更新方法，包括：获取分布式定时任务，其中，所述分布式定时任务用于模型训练；将所述分布式定时任务发送至第一服务器，所述第一服务器用于执行所述分布式定时任务，生成模型文件；当接收到所述第一服务器发送的分布式定时任务完成的消息时，生成所述模型文件对应的文件路径，所述文件路径用于指示第二服务器获取所述模型文件，进行模型更新。一种模型更新系统，所述系统包括目标服务器、第一服务器和第二服务器；所述目标服务器用于获取分布式定时任务，其中，所述分布式定时任务用于模型训练，将所述分布式定时任务发送至所述第一服务器；所述第一服务器用于执行所述分布式定时任务，生成模型文件以及分布式定时任务完成的消息；所述目标服务器用于当接收到所述分布式定时任务完成的消息时，获取所述模型文件对应的文件路径；所述第二服务器用于根据所述文件路径获取所述模型文件，进行模型更新。一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：获取分布式定时任务，其中，所述分布式定时任务用于模型训练；将所述分布式定时任务发送至第一服务器，所述第一服务器用于执行所述分布式定时任务，生成模型文件；当接收到所述第一服务器发送的分布式定时任务完成的消息时，生成所述模型文件对应的文件路径，所述文件路径用于指示第二服务器获取所述模型文件，进行模型更新。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：获取分布式定时任务；将所述分布式定时任务发送至第一服务器，所述第一服务器用于执行所述分布式定时任务，生成模型文件；当接收到所述第一服务器发送的分布式定时任务完成的消息时，生成所述模型文件对应的文件路径，所述文件路径用于指示第二服务器获取所述模型文件，进行模型更新。上述模型更新方法、装置、计算机可读存储介质和计算机设备，获取分布式定时任务，将分布式定时任务发送至第一服务器，第一服务器用于执行分布式定时任务，生成模型文件，当接收到第一服务器发送的分布式定时任务完成的消息时，生成模型文件对应的文件路径，文件路径用于指示第二服务器获取模型文件，进行模型更新，能够实现自动化的模型训练以及模型文件更新，通过文件路径的使用，能够使第二服务器根据文件路径从本地或者其他服务器等获取模型文件，从而提高模型文件更新效率，并且使用第一服务器执行模型训练任务，第二服务器进行模型更新，能够解决传统使用线上服务器进行模型训练和更新导致的占用线上服务器资源的问题，减少线上服务器资源占用。附图说明图1为一个实施例中模型更新方法的应用环境图；图2为一个实施例中模型更新方法的流程示意图；图3为一个实施例中历史数据更新的流程示意图；图4为一个实施例中第二服务器进行模型更新的流程示意图；图5为一个实施例中模型更新方法的架构图；图6为一个实施例中服务器中各模块的执行流程示意图；图7为一个实施例中计算机设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中模型更新方法的应用环境图。该模型更新方法应用于模型更新系统。该模型更新系统包括终端110、目标服务器120、第一服务器130和第二服务器140。其中，终端110、目标服务器120、第一服务器130和第二服务器140通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。目标服务器120、第一服务器130和第二服务器140可以用独立的服务器或者是多个服务器组成的服务器集群来实现。目标服务器120可用于管理终端110发送的模型训练任务、第一服务器130生成的模型文件等。在一个实施例中，Feeds流会持续从不同内容源获取最新的订阅源内容，并有针对性地呈现给用户。为了有效区分源内容，从而为不同用户推送最适合的内容，需要为不同源内容定制标签。Feeds是将用户主动订阅的若干消息源组合在一起形成内容聚合器，帮助用户持续地获取最新的订阅源内容。内容流(Feeds流)即持续更新并呈现到终端的内容流。从一个原始内容入库之后，算法模型需要对内容进行安全质量检测，例如是否暴力、色情、低俗、标题等。内容建模特征例如分类、主题、标签等。内容理解生成例如生成摘要、结构化和剪辑等，形成各类推荐系统可以识别的属性标签，并最终分发到各个推荐业务侧。随着线上数据的不断积累，算法模型也需要进行迭代更新，从而获得更高的准确率，以及确保模型可以适应线上环境的变化。因此，如图2所示，提供了一种模型更新方法。本实施例主要以该方法应用于上述图1中的目标服务器110来举例说明。参照图2，图2为一个实施例中模型更新方法的流程示意图，该模型更新方法具体包括如下步骤：步骤202，获取分布式定时任务，其中，分布式定时任务用于模型训练。其中，分布式定时任务即把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。分布式定时任务可以有效解决单点定时任务的诸多缺点，比如交互性差、任务部署效率低、开发维护成本高、可用性差等。分布式定时任务用于对不同的算法模型进行训练。分布式定时任务中可包含模型训练参数、模型训练脚本、模型校验脚本等。算法模型可以是指与内容流处理相关的模型。例如，与内容流处理相关的模型可以是内容流质量检测模型、内容建模特征模型、内容理解生成模型等。具体地，终端用于发布分布式定时任务。终端将分布式定时任务发送至任务配置服务。其中任务配置服务可以是一个服务模块。任务配置服务将分布式定时任务对应的任务更新消息发送至zookeeper模块。Zookeeper模块接收到任务更新消息，将任务更新消息推送给分布式服务器集群。其中zookeeper是分布式应用程序协调服务。分布式定时服务器集群接收到任务更新消息时，向任务配置服务拉取最新的分布式定时任务并确定目标服务器。目标服务器用于获取分布式定时任务并完成任务。在一个实施例中，目标服务器可以从终端中自动定时获取模型训练任务。步骤204，将分布式定时任务发送至第一服本文档来自技高网...

【技术保护点】
1.一种模型更新方法，包括：/n获取分布式定时任务，其中，所述分布式定时任务用于模型训练；/n将所述分布式定时任务发送至第一服务器，所述第一服务器用于执行所述分布式定时任务，生成模型文件；/n当接收到所述第一服务器发送的分布式定时任务完成的消息时，更新所述模型文件对应的文件路径，所述文件路径用于指示第二服务器获取所述模型文件，进行模型更新。/n

【技术特征摘要】
1.一种模型更新方法，包括：
获取分布式定时任务，其中，所述分布式定时任务用于模型训练；
将所述分布式定时任务发送至第一服务器，所述第一服务器用于执行所述分布式定时任务，生成模型文件；
当接收到所述第一服务器发送的分布式定时任务完成的消息时，更新所述模型文件对应的文件路径，所述文件路径用于指示第二服务器获取所述模型文件，进行模型更新。


2.根据权利要求1所述的方法，其特征在于，所述当接收到所述第一服务器发送的分布式定时任务完成的消息时，更新所述模型文件对应的文件路径，包括：
当接收到第一服务器发送的分布式定时任务完成的消息时，校验所述模型文件；
当所述模型文件校验通过时，更新所述模型文件对应的文件路径。


3.根据权利要求2所述的方法，其特征在于，所述校验所述模型文件，包括：
获取模型验证数据集；
将所述模型验证数据集输入至所述模型文件对应的算法模型中，得到验证结果；
所述当所述模型文件校验通过时，更新所述模型文件对应的文件路径，包括：
当所述验证结果满足预设结果条件时，更新所述模型文件对应的文件路径。


4.根据权利要求1所述的方法，其特征在于，在所述获取分布式定时任务之前，所述方法还包括：
分布式服务器集群获取分布式锁；
所述分布式服务器集群确定获取到所述分布式锁的服务器为目标服务器，其中，所述目标服务器用于执行获取分布式定时任务的步骤。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当接收到所述第一服务器发送的分布式定时任务完成的消息时，释放所述分布式锁。


6.根...

【专利技术属性】
技术研发人员：朱昱锦，万明阳，马连洋，袁易之，朱新宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44