本申请提供一种模型更新方法、装置及相关设备,应用于人工智能(artificial intelligence,AI)领域,方法包括:首先,获取训练样本集,然后,在使用第一触发机制确定需要对第一模型进行更新训练时,通过训练样本集对第一模型进行更新训练,得到训练后的模型,最后,在使用第二触发机制确定需要使用更新训练后的模型替换第一模型时,使用更新训练后的模型替换第一模型。该方法可以解决现有技术存在的模型更新效率低的问题,同时减少计算资源的消耗。消耗。消耗。
【技术实现步骤摘要】
一种模型更新方法、装置及相关设备
[0001]本申请涉及人工智能领域,尤其涉及一种模型更新方法、装置及相关设备。
技术介绍
[0002]AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人、自然语言处理、计算机视觉、决策与推理、人机交互、推荐与搜索以及AI基础理论等。
[0003]在AI领域,机器学习模型是常见使用手段,比如,分类模型,用于对数据进行分类,实现数据分类自动化,提高分类效率,图像识别模型,用于对图像的内容进行识别,实现图像内容自动识别,提高识别效率。模型在部署上线后,如果线上待预测数据的特征会随时间发生变化,则需要对模型进行更新,以保障模型能够适应动态变化的环境,否则模型的预测精度会不断降低。目前,通常基于增量学习对模型进行更新,提升模型在当前环境中的精度,而且更新后的模型也不会遗忘以前已经学习到的知识。
[0004]然而,现有的基于增量学习对模型进行更新的方法,通常采用的是离线学习方式或者在线学习方式对模型进行更新,当采用离线学习方式时,需要人工跟踪模型性能,持续反复训练模型并人工部署上线,这样势必会消耗较多的人力资源和时间,模型的更新效率比较低;当采用在线学习方式时,会持续不断地训练产生新模型,不断地对新模型进行验证,不断地使用新模型替换旧模型,这样势必会消耗大量的计算资源。
技术实现思路
[0005]本申请提供了一种模型更新方法、装置及相关设备,可以在解决离线学习方式更新模型的方法存在的模型更新效率低的问题的同时,解决在线学习方式更新模型的方法存在的会消耗大量计算资源的问题。
[0006]第一方面,提供一种模型更新方法,该方法包括:首先,获取训练样本集,然后,在使用第一触发机制确定需要对第一模型进行更新训练时,通过训练样本集对第一模型进行更新训练,得到训练后的模型,最后,在使用第二触发机制确定需要使用更新训练后的模型替换第一模型时,使用更新训练后的模型替换第一模型。
[0007]通过上述方案可知,本申请通过第一触发机制确定是否需要对第一模型进行更新训练,通过第二触发机制确定是否需要使用更新训练后的模型替换第一模型,能够实现按需触发模型进行自动更新训练以及自动更新部署,可以在提高模型更新效率的同时,减少计算资源的消耗。
[0008]在一种可能的实现方式中,第一触发机制包括:若训练样本集中的难例样本的数量达到第一阈值,则确定需要对第一模型进行更新训练;或者,若当前时间到达模型更新时
间,则确定需要对第一模型进行更新训练;或者,若训练样本集中的样本数量达到第二阈值,则确定需要对第一模型进行更新训练;或者,若第一模型的上线时长达到预设时长,则确定需要对第一模型进行更新训练。其中,第二阈值为大于1的自然数。
[0009]通过上述方案可知,本申请提供了多种确定是否需要触发模型进行更新训练的机制,用户可以从中选择任意一种触发机制,具有较强的灵活性。
[0010]在一种可能的实现方式中,第二触发机制包括:若第一模型的预测性能低于更新训练后的模型的预测性能,则确定需要使用更新训练后的模型替换第一模型;或者,若更新训练后的模型的预测性能处于期望预测性能范围,则确定需要使用更新训练后的模型替换第一模型。
[0011]通过上述方案可知,本申请提供了多种确定是否需要触发使用新模型替换旧模型的机制,用户可以从中选择任意一种触发机制,具有较强的灵活性。
[0012]在一种可能的实现方式中,具体可以通过如下方式实现通过训练样本集对第一模型进行更新训练:首先,对训练样本集进行筛选,确定训练样本集中的难例样本,然后,使用训练样本集中的难例样本,对第一模型进行更新训练。
[0013]通过上述方案可知,本申请使用训练样本集中的难例样本对模型进行更新训练,而不是像现有技术使用训练样本集中的所有样本对模型进行更新训练,如此,可以进一步减少计算资源的消耗,提高模型更新效率。
[0014]在一种可能的实现方式中,具体可以通过如下方式对训练样本集中的样本进行筛选,确定训练样本集中的难例样本:首先,将训练样本集中的每个样本输入第一模型对进行推理,得到每个样本对应的推理结果的属性,属性包括如下任意一种:置信度、交叉熵,然后,根据每个样本的推理结果的属性,确定每个样本是否是难例样本。
[0015]第二方面,提供一种模型更新装置,装置包括:获取单元,用于获取训练样本集;
[0016]模型训练单元,用于在使用第一触发机制确定需要对所述第一模型进行更新训练时,通过所述训练样本集对所述第一模型进行更新训练,得到更新训练后的模型;
[0017]模型部署单元,用于在使用第二触发机制确定需要使用所述更新训练后的模型替换所述第一模型时,使用所述更新训练后的模型替换所述第一模型。
[0018]在一种可能的实现方式中,所述第一触发机制包括:第一触发机制包括:若训练样本集中的难例样本的数量达到第一阈值,则确定需要对第一模型进行更新训练;或者,若当前时间到达模型更新时间,则确定需要对第一模型进行更新训练;或者,若训练样本集中的样本数量达到第二阈值,则确定需要对第一模型进行更新训练;或者,若第一模型的上线时长达到预设时长,则确定需要对第一模型进行更新训练。其中,第二阈值为大于1的自然数。
[0019]在一种可能的实现方式中,第二触发机制包括:若第一模型的预测性能低于更新训练后的模型的预测性能,则确定需要使用更新训练后的模型替换第一模型;或者,若更新训练后的模型的预测性能处于期望预测性能范围,则确定需要使用更新训练后的模型替换第一模型。
[0020]在一种可能的实现方式中,上述模型训练单元,具体用于:首先,对训练样本集进行筛选,确定训练样本集中的难例样本,然后,使用训练样本集中的难例样本,对第一模型进行更新训练。
[0021]在一种可能的实现方式中,上述模型训练单元,具体用于:首先,将训练样本集中
的每个样本输入第一模型对进行推理,得到每个样本对应的推理结果的属性,属性包括如下任意一种:置信度、交叉熵,然后,根据每个样本的推理结果的属性,确定每个样本是否是难例样本。
[0022]第三方面,提供一种计算机可读存储介质,该计算机可读存储介质存储有指令,所述指令用于实现如上述第一方面或者第一方面的任意可能的实现方式提供的方法。
[0023]第四方面,提供一种计算设备,该计算设备包括处理器和存储器;所述处理器用于执行所述存储器存储的指令,使得所述计算设备实现如上述第一方面或者第一方面的任意可能的实现方式提供的方法。
[0024]第五方面,提供一种计算机程序产品,包括计算机程序,当所述计算机程序被计算设备读本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型更新方法,其特征在于,所述方法包括:获取训练样本集;在使用第一触发机制确定需要对所述第一模型进行更新训练时,通过所述训练样本集对所述第一模型进行更新训练,得到更新训练后的模型;在使用第二触发机制确定需要使用所述更新训练后的模型替换所述第一模型时,使用所述更新训练后的模型替换所述第一模型。2.根据权利要求1所述的方法,其特征在于,所述第一触发机制包括:若所述训练样本集中的难例样本的数量达到第一阈值,则确定需要对所述第一模型进行更新训练;或者,若当前时间到达模型更新时间,则确定需要对所述第一模型进行更新训练;或者,若所述训练样本集中的样本数量达到第二阈值,则确定需要对所述第一模型进行更新训练,其中,第二阈值为大于1的自然数;或者,若所述第一模型的上线时长达到预设时长,则确定需要对所述第一模型进行更新训练。3.根据权利要求1或2所述的方法,其特征在于,所述第二触发机制包括:若所述更新训练后的模型的预测性能优于所述第一模型的预测性能,则确定需要使用所述更新训练后的模型替换所述第一模型;或者,若所述更新训练后的模型的预测性能处于期望预测性能范围,则确定需要使用所述更新训练后的模型替换所述第一模型。4.根据权利要求1至3任一项所述的方法,其特征在于,所述通过所述训练样本集对所述第一模型进行更新训练,包括:对所述训练样本集中的样本进行筛选,确定所述训练样本集中的难例样本;使用所述训练样本集中的难例样本,对所述第一模型进行更新训练。5.根据权利要求4所述的方法,其特征在于,所述对所述训练样本集中的样本进行筛选,确定所述训练样本集中的难例样本,包括:将所述训练样本集中的每个样本输入所述第一模型进行推理,得到所述每个样本对应的推理结果的属性,所述属性包括如下任意一种或者多种:置信度、交叉熵;根据所述每个样本对应的推理结果的属性,确定所述每个样本是否是难例样本。6.一种模型更新装置,其特征在于,所述装置包括:获取单元,用于获取训练样本集;模型训练单元,用于在使用第一触发机制确定需要对所述第一模型进...
【专利技术属性】
技术研发人员:吕超群,刘凌辉,杨锦,
申请(专利权)人:华为技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。