模型训练方法、优化训练数据集的方法及其装置制造方法及图纸

技术编号:29526498 阅读:10 留言:0更新日期:2021-08-03 15:12
本公开提供了模型训练方法、优化训练数据集的方法及其装置,涉及人工智能领域,尤其涉及深度学习、知识图谱领域。具体实现方案为:基于包含标注信息的第一训练数据集训练所述模型;利用经训练的所述模型确定所述第一训练数据集中的训练数据的预测结果;如果所述预测结果不同于所述训练数据的相应标注信息,将所述训练数据确定为第二训练数据集的至少第一部分,所述第二训练数据集不同于所述第一训练数据集;基于所述第二训练数据集训练所述模型。以此方式,本公开的技术方案可以根据模型预测出现的问题优化下一轮模型训练的样本数据,从而提升了模型效果。

【技术实现步骤摘要】
模型训练方法、优化训练数据集的方法及其装置
本公开涉及人工智能领域,尤其涉及机器学习领域,具体地,涉及模型训练方法、优化训练数据集的方法、及其装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
在进行模型训练的过程中,需要从大量的训练数据中选择有效的训练数据用于进行模型训练,以便避免诸如实体类别不均衡的情况,从而提升模型的性能。然而,由于训练数据集中的训练数据量过于庞大,并且训练数据的质量参差不齐,导致需要耗费客观的人力成本才能实现训练数据的优化选择,并且还需要工作人员具备专业的知识水平。
技术实现思路
本公开提供了一种模型训练方法、优化训练数据集的方法、及其装置、电子设备、计算机可读存储介质和计算机程序产品。根据本公开的第一方面,提供了一种模型训练方法。该方法可以包括基于包含标注信息的第一训练数据集训练所述模型。进而,可以利用经训练的模型确定第一训练数据集中的训练数据的预测结果。该方法还可以包括如果预测结果不同于训练数据的相应标注信息,将训练数据确定为第二训练数据集的至少第一部分,第二训练数据集不同于第本文档来自技高网...

【技术保护点】
1.一种模型训练方法,包括:/n基于包含标注信息的第一训练数据集训练所述模型;/n利用经训练的所述模型确定所述第一训练数据集中的训练数据的预测结果;/n如果所述预测结果不同于所述训练数据的相应标注信息,将所述训练数据确定为第二训练数据集的至少第一部分,所述第二训练数据集不同于所述第一训练数据集;/n基于所述第二训练数据集训练所述模型。/n

【技术特征摘要】
1.一种模型训练方法,包括:
基于包含标注信息的第一训练数据集训练所述模型;
利用经训练的所述模型确定所述第一训练数据集中的训练数据的预测结果;
如果所述预测结果不同于所述训练数据的相应标注信息,将所述训练数据确定为第二训练数据集的至少第一部分,所述第二训练数据集不同于所述第一训练数据集;
基于所述第二训练数据集训练所述模型。


2.根据权利要求1所述的方法,其中所述模型是实体识别模型。


3.根据权利要求1所述的方法,其中确定所述预测结果包括:
确定经训练的所述模型的效果参数;以及
如果经确定的所述效果参数不符合预定效果,将所述第一训练数据集中的训练数据施加至经训练的所述模型,以确定所述预测结果。


4.根据权利要求1所述的方法,还包括:
将所述第一训练数据集中预测结果与相应标注信息相同的训练数据中的部分训练数据确定为所述第二训练数据集的第二部分,所述第二部分不同于所述第一部分。


5.根据权利要求1所述的方法,其中所述训练数据的相应标注信息用于指示所述预测结果应当落入的范围,并且所述方法还包括:
如果所述预测结果等于所述训练数据的相应标注信息所指示的所述范围的临界值,将所述训练数据确定为所述第二训练数据集的第三部分,所述第三部分不同于所述第一部分。


6.根据权利要求1所述的方法,其中基于所述第一训练数据集训练所述模型包括:
将所述第一训练数据集应用于待训练的所述模型,以确定所述模型的收敛的参数。


7.一种优化训练数据集的方法,包括:
利用经训练的模型确定用于训练所述模型的第一训练数据集中的训练数据的预测结果;以及
如果所述预测结果不同于所述训练数据的相应标注信息,将所述训练数据确定为第二训练数据集的至少第一部分,所述第二训练数据集不同于所述第一训练数据集,并且用于进一步训练所述模型。


8.根据权利要求7所述的方法,还包括:
将所述第一训练数据集中预测结果与相应标注信息相同的训练数据中的部分训练数据确定为所述第二训练数据集的第二部分,所述第二部分不同于所述第一部分。


9.根据权利要求7所述的方法,其中所述训练数据的相应标注信息用于指示所述预测结果应当落入的范围,并且所述方法还包括:
如果所述预测结果等于所述训练数据的相应标注信息所指示的所述范围的临界值,将所述训练数据确定为所述第二训练数据集的第三部分,所述第三部分不同于所述第一部分。


10.一种模型训练装置,包括:
第一模型训练模块,被配置为基于包含标注信息的第一训练数据集训练所述模型;
预测结果确定模块,被配置为利用经训练的所述模型确定所述第一训练数据集中的训练数据的预测结果;
第一训练数据集确定模块,被配置为如果所述预测结果不同于所述训练数据的相应标注信息,将所述训练数据确定为第二训练数据集的至少第一部分,所述第二训练数据集不同于所述第一训练数据集;
第二模型训练模块,被配置为基于所...

【专利技术属性】
技术研发人员:王述冯知凡柴春光朱勇
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1