一种模型训练方法、系统及存储介质和终端设备技术方案

技术编号:33074916 阅读:23 留言:0更新日期:2022-04-15 10:10
本发明专利技术实施例公开了一种模型训练方法、系统及存储介质和终端设备,应用于信息处理技术领域。模型训练系统会分别确定训练样本集的每个类型的样本子集中各个训练样本的样本权重值,并根据样本权重值从各个样本子集中分别选择至少一个训练样本,并将从多个样本子集中分别选择的至少一个训练样本组成当前批次的训练子集来训练对象识别模型。这样可以将训练样本集分为多个类型的样本子集,并通过样本权重值来衡量各个样本子集中训练样本被选择的概率,来组成当前批次的训练子集,使得可以通过调整样本权重值来平衡训练样本被选择的概率,进而提高训练得到的对象识别模型对各种类型的训练样本进行识别的准确性。的训练样本进行识别的准确性。的训练样本进行识别的准确性。

【技术实现步骤摘要】
一种模型训练方法、系统及存储介质和终端设备


[0001]本专利技术涉及信息处理
,特别涉及一种模型训练方法、系统及存储介质和终端设备。

技术介绍

[0002]随着机器学习模型的发展,借助计算机视觉技术在各个场景落地,例如无人驾驶、智慧零售和视觉内容理解等,都依赖机器学习模型来完成特定任务。目前产业结合深度学习已是大势所趋,一方面能够提升识别效果,另一方面也能够降低人工成本,其中,基于深度学习的计算机视觉相关任务的基础是机器学习模型,一个好的机器学习模型,可以直接迁移到其它相关任务中,从而实现一系列任务的升级。一般来说,一个优秀的机器学习模型,不仅仅依赖于优秀的基础网络架构,能够稳定提升模型性能的训练方法和数据采样方法同样也是目前的研究热点之一。而且优秀的数据采样方法和模型训练策略同样可以迁移至众多下游任务中,如图像分类、视频分类、视频内容理解等任务中。
[0003]具体来说,针对新闻阅读应用程序中,每天内容生产者会产生出大量的各种类别的新闻内容,而这样就会存在一个长尾分布的问题,即有些常见类别下的内容数量会远远多于罕见类别下的内容本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法,其特征在于,包括:获取训练样本集,所述训练样本集中包括多个类型的样本子集;分别确定每个类型的样本子集中的各个训练样本的样本权重值;根据所述每个类型的样本子集中训练样本的样本权重值,从相应类型的样本子集中分别选择至少一个训练样本,并将从所述多个类型的样本子集中分别选择的至少一个训练样本组成当前批次的训练子集;根据所述当前批次的训练子集训练对象识别模型,所述对象识别模型用于对目标对象的类型进行识别。2.如权利要求1所述的方法,其特征在于,所述分别确定每个类型的样本子集中的各个训练样本的样本权重值,具体包括:确定一个类型的样本子集的所有训练样本中的难样本和简单样本;确定所述难样本的样本权重值大于一阈值,确定所述简单样本的样本权重值小于另一阈值。3.如权利要求1所述的方法,其特征在于,所述根据所述每个类型的样本子集中训练样本的样本权重值,从相应类型的样本子集中分别选择至少一个训练样本,具体包括:将一个样本子集中各个训练样本的样本权重值分别对应预置轮盘的一个单位组成部分,转动所述预置轮盘;选择所述预置轮盘中指针所指向的样本权重值对应的训练样本;或者,将一个样本子集中所有训练样本的样本权重值作为向量,通过二分查找方法,获取到所述样本权重值最大的至少一个训练样本。4.如权利要求1所述的方法,其特征在于,所述根据所述每个类型的样本子集中训练样本的样本权重值,从相应类型的样本子集中分别选择至少一个训练样本,具体包括:根据一个样本子集中各个训练样本的样本权重值,为所述各个训练样本分配相应的被采样次数;根据所述各个训练样本的被采样次数,从所述一个样本子集中选择样本权重值最大的训练样本;更新所述选择的训练样本的被采样次数;循环执行所述选择训练样本及更新被采样次数的步骤,得到所述一个样本子集对应的至少一个训练样本。5.如权利要求1至4任一项所述的方法,其特征在于,任一训练样本包括样本对象及其标注信息,则所述根据所述当前批次的训练子集训练对象识别模型,具体包括:确定对象识别初始模型;通过所述对象识别初始模型分别识别所述当前批次的训练子集中各个样本对象的类型;根据所述对象识别初始模型得到的各个样本对象的类型,及所述当前批次的训练子集中相应样本对象的标注信息及其样本权重值,调整所述对象识别初始模型,以得到最终的对象识别模型。6.如权利要求5所述的方法,其特征在于,所述根据所述对象识别初始模型得到的各个样本对象的类型,及所述当前批次的训练子集中相应样本对象的标注信息及其样本权重值,调整所述对象识别初始模型,具体包括:
根据所述对象识别初始模型得到的各个样本对象的类型,及所述当前批次的训练子集中相应样本对象的标注信息及其样本权重值,计算与所述对象识别初始模型相关的损失函数;根据所述损失函数调整所述对象识别初始模型中的参数值。7.如权利要...

【专利技术属性】
技术研发人员:苑鹏程刘泽宇顾晓光
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1