朋友训练:用于从不同但相关的任务模型中学习的方法、系统和装置制造方法及图纸

技术编号:43006964 阅读:21 留言:0更新日期:2024-10-18 17:14
用于基于至少两个神经网络任务训练至少两个跨任务神经网络模型的方法、装置、非易失性计算机可读介质,包括:基于第一模型将多个第一伪标签映射到空间,并基于第二模型将多个第二伪标签映射到相同的所述空间,其中,所述多个第一伪标签与所述至少两个神经网络任务中的第一任务相关联;所述多个第二伪标签与所述至少两个神经网络任务中的第二任务相关联;基于所述映射,计算匹配得分,所述匹配得分指示所述多个第一伪标签与所述多个第二伪标签之间的跨任务匹配;基于所述匹配得分和与所述第一模型和所述第二模型相关联的准确度,选择至少一个跨任务伪标签;及,基于所述至少一个跨任务伪标签,训练所述至少两个跨任务神经网络模型。

【技术实现步骤摘要】
【国外来华专利技术】

本申请涉及使用人工智能和机器学习的语言处理,尤其涉及训练不同但相关的任务。


技术介绍

1、许多不同的机器学习算法,诸如自监督学习、半监督学习和弱监督学习,旨在使用未标记数据来进行有效地训练。随着未标记数据的可用性的增加,上述监督学习算法更受关注。自训练是一种半监督学习机制,其目的是通过利用未标记数据的伪标签来提高模型性能,并已成功应用于计算机视觉、自然语言处理等领域。

2、然而,当前的自训练算法主要集中于单个任务,并且通常集中于单个数据集。当前的自训练算法,由于它们的单独应用,没有利用跨相关任务的输入的共享属性。

3、因此,监督学习需要新的方法、算法、系统和装置,以便从不同的任务类型中学习并分析跨相关任务共享的这些输入的某些属性。


技术实现思路

1、根据本申请实施例,提供了一种用于基于至少两个神经网络任务训练至少两个跨任务神经网络模型的方法,所述方法由至少一个处理器执行,所述方法包括:

2、基于第一模型将多个第一伪标签映射到空间,并基于第二模型将多个第二伪标签映射到相同的所本文档来自技高网...

【技术保护点】

1.一种用于基于至少两个神经网络任务训练至少两个跨任务神经网络模型的方法,其特征在于,所述方法由至少一个处理器执行,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述映射指示所述第一伪标签和所述第二伪标签的相似性度量。

3.根据权利要求1所述的方法,其特征在于,所述选择至少一个跨任务伪标签基于阈值完全一致准则。

4.根据权利要求1所述的方法,其特征在于,所述匹配得分是0与1之间的值。

5.根据权利要求1所述的方法,其特征在于,计算所述匹配得分是基于所述多个第一伪标签与所述多个第二伪标签之间的编辑距离。

6.根据权利要...

【技术特征摘要】
【国外来华专利技术】

1.一种用于基于至少两个神经网络任务训练至少两个跨任务神经网络模型的方法,其特征在于,所述方法由至少一个处理器执行,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述映射指示所述第一伪标签和所述第二伪标签的相似性度量。

3.根据权利要求1所述的方法,其特征在于,所述选择至少一个跨任务伪标签基于阈值完全一致准则。

4.根据权利要求1所述的方法,其特征在于,所述匹配得分是0与1之间的值。

5.根据权利要求1所述的方法,其特征在于,计算所述匹配得分是基于所述多个第一伪标签与所述多个第二伪标签之间的编辑距离。

6.根据权利要求1所述的方法,其特征在于,与所述第一模型和所述第二模型相关联的所述准确度包括:

7.根据权利要求1所述的方法,其特征在于,所述至少两个神经网络任务具有部分相关的预测任务。

8.根据权利要求7所述的方法,其特征在于,所述部分相关的预测任务是通过至少两个转换函数,实现部分地相关,其中,所述至少两个转换函数包括所述至少两个神经网络任务的可能子预测的子集。

9.根据权利要求8所述的方法,其特征在于,所述至少两个转换函数是确定性的。

10.一种用于基于至少两个神经网络任务训练至少两个跨任务神经网络模型的装置,其特征在于,所述装置包括:

11.根据权利要求10所述的装置,其特征在于,所述映射指示所述第一伪标签和所述第二伪标签的相似...

【专利技术属性】
技术研发人员:金立峰
申请(专利权)人:腾讯美国有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1