System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 多任务学习的数据处理方法、装置、计算机设备及介质制造方法及图纸_技高网

多任务学习的数据处理方法、装置、计算机设备及介质制造方法及图纸

技术编号:40709898 阅读:2 留言:0更新日期:2024-03-22 11:11
本申请实施例公开了一种多任务学习的数据处理方法、装置、计算机设备及介质,该方法包括:获取样本数据集,样本数据集包括多个样本数据,每个样本数据包括待查询词和第一文本;将每个样本数据输入预设的深度学习模型,得到每个样本数据的预测数据,预测数据包括判别任务的预测数据以及生成任务的预测数据;根据预测数据从判别任务和生成任务中确定出目标任务,并利用目标任务对预设的深度学习模型进行训练,得到多任务学习模型;将待处理数据输入多任务学习模型,生成多任务数据。通过多任务模型可以有效生成与待处理数据相关的多任务数据,有助于提高模型的可靠性以及提高模型生成数据的准确性和有效性。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及一种多任务学习的数据处理方法、装置、计算机设备及介质


技术介绍

1、随着计算机技术的发展,多任务学习(multi-task learning,mtl)技术已被逐渐应用到多个领域中。目前,针对相关性搜索的场景,常用深度学习模型搜索与待查询数据相关的数据,通常是通过判别待查询数据与生成数据之间的相关性来确定生成数据与待查询数据的相关度。然而,确定的生成数据与待查询数据可能会出现相关度低的情况,因此,如何更有效地生成与待查询数据相关联的数据非常重要。


技术实现思路

1、本申请实施例提供了一种多任务学习的数据处理方法、装置、计算机设备及介质,可以通过训练得到的多任务模型有效生成与待处理数据相关的多任务数据,有助于提高模型的可靠性以及数据处理准确性和有效性。

2、第一方面,本申请实施例提供了一种多任务学习的数据处理方法,包括:

3、获取样本数据集,所述样本数据集包括多个样本数据,每个样本数据包括待查询词和第一文本;

4、将所述每个样本数据输入预设的深度学习模型,得到所述每个样本数据的预测数据,所述预测数据包括判别任务的预测数据以及生成任务的预测数据;

5、根据所述预测数据从所述判别任务和所述生成任务中确定出目标任务,并利用所述目标任务对所述预设的深度学习模型进行训练,得到多任务学习模型;

6、获取待处理数据,并将所述待处理数据输入所述多任务学习模型,生成所述待处理数据对应的多任务数据。

7、第二方面,本申请实施例提供了一种多任务学习的数据处理装置,包括:

8、获取单元,用于获取样本数据集,所述样本数据集包括多个样本数据,每个样本数据包括待查询词和第一文本;

9、确定单元,用于将所述每个样本数据输入预设的深度学习模型,得到所述每个样本数据的预测数据,所述预测数据包括判别任务的预测数据以及生成任务的预测数据;

10、训练单元,用于根据所述预测数据从所述判别任务和所述生成任务中确定出目标任务,并利用所述目标任务对所述预设的深度学习模型进行训练,得到多任务学习模型;

11、处理单元,用于获取待处理数据,并将所述待处理数据输入所述多任务学习模型,生成所述待处理数据对应的多任务数据。

12、第三方面,本申请实施例提供了一种计算机设备,所述计算机设备包括:处理器和存储器,所述处理器用于执行上述第一方面所述的方法。

13、第四方面,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有程序指令,该程序指令被执行时实现上述第一方面所述的方法。

14、本申请实施例可以获取样本数据集,该样本数据集包括多个样本数据,每个样本数据包括待查询词和第一文本;将每个样本数据输入预设的深度学习模型,得到每个样本数据的预测数据,该预测数据包括判别任务的预测数据以及生成任务的预测数据;根据该预测数据从该判别任务和该生成任务中确定出目标任务,并利用该目标任务对该预设的深度学习模型进行训练,得到多任务学习模型;获取待处理数据,并将该待处理数据输入该多任务学习模型,生成该待处理数据对应的多任务数据。通过训练得到的多任务模型可以有效生成与待处理数据相关的多任务数据,有助于提高多任务模型的可靠性以及提高模型生成数据的准确性和有效性。

本文档来自技高网...

【技术保护点】

1.一种多任务学习的数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述每个样本数据输入预设的深度学习模型,得到所述每个样本数据的预测数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述为所述每个样本数据的待查询词和第一文本添加起始符、分隔符以及分类符,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述预测数据从所述判别任务和所述生成任务中确定出目标任务,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述预测数据中各个待查询词与对应的第一文本的相关度,从所述判别任务和生成任务中确定出目标任务,包括:

6.根据权利要求5所述的方法,其特征在于,所述利用所述目标任务对所述预设的深度学习模型进行训练,得到多任务学习模型,包括:

7.根据权利要求5所述的方法,其特征在于,所述利用所述目标任务对所述预设的深度学习模型进行训练,得到多任务学习模型,包括:

8.一种多任务学习的数据处理装置,其特征在于,包括:

9.一种计算机设备,其特征在于,包括处理器和存储器,所述处理器和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序指令,该程序指令被执行时实现如权利要求1-7任一项所述的方法。

...

【技术特征摘要】

1.一种多任务学习的数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述每个样本数据输入预设的深度学习模型,得到所述每个样本数据的预测数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述为所述每个样本数据的待查询词和第一文本添加起始符、分隔符以及分类符,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述预测数据从所述判别任务和所述生成任务中确定出目标任务,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述预测数据中各个待查询词与对应的第一文本的相关度,从所述判别任务和生成任务中确定出目标任务,包括:

6.根据权利要求5所述的方法,其特征在于...

【专利技术属性】
技术研发人员:王树森
申请(专利权)人:小红书科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1