一种多任务学习模型训练的方法及相关装置制造方法及图纸

本申请公开了一种多任务学习模型训练的方法及相关装置，该方法包括：相互关联的多个目标任务的训练数据输入多任务深度神经网络中多个深度神经网络共享的编码层获得训练数据的语句向量；根据训练数据的目标任务标识将训练数据的语句向量输入对应的深度神经网络的解码层获得训练数据的训练结果；基于训练数据的训练结果、训练数据的标记结果训练多任务深度神经网络获得目标多任务学习模型。可见，采用多任务深度神经网络进行多个目标任务的机器学习，多个目标任务之间相互帮助、共同学习，充分挖掘多个目标任务之间丰富的关联信息，大大提升模型的泛化效果，避免模型出现过拟合现象；且多任务学习集中部署减少机器资源消耗，降低机器成本。

【技术实现步骤摘要】
一种多任务学习模型训练的方法及相关装置
本申请涉及机器学习
，尤其涉及一种多任务学习模型训练的方法及相关装置。
技术介绍
随着科技的快速发展，机器学习应用于各个领域，例如，输入法领域。一般地，机器学习应用于输入法领域是单任务学习，即，一次机器学习只学习一个单独的任务。例如，输入法领域中输入联想、智能回复或智能纠错等是一个单独的输入法功能，每个输入法功能被当作一个单独的任务进行机器学习，即，输入联想任务、智能回复任务或智能纠错任务等均是单任务学习。但是，专利技术人经过研究发现，输入法领域中某些当作单独的任务的输入法功能之间存在关联性，例如，输入联想、智能回复和智能纠错等均是基于历史输入内容进行推荐的输入法功能，则输入联想任务、智能回复任务和智能纠错任务等这些任务是相互关联的任务。相互关联的任务分别进行单任务学习，往往忽略了这些任务之间丰富的关联信息，影响单任务学习得到的模型泛化效果，导致单任务学习得到的模型容易过拟合；且任务部署时单独的任务需要单独部署在单台机器上，单独的任务较多时需消耗较多机器资源，机器成本过高。专本文档来自技高网...

【技术保护点】
1.一种多任务学习模型训练的方法，其特征在于，应用于安装输入法应用程序的设备，包括：/n将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，所述共享编码层是指所述多任务深度神经网络中多个深度神经网络共享的编码层；/n基于所述训练数据的目标任务标识将所述训练数据的语句向量输入对应的深度神经网络的解码层获得所述训练数据的训练结果；/n基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型。/n

【技术特征摘要】
1.一种多任务学习模型训练的方法，其特征在于，应用于安装输入法应用程序的设备，包括：
将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，所述共享编码层是指所述多任务深度神经网络中多个深度神经网络共享的编码层；
基于所述训练数据的目标任务标识将所述训练数据的语句向量输入对应的深度神经网络的解码层获得所述训练数据的训练结果；
基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型。


2.根据权利要求1所述的方法，其特征在于，所述共享编码层包括共享词向量层和共享语句向量层，所述将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，包括：
将所述多个目标任务的训练数据输入所述多任务深度神经网络的共享词向量层获得所述训练数据对应的词向量；
将所述训练数据对应的词向量输入所述多任务深度神经网络的共享语句向量层获得所述训练数据的语句向量。


3.根据权利要求1所述的方法，其特征在于，所述训练的方法包括深度学习反向传播算法和Adam优化算法。


4.根据权利要求3所述的方法，其特征在于，所述基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型，包括：
基于所述训练数据的训练结果、所述训练数据的标记结果获得对应的深度神经网络的损失函数；
根据所述损失函数更新所述多任务深度神经网络的网络参数获得所述目标多任务学习模型。


5.根据权利要求4所述的方法，其特征在于，所述训练结束条件为所述多任务深度神经网络中多个所述深度神经网络的损失函数均收敛或所述多任务深度神经网络的迭代次数达到预设迭代次数。


6.根据权利要求2所述的方法，其特征在于，所述多个目标任务包括输入联想任务、智能回复任务和智能纠错任务中任意两个或三个。

【专利技术属性】
技术研发人员：黄海兵，庞帅，张扬，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京;11