多任务模型的特征提取方法及装置制造方法及图纸

本说明书实施例提供了多任务模型的特征提取方法及装置，其中，一种多任务模型的特征提取方法包括：获取多任务模型的前一共享层的输出特征；将所述输出特征输入后一共享层进行注意力特征提取，获得共享注意力特征；将所述共享注意力特征与各任务的前一子提取层的输出特征，输入对应任务的后一子提取层进行任务特征提取，输出目标特征。输出目标特征。输出目标特征。

【技术实现步骤摘要】
多任务模型的特征提取方法及装置


[0001]本文件涉及数据处理
，尤其涉及一种多任务模型的特征提取方法及装置。

技术介绍

[0002]多任务学习是给定多个学习任务，在给定的多个学习任务中全部或者部分任务相关但不完全相同的情况下，是利用多个学习任务中包含的有用信息帮助各任务学习得到更为准确的结果，多任务学习模型可以在机器学习过程中实现多个任务的参数共享，从而实现了多个任务共同学习，是利用多个学习任务中包含的有用信息帮助各任务学习得到更为准确的学习器。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种多任务模型的特征提取方法，包括：获取多任务模型的前一共享层的输出特征。将所述输出特征输入后一共享层进行注意力特征提取，获得共享注意力特征。将所述共享注意力特征与各任务的前一子提取层的输出特征，输入对应任务的后一子提取层进行任务特征提取，输出目标特征。
[0004]本说明书一个或多个实施例提供了一种多任务模型的特征提取装置，包括：特征获取模块，被配置为获取多任务模型的前一共享层的输出特征。注意力特征提取模块，被配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务模型的特征提取方法，包括：获取多任务模型的前一共享层的输出特征；将所述输出特征输入后一共享层进行注意力特征提取，获得共享注意力特征；将所述共享注意力特征与各任务的前一子提取层的输出特征，输入对应任务的后一子提取层进行任务特征提取，输出目标特征。2.根据权利要求1所述的多任务模型的特征提取方法，所述多任务模型包括至少两个共享层以及至少两个特征提取层，每个特征提取层包括与任务数目相等的子提取层，每个特征提取层的子提取层与任务一一对应。3.根据权利要求1所述的多任务模型的特征提取方法，所述将所述输出特征输入后一共享层进行注意力特征提取，获得共享注意力特征，包括：将随机向量和所述输出特征输入第一注意力模块进行注意力计算；将所述输出特征与注意力计算获得的注意力特征输入第二注意力模块进行注意力计算，获得所述共享注意力特征。4.根据权利要求3所述的多任务模型的特征提取方法，所述第一注意力模块和所述第二注意力模块包括基于多头注意力的神经网络；以及，在注意力计算过程中采用反向传播进行所述随机向量的特征提取分量参数学习。5.根据权利要求1所述的多任务模型的特征提取方法，所述将所述共享注意力特征与各任务的前一子提取层的输出特征，输入对应任务的后一子提取层进行任务特征提取，输出目标特征，包括：针对任一任务的子提取层，采用如下方式进行特征提取：在所述共享注意力特征中提取该任务的任务注意力特征；根据该任务的前一子提取层的输出特征以及该任务的任务注意力特征，确定该任务的任务特征。6.根据权利要求5所述的多任务模型的特征提取方法，所述在所述共享注意力特征中提取该任务的任务注意力特征，包括：将所述共享注意力特征输入该任务的基于注意力的神经网络进行任务注意力计算，获得该任务的任务注意力特征。7.根据权利要求5所述的多任务模型的特征提取方法，所述根据该任务的前一子提取层的输出特征以及该任务的任务注意力特征，确定该任务的任务特征，包括：将该任务的前一子提取层的输出特征与该任务的任务注意力特征相加；对相加获得的特征进行归一化处理，获得该任务的任务特征。8.根据权利要求1所述的多任务模型的特征提取方法，还包括：对各任务的损失进行加权计算，获得训练损失；根据所述训练损失对所述多任务模型进行参数调整。9.根据权利要求8所述的多任务模型的特征提取方法，所述对所述多任务模型进行参数调整，包括下述至少一项...

【专利技术属性】
技术研发人员：周泳宇，马琼旭，李少帅，孟令勋，徐武将，赵云安，郭晓波，郭乃诚，
申请(专利权)人：浙江网商银行股份有限公司，
类型：发明
国别省市：