一种问答任务的下游任务处理方法及模型技术

本发明专利技术公开了一种问答任务的下游任务处理方法及模型，得到关键信息感知的上下文表示H

【技术实现步骤摘要】
一种问答任务的下游任务处理方法及模型
本专利技术属于自然语言处理
，具体涉及一种问答任务的下游任务处理方法及模型。
技术介绍
机器阅读理解是自然语言处理中一项极具挑战的任务，旨在根据给定的上下文来确定问题的正确答案。常见的机器阅读理解任务按照答案形式分为完形填空、多项选择、片段抽取和自由回答。而最新发展起来的预训练语言模型，凭借其强大的文本的表征能力，在各项自然语言理解任务中取得了一系列的成功。这些预训练语言模型作为深度学习语言模型的编码器，用于提取相关文本的语言关联特征，并结合针对特定任务的下游数据处理结构进行微调。随着预训练语言模型的发展取得的巨大成功，人们将更多的注意力聚焦于深度学习语言模型的编码器端，导致针对特定任务定制的下游处理技术的发展进入瓶颈。虽然人们可以直接从结构类似的多种强大的编码器中获益，但是，把大规模语料库中蕴含的一般知识编码应用到拥有超大规模参数的语言模型，这是一件相当耗费时间和资源的事情。且由于目前的语言表征编码技术的发展缓慢，限制了预训练语言模型性能的进一步提升。这些均凸显了发展特定任务下的下游处理技术的重要性本文档来自技高网...

【技术保护点】
1.一种问答任务的下游任务处理方法，其特征在于，包括如下步骤：/nS1、将问题与上下文输入预训练语言模块，获取上下文的语言关联特征；/nS2、利用双向注意力机制基于上下文的语言关联特征得到关键信息感知的上下文表示H

【技术特征摘要】
1.一种问答任务的下游任务处理方法，其特征在于，包括如下步骤：
S1、将问题与上下文输入预训练语言模块，获取上下文的语言关联特征；
S2、利用双向注意力机制基于上下文的语言关联特征得到关键信息感知的上下文表示HCKey以及关键信息感知的问题表示HQKey；
S3、利用双向注意力流基于关键信息感知的上下文表示HCKey以及关键信息感知的问题表示HQKey，得到问题感知的上下文表示G；
S4、利用门机制基于问题感知的上下文表示G计算更新向量z和记忆权重g，利用更新向量z和记忆权重g更新问题感知的上下文表示G得到输出向量Gg；
S5、利用粒计算基于上下文的语言关联特征生成上下文粒度向量GC及序列粒度向量GCLS，基于上下文粒度向量GC、序列粒度向量GCLS及输出向量Gg生成多角度理解上下文以及上下文总体与局部的关系的输出向量Cout；
S6、将基于上下文的语言关联特征生成多角度理解上下文以及上下文总体与局部的关系的输出向量Cout通过线性层处理后，使用softmax计算上下文中每个字作为答案起止位置的概率，抽取概率最大的连续子序列作为答案。


2.如权利要求1所述的问答任务的下游任务处理方法，其特征在于，上下文的语言关联特征为H，H＝{h1,h2,h3,...,hs}，h1至hs表示上下文和问题拼接成的序列经过编码器编码后的表示，S表示上下文和问题拼接成的序列长度，步骤S2包括：
S201、基于上下文和问题在H中的位置，截取问题截取部分HQ和上下文截取部分HC，HQ＝{h2,h3,h4,...,hn+1}，HC＝{hn+3,hn+4,...,hn+m+2}，n表示问题词的长度，m表示上下文词的长度；
S202、构建相似性矩阵S，
S＝WS(HC,HQ,HC·HQ)
式中，WS为一个可训练矩阵；
S203、分别对相似性矩阵S的每行和每列进行softmax运算，得到S1和S2，S1表示对于每个上下文词，所有的问题词与之的相关性；S2表示对于每个问题词，所有的上下文词与之的相关性；S1＝softmax→(S)，S2＝softmax↓(S)；
S204、突出问题关键词和上下文关键词权重；
S205、基于下式生成关键信息感知的上下文表示HCKey以及关键信息感知的问题表示HQKey：
HCKey＝HC+HC⊙AC
HQKey＝HQ+HQ⊙AQ
式中，AC表示与问题关键词相关联的上下文关键部分注意力，AQ表示与上下文关键词相关联的问题关键部分注意力；
AC＝S2·SQkey
AQ＝S1·SCkey
式中，SQkey表示突出关键词的问题权重，SCkey表示突出关键词的上下文权重；
SQkey＝mean↓(S1)
SCkey＝mean→(S2)。


3.如权利要求2所述的问答任务的下游任务处理方法，其特征在于，步骤S3包括：
S301、基于下式得到和






S′＝WS′(HCKey,HQKey,HCKey·HQKey)
式中，表示对于每个上下文词，所有的问题词与之的相关性，表示对于每个问题词，所有的上下文词与之的相关性，S′表示问题词与上下文词在获得关键信息后，重新计算问题词...

【专利技术属性】
技术研发人员：王勇，雷冲，陈秋怡，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆;50