The invention relates to a question answering method based on Multi-task learning, which belongs to the field of artificial intelligence, including steps: S1: equipping each task with a task-specific Siamese encoder, encoding pre-processed sentences into distributed vector representations; S2: sharing advanced information among different tasks using a shared representation learning layer; S3: task-specific classification of softmax layer. For Question and Answer Right in Task K
【技术实现步骤摘要】
基于多任务学习的问答方法
本专利技术属于人工智能领域,涉及一种基于多任务学习(multi-tasklearning,MTL)的问答方法,利用从不同角度学习的注意力同时处理答案选择和知识库问答任务。
技术介绍
问答系统是一种重要而又具有挑战性的自然语言处理应用。近年来,深度神经网络在问答任务中的应用取得了许多成功,但是不同的问答任务是单独解决的,为特定任务设计和培训各种模型既费时又费钱。近来,在许多自然语言处理任务中,多任务学习被广泛研究用来同时解决多个相关任务。多任务学习在自然语言处理领域的应用非常广泛,如文本分类、序列标记、文本摘要等。然而,多任务学习在问答系统中的应用却很少受到关注。答案选择和知识库问答是问答系统的两个重要任务。现有的方法分别解决这两个任务,需要大量的重复工作,而忽略任务之间丰富的相关信息。为了实现联合学习这两项任务的目的,本专利提出一种新的多任务学习方案来同时解决答案选择和知识库问答任务,利用从不同角度学习的多视角注意力,使这些任务能够相互交互,学习更全面的句子表示。
技术实现思路
有鉴于此,本专利技术的目的在于提供一种基于多任务学习(multi ...
【技术保护点】
1.一种基于多任务学习的问答方法,其特征在于:包括以下步骤:S1:为每个任务配备特定于任务的siamese编码器,将预处理后的句子编码为分布式向量表示;S2:利用一个共享的表示学习层在不同的任务之间共享高级信息;S3:特定于任务的softmax层分类,对于第k个任务中的问答对
【技术特征摘要】
1.一种基于多任务学习的问答方法,其特征在于:包括以下步骤:S1:为每个任务配备特定于任务的siamese编码器,将预处理后的句子编码为分布式向量表示;S2:利用一个共享的表示学习层在不同的任务之间共享高级信息;S3:特定于任务的softmax层分类,对于第k个任务中的问答对及其标签最后的特征表示形式被输入特定于任务的softmax层进行二进制分类;S4:多任务学习:训练多任务学习模型,使交叉熵损失函数最小化。2.根据权利要求1所述的基于多任务学习的问答方法,其特征在于:步骤S1中,每个特定于任务的siamese编码器都包含一个单词编码器和一个知识编码器,用于学习完整的句子表示。3.根据权利要求2所述的基于多任务学习的问答方法,其特征在于:所述单词编码器使用双向长短期记忆网络Bi-LSTM捕获上下文信息,所述单词编码器的输入为词向量表示序列Ew={ew1,ew2,···,ewl},第l个词的输出用表示,其中为前向网络的输出,为后向网络的输出,给定问题q和答案a的一对序列,为问题和答案生成基于单词的句子表示即,其中L和dh分别表示句子的长度和隐藏单元的大小。4.根据权利要求3所述的基于多任务学习的问答方法,其特征在于:所述知识编码器的输入为知识向量表示序列Ek={ek1,ek2,···,ekl},所述知识向量表示序列是由一系列符号化的实体或关系名组成的,由于实体长度的不确定性,采用多个不同大小...
【专利技术属性】
技术研发人员:李鹏华,赵芬,朱智勤,袁宇鹏,李小飞,
申请(专利权)人:重庆邮电大学,
类型:发明
国别省市:重庆,50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。