一种层级对齐结构的问答立场检测方法及装置制造方法及图纸

本发明专利技术公开了一种层级对齐结构的问答立场检测方法及装置，包括：分别将问题文本与回答文本转换为问题序列与回答序列；拼接问题序列与回答序列，得到问题回答序列；将问题序列、回答序列及问题回答序列输入层次对齐模型，得到问答立场检测结果。本发明专利技术的层次对齐模型，先使用了BERT预训练模型得到粗粒度的立场表示，然后从QA对中的问题和回答两方面进行了概念级别的目标对齐和证据级别的信息对齐，得到了由粗到精的立场表示，从而在问答立场检测任务上可以获得更高的准确率和F1值。务上可以获得更高的准确率和F1值。务上可以获得更高的准确率和F1值。

【技术实现步骤摘要】
knowledge.In:Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.pp.3188{3197.Association for Computational Linguistics,Online(Jul 2020))和文献(Slovikovskaya,V.,Attardi,G.:Transfer learning from transformers to fake news challenge stance detection(FNC
‑
1)task.In:Proceedings of the 12th Language Resources and Evaluation Conference.pp.1211{1218.European Language Resources Association,Marseille,France(May 2020))，在多种目标间使用了迁移知识，这些目标主要是实体、声明或短语。
[0004]问答立场检测是以问答文本中的问题为目标，识别回答文本中的立场。给定一个问题
‑
回答(QA)对，最新的方法提出了一个循环条件注意力网络(Yuan,J.,Zhao,Y.,Xu,J.,Qin,B.:Exploring answer stance detection with recurrent conditional attention.In:The Thirty
‑
ThirdAAAI Conference on Artificial Intelligence,AAAI 2019,The Thirty
‑
First Innovative Applications of Artificial Intelligence Conference,IAAI 2019,The Ninth AAAI Symposium on Educational Advances in Artificial Intelligence,EAAI 2019,Honolulu,Hawaii,USA,January 27
‑
February 1,2019.pp.7426{7433.AAAI Press(2019))，为问题和回答的关系建模，通过循环阅读调整立场的状态，最终得到回答文本的立场。解决问答立场检测任务，模型不仅要理解问答文本中的语义，还要为问题和回答文本之间的关系进行建模。
[0005]此外，立场检测子任务谣言立场检测(Gorrell,G.,Kochkina,E.,Liakata,M.,Aker,A.,Zubiaga,A.,Bontcheva,K.,Derczynski,L.:SemEval
‑
2019task 7:RumourEval,determining rumour veracity and support for rumours.In:Proceedings of the 13th International Workshop on Semantic Evaluation.pp.845{854.Association for Computational Linguistics,Minneapolis,Minnesota,USA(Jun 2019))和假新闻立场检测(Gorrell,G.,Kochkina,E.,Liakata,M.,Aker,A.,Zubiaga,A.,Bontcheva,K.,Derczynski,L.:SemEval
‑
2019task 7:RumourEval,determining rumour veracity and support for rumours.In:Proceedings of the 13th International Workshop on Semantic Evaluation.pp.845{854.Association for Computational Linguistics,Minneapolis,Minnesota,USA(Jun 2019))关注文本的语义信息建模，而问答立场检测更关注如何学习QA之间相互关联，为指定目标下的立场表示进行建模。问答立场检测的相关任务还有依赖于目标的情感分析(Gorrell,G.,Kochkina,E.,Liakata,M.,Aker,A.,Zubiaga,A.,Bontcheva,K.,Derczynski,L.:SemEval
‑
2019task 7:RumourEval,determining rumour veracity and support for rumours.In:Proceedings of the 13th International Workshop on Semantic Evaluation.pp.845{854.Association for Computational Linguistics,Minneapolis,Minnesota,USA(Jun 2019))，后者的目标是学习目标相关的表示，而前者还需要找到与整个问题相关的目标和证据信息。
[0006]现有的技术应用在问答立场检测任务中都忽略了以下两个问题。第一，在问答立场检测中，立场与问题文本中概念相关的目标有关，但出现在问题和回答文本中表示相同概念的词可能不一致，应进行目标对齐。第二，回答文本中可能包含不止一个概念相关的目标，额外的目标信息会对识别立场产生干扰，应进行上下文对齐，设法找到可以支持问题文本的内容，即证据相关的上下文。

技术实现思路

[0007]本专利技术提出了一种层级对齐结构的问答立场检测方法及装置，通过概念相关的目标对齐和证据相关的上下文对齐的方法，解决了问答立场检测任务中QA对中与概念相关的目标和与证据相关的上下文可能不一致的问题，并对立场进行了由粗到精的向量表示，可以有效地提升问答立场检测任务效果，准确地识别QA对中针对问题的回答文本所携带的立场。
[0008]为了实现上述目的，本专利技术提供了如下的技术方案：
[0009]一种层级对齐结构的问答立场检测方法，其步骤包括：
[0010]1)分别将问题文本与回答文本转换为问题序列与回答序列；
[0011]2)拼接问题序列与回答序列，得到问题回答序列；
[0012]3)将问题序列、回答序列及问题回答序列输入层次对齐模型，得到问答立场检测结果；
[0013]其中，通过以下步骤获取问答立场检测模型：
[0014]a)分别将若干样本问题文本与若干样本回答文本转换为样本问题序列与样本回答序列，并拼接样本问题序列与相应的样本回答序列，得到若干样本问题回答序列；
[0015]b)分别编码各样本问题序列、样本回答序列及样本问题回答序列，得到若干的问题序列表示S
Q
、回答序列表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种层级对齐结构的问答立场检测方法，其步骤包括：1)分别将问题文本与回答文本转换为问题序列与回答序列；2)拼接问题序列与回答序列，得到问题回答序列；3)将问题序列、回答序列及问题回答序列输入层次对齐模型，得到问答立场检测结果；其中，通过以下步骤获取问答立场检测模型：a)分别将若干样本问题文本与若干样本回答文本转换为样本问题序列与样本回答序列，并拼接样本问题序列与相应的样本回答序列，得到若干样本问题回答序列；b)分别编码各样本问题序列、样本回答序列及样本问题回答序列，得到若干的问题序列表示S
Q
、回答序列表示S
A
及粗粒度立场表示S
QA
；c)以问题序列表示S
Q
作为查询且将相应的回答序列表示S
A
作为键和值，获取若干的依赖于问题的回答表示表示M
Q
→
A
，以回答序列表示S
A
作为查询且将相应的回答序列表示S
Q
作为键和值，获取若干的依赖于回答的问题表示M
A
→
Q
，并连接依赖于问题的回答表示表示M
Q
→
A
与相应的依赖于回答的问题表示表示M
A
→
Q
，得到若干细粒度表示，记作D
QA
；d)基于多头注意力机制，对齐细粒度表示D
QA
与相应的粗粒度立场表示S
QA
之间证据相关的句子含义，得到若干的由粗到精立场向量表示O；e)通过对若干的由粗到精立场向量表示O进行分类，获取层次对齐模型。2.如权利要求1所述的方法，其特征在于，编码样本问题序列、样本回答序列及样本问题回答序列的方法包括：使用预训练BERT模型。3.如权利要求1所述的方法，其特征在于，通过以下步骤获取依赖于问题的回答表示M
Q
→
A
：1)以问题序列表示S
Q
作为查询且将相应的回答序列表示S
A
作为键和值，获取第一个回答
‑
问题匹配块的输出，其步骤包括：a)得到第i个头的输出其中其中是的维度，d为样本问题文本与样本回答文本转换为样本问题序列与样本回答序列的嵌入尺寸，h为头的数量，是可学习的参数，1≤i≤h；b)拼接h个头的输出，并对拼接结果进行线性投影运算，得到运算结果MATT(S
Q
，S
A
)＝[ATT1(S
Q
，S
A
)，ATT2(S
Q
，S
A...

【专利技术属性】
技术研发人员：付鹏，林政，刘欢，王伟平，孟丹，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：