一种基于多重注意力机制的法律文本阅读理解问答模型制造技术

本发明专利技术提出了一种基于多重注意力机制的法律文本阅读理解问答模型，所述方法包括以下步骤：首先将法律文本进行分片，输入至预训练模型中进行编码，然后为了解决分片后文本片段间远程注意力不足的问题，将加入一个Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强。在问题也送入编码层后，增强过的上下文信息和问题的嵌入向量将会进行双向的attention，得到上下文和问题双向编码向量后，将其作为多任务模块的输入，最终得到最后答案和线索句子的输出。目前针对中文机器阅读理解问答的数据集和研究还较少，尤其是在特定的领域内的研究。本发明专利技术解决了法律长文本超出预训练模型字数限制的问题，提高了线索句子判别的准确率，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。对实现司法智能化有着非常重要的作用。对实现司法智能化有着非常重要的作用。

【技术实现步骤摘要】
一种基于多重注意力机制的法律文本阅读理解问答模型


[0001]本专利技术涉及一种基于多重注意力机制的法律文本阅读理解问答模型，属于自然语言处理领域。

技术介绍

[0002]机器阅读理解的一般架构如图2所示，从图中可以看出，编码层的作用是对文章和问题进行底层的处理，将文本转化成数字编码。交互层的作用是让模型聚焦文章和问题的语义联系，借助于文章的语义分析加深对问题的理解，同时借助于问题的语义分析加深对文章的理解。输出层是通过语义分析结果和答案的类型生成模型来得到最后的输出结果。现有的机器阅读理解模型大多都是在此框架下，在各层使用不同的算法，来获得表现更加优异的模型。
[0003]本专利技术在此框架下，改进了子结构，并丰富输出层，使其能适用于多种任务类型的问答。

技术实现思路

[0004]本专利技术提出一种基于多重注意力机制的法律文本阅读理解问答模型。本专利技术的目的在于解决法律长文本超出预训练模型字数限制的问题，提高线索句子判别的准确率，从而优化机器阅读理解问答，实现司法智能化。
[0005]本专利技术技术方案如下：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重注意力机制的法律文本阅读理解问答模型，该算法包括以下步骤：步骤1：将法律文本进行分片，输入至预训练模型中进行编码。文本编码模块的主要作用是实现对文本和问题的encoder，得到双方的表示向量，并作为下游任务的输入，来更好地完成下游任务。步骤2：通过Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强。标准的BERT实现将输入大小限制为固定数量(通常为512)的tokens。实际的法律文本常常远远超过512个字的字数限制，针对这个问题提出了一种用于增强长文本的上下文依赖性的attention机制，即Memory Attention机制。步骤3：增强的上下文信息和问题的嵌入向量进行双向的attention，得到上下文和问题双向编码向量。步骤4：上下文和问题双向编码向量输入到多任务模块，得到最后答案和线索句子的输出。多任务联合训练是通过共享相同的上层任务，再各自独享单独的下层任务来实现的，可以避免针对不同的任务进行重复地编码，提高模型的效率。2.如权利要求1所属方法，其特征在于，步骤2提出一种用于增强长文本的上下文依赖性的attention机制，即Memory Attention机制。Memory Attention的主要思想是对输入进行两次处理：第一次处理为将长文本输入切分为一组短文本段，这些短文本段可以独立并行地阅读；第二次处理为编码器再次读取每个片段，然后...

【专利技术属性】
技术研发人员：周焕来，曾靓，唐小龙，刘彤，漆龙，李嘉豪，张民，贾海涛，
申请(专利权)人：成都量子矩阵科技有限公司，
类型：发明
国别省市：