一种基于异步分层图神经网络的法律文本多跳阅读理解方法技术

本发明专利技术提出了一种基于异步分层图神经网络的法律文本多跳阅读理解方法，所述方法包括以下步骤：将法律文本进行分片，输入预训练模型中进行编码；通过Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强；在问题也送入编码层后，增强过的上下文信息和问题的嵌入向量将会进行双向的attention，得到上下文和问题双向编码向量；上下文和问题双向编码向量经过异步分层图网络多跳推理模块，在各层进行异步更新；通过多任务模块获得目标的答案和线索句子，以及整个推理路径。本发明专利技术提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。法智能化有着非常重要的作用。法智能化有着非常重要的作用。

【技术实现步骤摘要】
一种基于异步分层图神经网络的法律文本多跳阅读理解方法


[0001]本专利技术涉及一种基于异步分层图神经网络的法律文本多跳阅读理解方法，属于自然语言处理领域。

技术介绍

[0002]机器阅读理解的一般架构如图2所示，从图中可以看出，编码层的作用是对文章和问题进行底层的处理，将文本转化成数字编码。交互层的作用是让模型聚焦文章和问题的语义联系，借助于文章的语义分析加深对问题的理解，同时借助于问题的语义分析加深对文章的理解。输出层是通过语义分析结果和答案的类型生成模型来得到最后的输出结果。现有的机器阅读理解模型大多都是在此框架下，在各层使用不同的算法，来获得表现更加优异的模型。
[0003]本专利技术在此框架下，改进了子结构，并丰富输出层，使其能适用于多种任务类型的问答。

技术实现思路

[0004]本专利技术提出一种基于异步分层图神经网络的法律文本多跳阅读理解方法。本专利技术的目的在于提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。
[0005]本专利技术技术方案如下：
[0006]首先将法律文本进行分片，输入至预训练模型中进行编码；
[0007]为了解决分片后文本片段间远程注意力不足的问题，将加入一个Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强；
[0008]在问题也送入编码层后，增强过的上下文信息和问题的嵌入向量将会进行双向的attention，得到上下文和问题双向编码向量；
[0009]上下文和问题双向编码向量经过异步分层图网络多跳推理模块，在句子
‑
句子层、句子
‑
实体层、实体
‑
实体层、实体
‑
句子层进行异步更新；
[0010]通过多任务模块，获得目标的答案和线索句子，以及整个推理的路径。
[0011]本专利技术的有益效果为：目前的机器阅读理解问答算法对于解决只需要单步推理的问题已经能达到很高的准确率，但是在需要多步推理阅读理解问答上的表现还尚有进步的空间，需要多步推理才能得到答案的阅读理解问答也叫多跳阅读理解。同时，大部分端到端的阅读理解模型缺乏对预测过程的可解释性的推理链。本专利技术提高了机器阅读理解问答算法在多步推理上的准确率，并提高了其推理链的可解释性，从而优化了机器阅读理解问答，对实现司法智能化有着非常重要的作用。
[0012]附图和附表说明
[0013]图1为MLTRC
–
AHGNN算法网络结构；
[0014]图2为机器阅读理解一般流程；
[0015]图3为BERT的模型结构；
[0016]图4为Memory Attention的模型结构；
[0017]图5为Bidirectional Attention的具体模型架构图；
[0018]图6为异步推理过程。
具体实施方式
[0019]下面将会描述该算法的思路，并给出算法的具体步骤。
[0020]步骤一：将法律文本进行分片，输入至预训练模型中进行编码。
[0021]文本编码模块的主要作用是实现对文本和问题的encoder，得到双方的表示向量，并作为下游任务的输入，来更好地完成下游任务。本算法将首先采用BERT作为编码层模块，同时将在后续实验中给出使用其他预训练模型，如AlBERT、RoBERTa等模型的效果对比。
[0022]BERT是一个预训练的语言表征模型。其主要的模型结构如图3所示。下面将介绍BERT模型的具体内容：
[0023]1)输入表示：
[0024]BERT的输入分别是positon、token和segmentation的embedding的叠加。大多数的深度学习模型都是只将每一个词(token)送入token embedding层中，得到每个词的向量形式。而BERT增加了position和segmentation两个嵌入层获取了上下文的更多信息，拥有了更好的编码效果。
[0025]Token embedding层的目的是使句子中每一个单词变成确定维度的vector，在标准的BERT中，这个维度是768。输入的文本首先将进行tokenization的处理后，才会被送入token embedding层，并且tokenization的结果的开头和结尾分别会被插入[CLS]和[SEP]。[CLS]和[SEP]用于后续的划分句子以及分类任务。Tokenization使用的方法是数据驱动式的WordPiece tokenization方法，目的在于计算oov词的个数和衡量词典的大小。每一个WordPiece token在经过Token embeddings层后，会被转换成一个768维的向量。
[0026]Segment embedding层是用来区分一个句子对中的两个句子，它使得BERT能够解决输入是句子对的分类任务。例如，两个句子的语义是否相似，则会将两个句子进行简单的拼接后一起送入模型中。Segment embeddings层只有两种向量的表示。前面一种向量是将第一个句子的各种token赋值为0，后面一种向量是将第二个句子中的各种token赋值为1。当输入仅为1个句子的时候，segmen embedding将全部为0。
[0027]Poisiton embedding实际上是一个lookup表，其大小为(512,768)。表中的第几行表示的是该token在序列中的第几个位置。Positon embedding解决了输入序列的顺序性的问题，这使得BERT可以对出现在不同位置的相同词语有不同的向量表示。
[0028]2)masking语言模型
[0029]BERT通过masking语言模型来融合上下文的信息。具体的做法是：模型会随机挑选文本中15％的词，其中有80％会被[mask]替代，10％会被随机替换成其它的单词，剩下10％保持不变。然后要求模型来预测被选中的单词。模型为了成功的预测被选中的单词，则需要融合每个token的分布式上下文表示，因此BERT能够实现对上下文的特征进行提取。
[0030]3)Next Sentence Prediciton
[0031]BERT除了可以针对单词粒度进行训练，也可以理解句子之间的关系。BERT中的
Next Sentence Prediciton就是用于句子量级的训练任务。它的原理就是预训练一个二值化的Next Sentence Predition任务。
[0032]4)fine
‑
tuning
[0033]前三个步骤主要实现了BERT模型的预训练任务。如果要用BERT实现特定的下游任务，则需要在BERT之后连接一个额外的输出层。只要按BERT模型指定的格式输入训练数据，就可以通过学习较少的参数量来实现不同的下游任务。
[0034]步骤二：对分片后的文本片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异步分层图神经网络的法律文本多跳阅读理解方法，该算法包括以下步骤：步骤1：将法律文本进行分片，输入至预训练模型中进行编码。文本编码模块的主要作用是实现对文本和问题的encoder，得到双方的表示向量，并作为下游任务的输入，来更好地完成下游任务。步骤2：通过Memory Attention的模块，对分片后的文本片段的嵌入向量进行全局信息的增强。标准的BERT实现将输入大小限制为固定数量(通常为512)的tokens。然而实际的法律文本常常远远超过512个字的字数限制，针对这个问题提出了一种用于增强长文本的上下文依赖性的attention机制，即Memory Attention机制。步骤3：增强过的上下文信息和问题的嵌入向量进行双向的attention，得到上下文和问题双向编码向量。步骤4：上下文和问题双向编码向量经过异步分层图网络多跳推理模块，在句子
‑
句子层、句子
‑
实体层、实体
‑
实体层、实体
‑
句子层进行异步更新。每一次迭代，在词与问题进行交互后，节点根据不同层次的关系异步地相互传递消息。然后，问题也会通过句子节点进行更新，以便找到下一跳的线索。步骤5：通过多任务模块，获得目标的答案和线索句子，以及整个推理的路径。多任务联合训练是通过共享相同的上层任务，再各自独享单独的下层任务来实现的，可以避免针对不同的任务进行重复地编码，提高模型的效率。2.如权利要求1所属方法，其特征在于，步骤2提出一种用于增强长文本的上下文依赖性的attention机制，即Memory Attention机制。Memory Attention的主要思想是对输入进行两次处理：第一次处理为将长文本输入切分为一组短文本段，这些短文本段可以独立并行地阅读；第二次处理为编码器再次读取每个片段，然后使用...

【专利技术属性】
技术研发人员：周焕来，曾靓，唐小龙，刘彤，乔磊崖，李家伟，张民，贾海涛，
申请(专利权)人：成都量子矩阵科技有限公司，
类型：发明
国别省市：