语法纠错方法及装置制造方法及图纸

本申请提供语法纠错方法及装置；涉及人工智能领域以及自然语言生成领域，能够利用输入文本的特征对输入文本进行语法纠错，提升语法纠错效果。并且，将特征和输入文本并行进行编码，有效提高语法纠错效率。该方法包括：获取输入文本以及输入文本的特征，对输入文本以及特征进行并行编码，获得对应的两个编码向量，利用两个编码向量获得输入文本向量，之后对输入文本向量进行解码，以获得语法纠错后的输出文本。本。本。

【技术实现步骤摘要】
语法纠错方法及装置


[0001]本申请实施例涉及人工智能领域以及自然语言生成领域，尤其涉及一种语法纠错方法及装置。

技术介绍

[0002]语言是必不可少的沟通手段，但是由于语言本身的复杂性，翻译人员或翻译软件往往难以避免会出现错误，影响语义表达的准确性。因此，在语言翻译过程中，为了进行检错和纠错，需要利用算法模型对输入语言进行自然语言处理，但是在自然语言处理过程中又难免会引入新的错误，如语法错误。
[0003]基于此，语法纠错(grammatical error correction，GEC)领域发展成为研究热点和难点。其中，基于序列到序列(sequence to sequence，seq2seq)的策略逐渐成为主流策略，seq2seq策略能够对一般语法错误进行检错和纠错。
[0004]但是，由于语法错误的多样性和随机性，现有语法纠错策略并不能高效充分的进行语法纠错，导致语法纠错效果不理想。

技术实现思路

[0005]本申请实施例提供的语法纠错方法及装置，能够利用输入文本的特征对输入文本进行语法纠错，提升语法纠错效果。并且，将特征和输入文本并行进行编码，有效提高语法纠错效率。
[0006]为达到上述目的，本申请实施例采用如下技术方案：
[0007]第一方面，本申请实施例提供一种语法纠错方法，该方法可以包括：获取输入文本，以及获取输入文本的特征。对特征执行第一编码过程，获得第一编码向量，并对输入文本执行第二编码过程，获得第二编码向量；第一编码过程和第二编码过程并行。利用第一编码向量和第二编码向量，获得输入文本向量。对输入文本向量进行解码，输出解码后的输出文本。
[0008]如此，利用特征向量参与语法纠错过程。不仅能够提升语法纠错的性能，使得纠错模型能够提供更具表达能力和可辨别性的编码词向量，为后续解码过程提供良好基础。并且，并行进行输入文本编码过程以及特征编码过程，还能够降低特征编码过程对纠错模型推理效率上的影响，提升语法纠错效率。
[0009]其中，第一编码向量也可以理解为外部特征编码向量，第二编码向量也可以理解为输入文本对应的编码向量。
[0010]在一种可能的实现方式中，利用第一编码向量和第二编码向量，获得输入文本向量，包括：获得第二编码向量中每一词向量与第一编码向量中的特征向量对应的权重，基于权重，获得输入文本向量。
[0011]在一些实施例中，获得第一编码向量和第二编码向量后，能够通过自注意力(self
‑
attention)机制将第一编码向量和第二编码向量进行结合，用于学习词与词之间的
关系，编码其上下文信息，从而获得输入文本向量。
[0012]示例性的，在attention机制中，纠错模型为第二编码向量的每个词向量对应的第一编码向量序列中的每一特征向量赋予不同的权重，从而抽取出更加关键以及重要的信息，使纠错模型能够做出更加准确的语法纠错判断，同时不会对纠错模型的计算和存储带来更大的开销。
[0013]比如，在注意力机制(attention)机制中，当前时刻t的编/解码向量s
t
(如第二编码向量中的时刻t对应的词向量)在使用注意力机制对另一个向量序列{h
j
}(如第一编码向量序列)进行语义抽取时，需要计算编/解码向量s
t
在向量序列{h
j
}中对应的权重α
tj
。其中，第一编码向量序列和第二编码向量序列的序列长度一致或存在对应关系。t和j为自然数。
[0014]在一种可能的实现方式中，第一编码向量与第二编码向量相对应；获得第二编码向量中每一词向量与第一编码向量中的特征向量对应的权重，包括：确定第一时刻时，第二编码向量中的第一词向量在第一编码向量中对应的第一特征向量；第一编码向量包含第一部分特征向量和第二部分特征向量，第一部分特征向量包含第一特征向量，第二部分特征向量不包含第一特征向量。获得第一词向量与第一部分特征向量中每一特征向量对应的第一权重，以及获得第一词向量与第二部分特征向量中按照预设规则抽取的特征向量对应的第二权重。
[0015]在一些实施例中，根据先验知识可知，与s
t
相关的语义信息一般存在于其当前所在的句子或者相邻句子当中，距离较远的文本中可能含有强相关语义信息的概率较低，且无关语义信息还可能对s
t
造成干扰。因此，采用根据词向量位置的自适应权重计算方法，计算s
t
对应的权重。
[0016]示例性的，以第二编码向量中包含的标点符号作为稠密权重与稀疏权重计算的划分节点，将对应与第二编码向量在同一句中强相关的第一编码向量进行稠密权重计算，将对应与第二编码向量不在同一句中非强相关的第一编码向量进行稀疏权重计算。
[0017]在一种可能的实现方式中，获取输入文本的特征，包括：根据输入文本对应的应用场景，利用第一知识库，获取输入文本在应用场景中对应的特征。
[0018]其中，第一知识库中可以包含领域知识。利用第一知识库，可以获得与输入文本对应的领域知识。
[0019]在一种可能的实现方式中，对特征执行第一编码过程，获得第一编码向量，包括：基于transformer编码模型，在第一编码过程中，对特征中的每一特征进行编码，获得第一编码向量。或者，基于知识图谱，在第一编码过程中，建立输入文本中目标单词或目标文本片段与知识图谱中对应的语义信息的映射关系，获得第一编码向量。
[0020]一些实施例中，纠错模型在接收到输入文本后，对输入文本进行外部特征提取，利用预训练语言模型或轻量级学习模型对外部特征进行编码，生成外部特征向量。其中，外部特征也可以称之为领域知识，用于表示当前语法纠错语句(即输入文本)对应的其所在领域或相近领域的相关知识，例如包括语义信息、实体特征(如相关城市名、国家名等)、其他语言特征等。
[0021]另一些实施例中，设计专门的学习模型，在训练过程中针对特定特征进行参数更新，从而实现更好的特征提取效果。后续，在外部特征向量编码过程中，应用该专门的学习模型，进行外部特征向量编码。
[0022]在一种可能的实现方式中，对输入文本执行第二编码过程，获得第二编码向量，包括：基于transformer编码模型，在第二编码过程中，对输入文本进行词语切分后，对切分后的每一词语进行编码，获得第二编码向量。
[0023]一些实施例中，纠错模型在接收到可能含有语法错误的输入文本后，基于transformer纠错模型，对输入文本进行编码，得到输入文本对应的向量序列，该向量序列可以利用input_emb进行表示。
[0024]第二方面，本申请实施例提供一种语法纠错装置，包括：处理器和存储器；存储器与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当处理器从存储器中读取计算机指令，使得语法纠错装置执行如下操作：获取输入文本，以及获取输入文本的特征。对特征执行第一编码过程，获得第一编码向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语法纠错方法，其特征在于，所述方法包括：获取输入文本，以及获取所述输入文本的特征；对所述特征执行第一编码过程，获得第一编码向量，并对所述输入文本执行第二编码过程，获得第二编码向量；所述第一编码过程和所述第二编码过程并行；利用所述第一编码向量和所述第二编码向量，获得输入文本向量；对所述输入文本向量进行解码，输出解码后的输出文本。2.根据权利要求1所述的方法，其特征在于，所述利用所述第一编码向量和所述第二编码向量，获得输入文本向量，包括：获得所述第二编码向量中每一词向量与所述第一编码向量中的特征向量对应的权重，基于所述权重，获得所述输入文本向量。3.根据权利要求2所述的方法，其特征在于，所述第一编码向量与所述第二编码向量相对应；所述获得所述第二编码向量中每一词向量与所述第一编码向量中的特征向量对应的权重，包括：确定第一时刻时，所述第二编码向量中的第一词向量在所述第一编码向量中对应的第一特征向量；所述第一编码向量包含第一部分特征向量和第二部分特征向量，所述第一部分特征向量包含所述第一特征向量，所述第二部分特征向量不包含所述第一特征向量；获得所述第一词向量与所述第一部分特征向量中每一特征向量对应的第一权重，以及获得所述第一词向量与所述第二部分特征向量中按照预设规则抽取的特征向量对应的第二权重。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述获取所述输入文本的特征，包括：根据所述输入文本对应的应用场景，利用第一知识库，获取所述输入文本在所述应用场景中对应的特征。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述对所述特征执行第一编码过程，获得第一编码向量，包括：基于transformer编码模型，在所述第一编码过程中，对所述特征中的每一特征进行编码，获得所述第一编码向量；或者，基于知识图谱，在所述第一编码过程中，建立所述输入文本中目标单词或目标文本片段与所述知识图谱中对应的语义信息的映射关系，获得所述第一编码向量。6.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述对所述输入文本执行第二编码过程，获得第二编码向量，包括：基于transformer编码模型，在所述第二编码过程中，对所述输入文本进行词语切分后，对切分后的每一词语进行编码，获得所述第二编码向量。7.一种语法纠错装置，其特征在于，包括：处理器和存储器，所述存储器与所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器从所述存储器中读取所述计算机指令，使得所述语法纠错装置执行如下操作：获取输入文本，以及获取所述输入文本的特征；对所...

【专利技术属性】
技术研发人员：刘杰，王笑，张穗云，张晴，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：