使用人工神经网络的基于深度上下文的语法错误校正制造技术

本文公开了用于语法错误检测的方法和系统。在一个示例中，接收句子。至少部分地基于一种或更多种语法错误类型来识别句子中的一个或更多个目标词。一个或更多个目标词中的每个目标词与一种或更多种语法错误类型中的至少之一对应。对于一个或更多个目标词中的至少之一，使用针对对应的语法错误类型受训的人工神经网络模型来估计关于该语法错误类型的目标词的分类。至少部分地基于目标词以及目标词的估计分类来检测句子中的语法错误。

Syntax error correction based on depth context using artificial neural network

【技术实现步骤摘要】
【国外来华专利技术】使用人工神经网络的基于深度上下文的语法错误校正
本公开内容大体涉及人工智能，并且更具体地，涉及使用人工神经网络的语法错误校正。
技术介绍
自动语法错误校正(GEC)对于把英语作为第二语言学习的数百万人来说是必要且有用的工具。这些书写者犯的许多种语法和用法错误标准检验工具都无法解决。开发对于语法错误检测和/或校正具有高精确率和召回率的自动系统成为自然语言处理(NLP)的快速增长领域。虽然对于这样的自动系统存在很大的潜力，但是已知系统也遇到了问题，例如，各种语法错误模式的覆盖范围有限以及对复杂的语言特征工程或人工注释的训练样本要求较高。
技术实现思路
本公开内容大体涉及人工智能，并且更具体地，涉及使用人工神经网络的语法错误校正。在一个示例中，公开了一种用于语法错误检测的方法。接收句子。至少部分地基于一种或更多种语法错误类型来识别句子中的一个或更多个目标词。一个或更多个目标词中的每个目标词与一种或更多种语法错误类型中的至少之一对应。对于一个或更多个目标词中的至少之一，使用针对对应的语法错误类型受训的人工神经网络模型来估计关于该语法错误类型的目标词的分类。模型包括两个递归神经网络，两个递归神经网络被配置成至少部分地基于句子中的目标词之前的至少一个词以及目标词之后的至少一个词来输出目标词的上下文向量。模型还包括前馈神经网络，前馈神经网络被配置成至少部分地基于目标词的上下文向量来输出关于语法错误类型的目标词的分类值。至少部分地基于目标词以及目标词的估计分类来检测句子中的语法错误。在另一示例中，提供了一种用于训练人工神经网络模型的方法。提供了用于估计句子中的关于语法错误类型的目标词的分类的人工神经网络模型。模型包括两个递归神经网络，两个递归神经网络被配置成至少部分地基于句子中的目标词之前的至少一个词以及目标词之后的至少一个词来输出目标词的上下文向量。模型还包括前馈神经网络，前馈神经网络被配置成至少部分地基于目标词的上下文向量来输出目标词的分类值。获得训练样本集。训练样本集中的每个训练样本包括：包括关于语法错误类型的目标词的句子，以及关于语法错误类型的目标词的实际分类。至少部分地基于每个训练样本中的目标词的估计分类与实际分类之间的差来联合地训练与递归神经网络相关联的第一组参数以及与前馈神经网络相关联的第二组参数。在不同示例中，用于语法错误检测的系统包括存储器以及耦接至存储器的至少一个处理器。至少一个处理器被配置成接收句子并且至少部分地基于一种或更多种语法错误类型来识别句子中的一个或更多个目标词。一个或更多个目标词中的每个目标词与一种或更多种语法错误类型中的至少之一对应。至少一个处理器还被配置成：对于一个或更多个目标词中的至少之一，使用针对对应的语法错误类型受训的人工神经网络模型来估计关于该语法错误类型的目标词的分类。模型包括两个递归神经网络，两个递归神经网络被配置成至少部分地基于句子中的目标词之前的至少一个词以及目标词之后的至少一个词来生成目标词的上下文向量。模型还包括前馈神经网络，前馈神经网络被配置成至少部分地基于目标词的上下文向量来输出关于语法错误类型的目标词的分类值。至少一个处理器还被配置成至少部分地基于目标词以及目标词的估计分类来检测句子中的语法错误。在另一示例中，用于语法错误检测的系统包括存储器以及耦接至存储器的至少一个处理器。至少一个处理器被配置成提供用于估计句子中的关于语法错误类型的目标词的分类的人工神经网络模型。模型包括两个递归神经网络，两个递归神经网络被配置成至少部分地基于句子中的目标词之前的至少一个词以及目标词之后的至少一个词来输出目标词的上下文向量。模型还包括前馈神经网络，前馈神经网络被配置成至少部分地基于目标词的上下文向量来输出目标词的分类值。至少一个处理器还被配置成获得训练样本集。训练样本集中的每个训练样本包括：包括关于语法错误类型的目标词的句子，以及关于语法错误类型的目标词的实际分类。至少一个处理器还被配置成至少部分地基于每个训练样本中的目标词的估计分类与实际分类之间的差来联合地调整与递归神经网络相关联的第一组参数以及与前馈神经网络相关联的第二组参数。其他构思涉及用于语法错误检测和人工神经网络模型训练的软件。符合该构思的软件产品包括至少一个计算机可读非暂态装置以及装置所携载的信息。装置所携载的信息可以是关于与请求相关联的参数或操作参数的可执行指令。在一个示例中，其上记录有用于语法错误检测的指令的有形计算机可读非暂态装置，其中，指令在由计算机执行时使计算机执行一系列操作。接收句子。至少部分地基于一种或更多种语法错误类型来识别句子中的一个或更多个目标词。一个或更多个目标词中的每个目标词与一种或更多种语法错误类型中的至少之一对应。对于一个或更多个目标词中的至少之一，使用针对对应的语法错误类型受训的人工神经网络模型来估计关于该语法错误类型的目标词的分类。模型包括两个递归神经网络，两个递归神经网络被配置成至少部分地基于句子中的目标词之前的至少一个词以及目标词之后的至少一个词来输出目标词的上下文向量。模型还包括前馈神经网络，前馈神经网络被配置成至少部分地基于目标词的上下文向量来输出关于语法错误类型的目标词的分类值。至少部分地基于目标词以及目标词的估计分类来检测句子中的语法错误。在另一示例中，其上记录有用于训练人工神经网络模型的指令的有形计算机可读非暂态装置，其中，指令在由计算机执行时使计算机执行一系列操作。提供了用于估计句子中的关于语法错误类型的目标词的分类的人工神经网络模型。模型包括两个递归神经网络，两个递归神经网络被配置成至少部分地基于句子中的目标词之前的至少一个词以及目标词之后的至少一个词来输出目标词的上下文向量。模型还包括前馈神经网络，前馈神经网络被配置成至少部分地基于目标词的上下文向量来输出目标词的分类值。获得训练样本集。训练样本集中的每个训练样本包括：包括关于语法错误类型的目标词的句子，以及关于语法错误类型的目标词的实际分类。至少部分地基于每个训练样本中的目标词的估计分类与实际分类之间的差来联合地训练与递归神经网络相关联的第一组参数以及与前馈神经网络相关联的第二组参数。仅出于示出一些实施方式以提供对本文中描述的主题的理解的目的提供本
技术实现思路
。因此，上述特征仅是示例，并且不应当被解释为缩小本公开内容中主题的范围或精神。根据以下具体实施方式、附图和权利要求，本公开内容的其它特征、方面和优点将变得明显。附图说明并入本文并形成说明书的一部分的附图示出了所提出的公开内容，并且附图与说明书一起进一步用于解释本公开内容的原理并且使得(一个或更多个)相关领域的技术人员能够实现并使用本公开内容。图1是示出根据实施方式的语法错误校正(GEC)系统的框图；图2是由图1中的系统执行的自动语法错误校正的示例的描绘；图3是示出根据实施方式的用于语法错误校正的方法的示例的流程图；图4是示出根据实施方式的图1中的系统的基于分类的GEC模块的示例的框图；图5是使用根据实施方式的图1中的系统提供句子中的目标词的分类的示本文档来自技高网...

【技术保护点】
1.一种用于语法错误检测的方法，包括：/n由至少一个处理器接收句子；/n由所述至少一个处理器至少部分地基于一种或更多种语法错误类型来识别所述句子中的一个或更多个目标词，其中，所述一个或更多个目标词中的每个目标词与所述一种或更多种语法错误类型中的至少之一对应；/n对于所述一个或更多个目标词中的至少之一，由所述至少一个处理器使用针对对应的语法错误类型受训的人工神经网络模型来估计关于该语法错误类型的目标词的分类，其中，所述模型包括：(i)两个递归神经网络，所述两个递归神经网络被配置成至少部分地基于所述句子中的所述目标词之前的至少一个词以及所述目标词之后的至少一个词来输出所述目标词的上下文向量，以及(ii)前馈神经网络，所述前馈神经网络被配置成至少部分地基于所述目标词的上下文向量来输出关于所述语法错误类型的所述目标词的分类值；以及/n由所述至少一个处理器至少部分地基于所述目标词以及所述目标词的估计分类来检测所述句子中的语法错误。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于语法错误检测的方法，包括：
由至少一个处理器接收句子；
由所述至少一个处理器至少部分地基于一种或更多种语法错误类型来识别所述句子中的一个或更多个目标词，其中，所述一个或更多个目标词中的每个目标词与所述一种或更多种语法错误类型中的至少之一对应；
对于所述一个或更多个目标词中的至少之一，由所述至少一个处理器使用针对对应的语法错误类型受训的人工神经网络模型来估计关于该语法错误类型的目标词的分类，其中，所述模型包括：(i)两个递归神经网络，所述两个递归神经网络被配置成至少部分地基于所述句子中的所述目标词之前的至少一个词以及所述目标词之后的至少一个词来输出所述目标词的上下文向量，以及(ii)前馈神经网络，所述前馈神经网络被配置成至少部分地基于所述目标词的上下文向量来输出关于所述语法错误类型的所述目标词的分类值；以及
由所述至少一个处理器至少部分地基于所述目标词以及所述目标词的估计分类来检测所述句子中的语法错误。


2.根据权利要求1所述的方法，所述估计还包括：
使用所述两个递归神经网络、至少部分地基于所述句子中的所述目标词之前的所述至少一个词以及所述目标词之后的所述至少一个词来提供所述目标词的上下文向量；以及
使用所述前馈神经网络、至少部分地基于所述目标词的上下文向量来提供关于所述语法错误类型的所述目标词的分类值。


3.根据权利要求2所述的方法，其中，至少部分地基于所述目标词的词元来提供所述目标词的上下文向量。


4.根据权利要求2所述的方法，所述估计还包括：
生成第一组词嵌入向量，其中，至少部分地基于所述句子中的所述目标词之前的所述至少一个词中的相应一个词来生成所述第一组词嵌入向量中的每个词嵌入向量；以及
生成第二组词嵌入向量，其中，至少部分地基于所述句子中的所述目标词之后的所述至少一个词中的相应一个词来生成所述第二组词嵌入向量中的每个词嵌入向量。


5.根据权利要求4所述的方法，其中，所述每个词嵌入向量的维数是至少100。


6.根据权利要求1所述的方法，其中：
所述目标词之前的所述至少一个词包括所述句子中的所述目标词之前的所有词；并且
所述目标词之后的所述至少一个词包括所述句子中的所述目标词之后的所有词。


7.根据权利要求1所述的方法，其中，至少部分地基于所述语法错误类型来确定所述目标词之前的所述至少一个词的数目和/或所述目标词之后的所述至少一个词的数目。


8.根据权利要求2所述的方法，所述估计还包括：
至少部分地基于所述句子中的所述目标词之前的所述至少一个词以及所述目标词之后的所述至少一个词来提供所述目标词的上下文权重向量；以及
将所述上下文权重向量应用于所述上下文向量。


9.根据权利要求4所述的方法，提供所述上下文向量还包括：
使用所述两个递归神经网络中的第一递归神经网络、至少部分地基于所述第一组词嵌入向量来提供所述目标词的第一上下文向量；
使用所述两个递归神经网络中的第二递归神经网络、至少部分地基于所述第二组词嵌入向量来提供所述目标词的第二上下文向量；以及
通过连接所述第一上下文向量和所述第二上下文向量来提供所述上下文向量。


10.根据权利要求9所述的方法，其中：
从所述句子的开头的词的词嵌入向量开始，将所述第一组词嵌入向量提供给所述第一递归神经网络；并且
从所述句子的末尾的词的词嵌入向量开始，将所述第二组词嵌入向量提供给所述第二递归神经网络。


11.根据权利要求1所述的方法，其中，所述两个递归神经网络中的每个递归神经网络中的隐藏单元的数目是至少300。


12.根据权利要求1所述的方法，其中，所述前馈神经网络包括：
第一层，其具有对所述上下文向量的完全连接的线性运算的第一激活函数；以及
第二层，其连接到所述第一层并且具有用于生成所述分类值的第二激活函数。


13.根据权利要求1所述的方法，其中，所述分类值是所述目标词在与所述语法错误类型相关联的多个类别上的概率分布。


14.根据权利要求1所述的方法，所述检测还包括：
将所述目标词的估计分类与所述目标词的实际分类进行比较；以及
当所述实际分类与所述目标词的估计分类不匹配时，检测所述句子中的所述语法错误。


15.根据权利要求1所述的方法，还包括：
响应于检测到所述句子中的所述语法错误，至少部分地基于所述目标词的估计分类来提供所述目标词的语法错误校正。


16.根据权利要求1所述的方法，还包括：
对于所述一个或更多个目标词中的每个目标词，使用针对所述对应的语法错误类型受训的相应人工神经网络模型来估计关于该语法错误类型的所述目标词的相应分类，并且将所述目标词的估计分类与所述目标词的实际分类进行比较，以生成所述目标词的语法错误结果；
至少部分地基于所述对应的语法错误类型对所述一个或更多个目标词的所述语法错误结果中的每个语法错误结果应用权重；以及
基于所述一个或更多个目标词的语法错误结果和权重来提供所述句子的语法得分。


17.根据权利要求16所述的方法，其中，至少部分地基于与从其接收所述句子的用户相关联的信息来提供所述语法得分。


18.根据权利要求1所述的方法，其中，由本机训练样本来训练所述模型。


19.根据权利要求1所述的方法，其中，联合地训练所述两个递归神经网络和所述前馈神经网络。


20.根据权利要求1所述的方法，其中，所述模型还包括：
另一递归神经网络，其被配置成输出要输入到所述两个递归神经网络以用于生成所述上下文向量的初始上下文向量集；以及
另一前馈神经网络，其被配置成输出要应用于所述上下文向量的上下文权重向量。


21.根据权利要求20所述的方法，其中，由所述本机训练样本联合地训练所有的递归神经网络和前馈神经网络。


22.一种用于语法错误检测的系统，包括：
存储器；以及
至少一个处理器，其耦接至所述存储器并且被配置成：
接收句子；
至少部分地基于一种或更多种语法错误类型来识别所述句子中的一个或更多个目标词，其中，所述一个或更多个目标词中的每个目标词与所述一种或更多种语法错误类型中的至少之一对应；
对于所述一个或更多个目标词中的至少之一，使用针对对应的语法错误类型受训的人工神经网络模型来估计关于该语法错误类型的目标词的分类，其中，所述模型包括：(i)两个递归神经网络，所述两个递归神经网络被配置成至少部分地基于所述句子中的所述目标词之前的至少一个词以及所述目标词之后的至少一个词来生成所述目标词的上下文向量，以及(ii)前馈神经网络，所述前馈神经网络被配置成至少部分地基于所述目标词的上下文向量来输出关于所述语法错误类型的所述目标词的分类值；以及
至少部分地基于所述目标词以及所述目标词的估计分类来检测所述句子中的语法错误。


23.根据权利要求22所述的系统，其中，为了估计所述目标词的分类，所述至少一个处理器被配置成：
使用所述两个递归神经网络、至少部分地基于所述句子中的所述目标词之前的所述至少一个词以及所述目标词之后的所述至少一个词来提供所述目标词的上下文向量；以及
使用所述前馈神经网络、至少部分地基于所述目标词的上下文向量来提供关于所述语法错误类型的所述目标词的分类值。


24.根据权利要求23所述的系统，其中，至少部分地基于所述目标词的词元来提供所述目标词的上下文向量。


25.根据权利要求23所述的系统，其中，为了估计所述目标词的分类，所述至少一个处理器被配置成：
生成第一组词嵌入向量，其中，至少部分地基于所述句子中的所述目标词之前的所述至少一个词中的相应一个词来生成所述第一组词嵌入向量中的每个词嵌入向量；以及
生成第二组词嵌入向量，其中，至少部分地基于所述句子中的所述目标词之后的所述至少一个词中的相应一个词来生成所述第二组词嵌入向量中的每个词嵌入向量。


26.根据权利要求25所述的系统，其中，所述每个词嵌入向量的维数是至少100。


27.根据权利要求22所述的系统，其中：
所述目标词之前的所述至少一个词包括所述句子中的所述目标词之前的所有词；并且
所述目标词之后的所述至少一个词包括所述句子中的所述目标词之后的所有词。


28.根据权利要求22所述的系统，其中，至少部分地基于所述语法错误类型来确定所述目标词之前的所述至少一个词的数目和/或所述目标词之后的所述至少一个词的数目。


29.根据权利要求23所述的系统，其中，为了估计所述目标词的分类，所述至少一个处理器被配置成：
至少部分地基于所述句子中的所述目标词之前的所述至少一个词以及所述目标词之后的所述至少一个词来提供所述目标词的上下文权重向量；以及
将所述上下文权重向量应用于所述上下文向量。


30.根据权利要求25所述的系统，其中，为了提供所述目标词的上下文向量，所述至少一个处理器被配置成：
使用所述两个递归神经网络中的第一递归神经网络、至少部分地基于所述第一组词嵌入向量来提供所述目标词的第一上下文向量；
使用所述两个递归神经网络中的第二递归神经网络、至少部分地基于所述第二组词嵌入向量来提供所述目标词的第二上下文向量；以及
通过连接所述第一上下文向量和所述第二上下文向量来提供所述上下文向量。


31.根据权利要求30所述的系统，其中：
从所述句子的开头的词的词嵌入向量开始，将所述第一组词嵌入向量提供给所述第一递归神经网络；并且
从所述句子的末尾的词的词嵌入向量开始，将所述第二组词嵌入向量提供给所述第二递归神经网络。


32.根据权利要求22所述的系统，其中，所述两个递归神经网络中的每个递归神经网络中的隐藏单元的数目是至少300。


33.根据权利要求22所述的系统，其中，所述前馈神经网络包括：
第一层，其具有对所述上下文向量的完全连接的线性运算的第一激活函数；以及
第二层，其连接到所述第一层并且具有用于生成所述分类值的第二激活函数。


34.根据权利要求22所述的系统，其中，所述分类值是所述目标词在与所述语法错误类型相关联的多个类别上的概率分布。


35.根据权利要求22所述的系统，其中，为了检测语法错误，所述至少一个处理器被配置成：
将所述目标词的估计分类与所述目标词的实际分类进行比较；以及
当所述实际分类与所述目标词的估计分类不匹配时，检测所述句子中的所述语法错误。


36.根据权利要求22所述的系统，所述至少一个处理器还被配置成：
响应于检测到所述句子中的所述语法错误，至少部分地基于所述目标词的估计分类来提供所述目标词的语法错误校正。


37.根据权利要求22所述的系统，所述至少一个处理器还被配置成：
对于所述一个或更多个目标词中的每个目标词，使用针对所述对应的语法错误类型受训的相应人工神经...

【专利技术属性】
技术研发人员：林晖，王川，李若冰，
申请(专利权)人：语冠信息技术上海有限公司，
类型：发明
国别省市：上海;31