一种文本处理方法、系统和一种用于文本处理的装置制造方法及图纸

本发明专利技术实施例提供了一种文本处理方法、系统和一种用于文本处理的装置，该方法包括：接收源文本，所述源文本具有多个源词；调用编码器将所述多个源词编码为多个向量；当解码第t个目标词时，根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点；基于所述局部注意力窗口的中心点确定局部注意力窗口；调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。通过综合考虑多种信息，提高了注意力的中心定位的准确率，从而提高了诸如翻译等业务处理的质量。

【技术实现步骤摘要】
一种文本处理方法、系统和一种用于文本处理的装置
本专利技术涉及语言处理的
，特别是涉及一种文本处理方法、一种文本处理系统和一种用于文本处理的装置。
技术介绍
机器翻译又被称为自动翻译技术，通过利用计算机的编程能力，把一种语言自动转化成另一种语言，前者称为源语言，后者称作目标语言。目前，机器翻译常用局部注意力模型，局部注意力模型是基于注意力模型的改进，在已有的局部注意力机制方法中，在预测每个目标语言的词时，使用了一个前馈神经网络预测一个注意力的中心，在该中心点周围取一个窗口大小的注意力来进行计算目标语言的词。但是，前馈神经网络利用编码器参考的信息少，注意力的中心定位准确率低，导致翻译的质量差。
技术实现思路
鉴于上述问题，为了解决上述注意力的中心定位准确率低的问题，本专利技术实施例提出了一种文本处理方法和相应的一种文本处理系统、一种用于文本处理的装置。为了解决上述问题，本专利技术实施例公开了一种文本处理方法，包括：接收源文本，所述源文本具有多个源词；调用编码器将所述多个源词编码为多个向量；当解码第t个目标词时，根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点；基于所述局部注意力窗口的中心点确定局部注意力窗口；调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。可选地，所述根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点的步骤包括：获取所述编码器的第一隐层状态，在解码所述第t个目标词时、所述解码器的第二隐层状态，在解码所述第t个目标词之前的其他目标词时、权值矩阵的矩阵连接中的一个或多个信息；结合所述第一隐层状态、所述第二隐层状态和所述矩阵连接确定所述源文本中注意力集中的中心，作为局部注意力窗口的中心点。可选地，所述获取所述编码器的第一隐层状态，在解码所述第t个目标词时、所述解码器的第二隐层状态，在解码所述第t个目标词之前的其他目标词时、权值矩阵的矩阵连接中的一个或多个信息的步骤包括：提取在顺序输入所述源文本时记录的第j个源词及位于所述第j个源词之后的源词的第一词信息；提取在逆序输入所述源文本时记录的第j个源词及位于所述第j个源词之前的源词的第二词信息；结合所述第一词信息与所述第二词信息，转换为所述编码器的第一隐层状态；和/或，提取在解码所述第t个目标词之前的其他目标词时的多个权值矩阵；将所述多个权值矩阵映射为多个指定格式的权值矩阵；对所述多个指定格式的权值矩阵进行相加，获得矩阵连接。可选地，所述结合所述第一隐层状态、所述第二隐层状态和所述矩阵连接确定所述源文本中注意的中心，作为局部注意力窗口的中心点的步骤包括：分别对所述第一隐层状态、所述第二隐层状态和所述矩阵连接中的一个或多个信息配置权值矩阵；组合配置权值矩阵的第一隐层状态、第二隐层状态和所述矩阵连接中的一个或多个信息，获得特征信息；对所述特征信息进行非线性激活并配置权值矩阵，获得激活信息；对所述激活信息进行非线性变换，获得特征值；对所述特征值与所述源词的词长度之间的乘积向下取整，获得局部注意力窗口的中心点。可选地，所述基于所述局部注意力的中心确定局部注意力窗口的步骤包括：计算所述中心点与预设的中心偏差值之间的差值，作为第一端点值；计算所述中心点与预设的中心偏差值之间的和值，作为第二端点值；将所述第一端点值与所述第二端点值之间的距离，设置为局部注意力窗口。本专利技术实施例还公开了一种文本处理系统，包括：源文本接收模块，用于接收源文本，所述源文本具有多个源词；向量编码模块，用于调用编码器将所述多个源词编码为多个向量；中心点确定模块，用于当解码第t个目标词时，根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点；局部注意力窗口确定模块，用于基于所述局部注意力窗口的中心点确定局部注意力窗口；向量解码模块，用于调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。可选地，所中心点确定模块包括：参考信息获取子模块，用于获取所述编码器的第一隐层状态，在解码所述第t个目标词时、所述解码器的第二隐层状态，在解码所述第t个目标词之前的其他目标词时、权值矩阵的矩阵连接中的一个或多个信息；参考信息确定子模块，用于结合所述第一隐层状态、所述第二隐层状态和所述矩阵连接确定所述源文本中注意力集中的中心，作为局部注意力窗口的中心点。可选地，所述参考信息获取子模块包括：第一词信息提取单元，用于提取在顺序输入所述源文本时记录的第j个源词及位于所述第j个源词之后的源词的第一词信息；第二词信息提取单元，用于提取在逆序输入所述源文本时记录的第j个源词及位于所述第j个源词之前的源词的第二词信息；词信息结合转换单元，用于结合所述第一词信息与所述第二词信息，转换为所述编码器的第一隐层状态；和/或，权值矩阵提取单元，用于提取在解码所述第t个目标词之前的其他目标词时的多个权值矩阵；权值矩阵映射单元，用于将所述多个权值矩阵映射为多个指定格式的权值矩阵；权值矩阵相加单元，用于对所述多个指定格式的权值矩阵进行相加，获得矩阵连接。可选地，所述参考信息确定子模块包括：权值矩阵配置单元，用于分别对所述第一隐层状态、所述第二隐层状态和所述矩阵连接中的一个或多个信息配置权值矩阵；参考信息组合单元，用于组合配置权值矩阵的第一隐层状态、第二隐层状态和所述矩阵连接中的一个或多个信息，获得特征信息；非线性激活单元，用于对所述特征信息进行非线性激活并配置权值矩阵，获得激活信息；非线性变换单元，用于对所述激活信息进行非线性变换，获得特征值；向下取整单元，用于对所述特征值与所述源词的词长度之间的乘积向下取整，获得局部注意力窗口的中心点。可选地，所述局部注意力窗口确定模块包括：第一端点值设置子模块，用于计算所述中心点与预设的中心偏差值之间的差值，作为第一端点值；第二端点值设置子模块，用于计算所述中心点与预设的中心偏差值之间的和值，作为第二端点值；局部注意力窗口设置子模块，用于将所述第一端点值与所述第二端点值之间的距离，设置为局部注意力窗口。本专利技术实施例还公开了一种用于文本处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：接收源文本，所述源文本具有多个源词；调用编码器将所述多个源词编码为多个向量；当解码第t个目标词时，根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点；基于所述局部注意力窗口的中心点确定局部注意力窗口；调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。可选地，还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：获取所述编码器的第一隐层状态，在解码所述第t个目标词时、所述解码器的第二隐层状态，在解码所述第t个目标词之前的其他目标词时、权值矩阵的矩阵连接中的一个或多个信息；结合所本文档来自技高网...

【技术保护点】
1.一种文本处理方法，其特征在于，包括：接收源文本，所述源文本具有多个源词；调用编码器将所述多个源词编码为多个向量；当解码第t个目标词时，根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点；基于所述局部注意力窗口的中心点确定局部注意力窗口；调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。

【技术特征摘要】
1.一种文本处理方法，其特征在于，包括：接收源文本，所述源文本具有多个源词；调用编码器将所述多个源词编码为多个向量；当解码第t个目标词时，根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点；基于所述局部注意力窗口的中心点确定局部注意力窗口；调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。2.根据权利要求1所述的方法，其特征在于，所述根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点的步骤包括：获取所述编码器的第一隐层状态，在解码所述第t个目标词时、所述解码器的第二隐层状态，在解码所述第t个目标词之前的其他目标词时、权值矩阵的矩阵连接中的一个或多个信息；结合所述第一隐层状态、所述第二隐层状态和所述矩阵连接确定所述源文本中注意力集中的中心，作为局部注意力窗口的中心点。3.根据权利要求2所述的方法，其特征在于，所述获取所述编码器的第一隐层状态，在解码所述第t个目标词时、所述解码器的第二隐层状态，在解码所述第t个目标词之前的其他目标词时、权值矩阵的矩阵连接中的一个或多个信息的步骤包括：提取在顺序输入所述源文本时记录的第j个源词及位于所述第j个源词之后的源词的第一词信息；提取在逆序输入所述源文本时记录的第j个源词及位于所述第j个源词之前的源词的第二词信息；结合所述第一词信息与所述第二词信息，转换为所述编码器的第一隐层状态；和/或，提取在解码所述第t个目标词之前的其他目标词时的多个权值矩阵；将所述多个权值矩阵映射为多个指定格式的权值矩阵；对所述多个指定格式的权值矩阵进行相加，获得矩阵连接。4.根据权利要求2所述的方法，其特征在于，所述结合所述第一隐层状态、所述第二隐层状态和所述矩阵连接确定所述源文本中注意的中心，作为局部注意力窗口的中心点的步骤包括：分别对所述第一隐层状态、所述第二隐层状态和所述矩阵连接中的一个或多个信息配置权值矩阵；组合配置权值矩阵的第一隐层状态、第二隐层状态和所述矩阵连接中的一个或多个信息，获得特征信息；对所述特征信息进行非线性激活并配置权值矩阵，获得激活信息；对所述激活信息进行非线性变换，获得特征值；对所述特征值与所述源词的词长度之间的乘积向下取整，获得局部注意力窗口的中心点。5.根据权利要求1或2或3或4所述的方法，其特征在于，所述基于所述局部注意力的中心确定局部注意力窗口的步骤包括：计算所述中心点与预设的中心偏差值之间的差值，作为第一端点值；计算所述中心点与预设的中心偏差值之间的和值，作为第二端点值；将所述第一端点值与所述第二端点值之间的距离，设置为局部注意力窗口。6.一种文本处理系统，其特征在于，包括：源文本接收模块，用于接收源文本，所述源文本具有多个源词；向量编码模块，用于调用编码器将所述多个源词编码为多个向...

【专利技术属性】
技术研发人员：程善伯，王宇光，姜里羊，陈伟，王砚峰，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京,11