一种基于句法依存关系动态编码的语句处理方法及装置制造方法及图纸

本发明专利技术的实施例公开了一种基于句法依存关系动态编码的语句处理方法及装置，该方法在进行翻译的过程中，通过依存树挖掘出语句中各单词之间的依存关系，基于挖掘出的依存关系和各源端单词的原始隐藏状态向量对各源端单词进行编码，得到对应于各源端单词的编码隐藏状态向量。根据各源端单词的编码隐藏状态向量进行解码得到用目标语言表示的语句。该方法在对源端单词的编码过程中，通过依存树充分挖掘了语句之间的依存关系和句法信息，避免了高层节点复用低层节点信息导致的过度翻译问题。另一方面，该方法中模型的计算过程简单，计算资源的占用较少，更易于部署与应用。

A sentence processing method and device based on dynamic encoding of syntactic dependency

【技术实现步骤摘要】
一种基于句法依存关系动态编码的语句处理方法及装置
本专利技术实施例涉及机器翻译
，尤其是涉及一种基于句法依存关系动态编码的语句处理方法及装置。
技术介绍
语言是人与人之间沟通的基本工具，是知识和信息传播的重要载体。随着互联网的迅猛发展，社会信息化程度的提高，经济全球化以及全球化交流的增强，克服语言障碍、实现跨语言之间的翻译正变得越发重要。然而，世界上存在的语言种类繁多，各有特征，形式灵活，使得语言的自动处理，包括语言之间的机器翻译，成为尚待解决的难题。近十几年来，得益于机器学习方法的发展和大规模语料库的建立，自动机器翻译的研究取得了一定的进展。随着基于神经网络的端到端机器翻译模型的兴起，机器翻译的性能取得了巨大提升。然而现有的机器翻译方法要么无法充分捕获源语言的句法信息以及长距离词之间的关系，要么模型复杂，导致单词的重复翻译，占用计算资源巨大，难以在实际应用中部署。在实现本专利技术实施例的过程中，专利技术人发现现有的机器翻译方法无法在不过度翻译的前提下，充分挖掘出语句的句法信息和各单词之间的依存关系。<br>专利技本文档来自技高网...

【技术保护点】
1.一种基于句法依存关系动态编码的语句处理方法，其特征在于，包括：/n获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；/n生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；/n根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。/n

【技术特征摘要】
1.一种基于句法依存关系动态编码的语句处理方法，其特征在于，包括：
获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；
生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；
根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。


2.根据权利要求1所述的方法，其特征在于，所述生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量，包括：
通过预先训练的依存句法分析器生成对应于所述源语言语句的依存树；
对所述源语言语句中的任一待编码源端单词，在所述依存树中，获取所述待编码源端单词所在的当前节点的目标父节点和目标兄弟节点，得到所述父节点处的第一源端单词和所述兄弟节点处的第二源端单词，根据所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的低维隐含向量；
根据对应于所述待编码源端单词的低维隐含向量计算对应于所述待编码源端单词的目标动态矩阵参数和目标动态偏差参数，由所述目标动态矩阵参数、所述目标动态偏差参数、所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的编码隐藏状态向量。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的低维隐含向量，包括：
通过GRU模型，根据公式：















计算对应于所述待编码源端单词的低维隐含向量；
其中，hp为所述第一源端单词对应的原始隐藏状态向量，hs为所述第二源端单词对应的原始隐藏状态向量，hl为所述待编码源端单词对应的原始隐藏状态向量，z为对应于所述待编码源端单词的低维隐含向量，以及是模型矩阵参数，是模型偏差参数，*为GRU模型中的参数u、r或h，σ和tanh分别表示神经网络中的sigmoid以及双曲正切阈值函数，操作符意为向量中逐元素相乘。


4.根据权利要求3所述的方法，其特征在于，所述由所述目标动态矩阵参数、所述目标动态偏差参数、所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的编码隐藏状态向量，包括：
通过GRU模型，根据公式：
u＝σ(W(u)(z)hp+U(u)(z)hs+V(u)(z)hl+b(u)(z))
r＝σ(W(r)(z)hp+U(r)(z)hs+V(r)(z)hl+b(r)(z))



h＝(1-u)h′+u(hp+hs)
计算对应于所述待编码源端单词的编码隐藏状态向量；
其中，hp为所述第一源端单词对应的原始隐藏状态向量，hs为所述第二源端单词对应的原始隐藏状态向量，hl为所述待编码源端单词对应的原始隐藏状态向量，h为对应于所述待编码源端单词的编码隐藏状态向量，W(*)(z)，U(*)(z)以及V(*)(z)是根据对应于所述待编码源端单词的低维隐含向量z生成的目标动态矩阵参数，b(...

【专利技术属性】
技术研发人员：黃輝，杨宝嵩，周沁，
申请(专利权)人：澳门大学，
类型：发明
国别省市：澳门;82