一种基于transformer注意力机制输出的优化对齐方法技术

本发明专利技术公开了一种基于transformer注意力机制输出的优化对齐方法；应用在基于注意力机制的transformer框架模型上。包括：注意力机制函数的输入是源语言与目标语言的词向量Q、K，在翻译框架中会输出一个对齐张量输出，使用多个注意力机制函数可以输出多个对齐张量输出，并且由于计算过程中有随机参数的变化，所以每个输出是不同的。对多个对齐张量输出先求出他们各自的二范数值Ti，然后使用余弦相似度公式来计算最优值；得到的最优值作为最终输出的对齐张量参与整个翻译过程。引入正则化的计算方式，可以计算出多个输出的最恰当的输出，能够有效的提升注意力机制函数的对齐效果，提高翻译效果与分值。该算法可以应用于所有含有注意力机制的模型，不需要修改模型框架。

【技术实现步骤摘要】
一种基于transformer注意力机制输出的优化对齐方法
本专利技术涉及的神经机器翻译，具体来讲是一种基于transformer注意力机制输出的优化对齐方法。
技术介绍
神经网络机器翻译是最近几年提出来的一种机器翻译方法。相比于传统的统计机器翻译而言，神经网络机器翻译能够训练一张能够从一个序列映射到另一个序列的神经网络，输出的可以是一个变长的序列，这在翻译、对话和文字概括方面能够获得非常好的表现。神经网络机器翻译其实是一个编码-译码系统，编码把源语言序列进行编码，并提取源语言中信息，通过译码再把这种信息转换到另一种语言即目标语言中来，从而完成对语言的翻译。而该模型在产生输出的时候，会产生一个注意力范围来表示接下来输出的时候要重点关注输入序列的哪些部分，然后根据关注的区域来产生下一个输出，如此反复。注意力机制和人的一些行为特征有一定相似之处，人在看一段话的时候，通常只会重点注意具有信息量的词，而非全部词，即人会赋予每个词的注意力权重不同。注意力机制模型虽然增加了模型的训练难度，但提升了文本生成的效果。在该专利中，我们就是在注意力机制函数本文档来自技高网...

【技术保护点】
1.一种基于transformer注意力机制输出的优化对齐方法，应用基于注意力机制的transformer模型中，其特征在于；包括：在翻译过程中计算源语言与目标语言输入句子的词向量，同时得到多个函数输出输出(i)；/n对多个输出输出计算张量的二范数得到T(i)，将多个输出(i)按照公式进行正则化处理

【技术特征摘要】
1.一种基于transformer注意力机制输出的优化对齐方法，应用基于注意力机制的transformer模型中，其特征在于；包括：在翻译过程中计算源语言与目标语言输入句子的词向量，同时得到多个函数输出输出(i)；
对多个输出输出计算张量的二范数得到T(i)，将多个输出(i)按照公式进行正则化处理得到的输出作为最终输出。


2.根据权利要求1所述一种基于transformer注意力机制输出的优化对齐方法，其特征在于；具体按照如下方式实现；
第一步：生成该时刻语义向量






st＝tanh(W[st-1,yt-1])
eti＝stWahi
第二步：传递隐层信息并预测






将源语言与目标语言的词向...

【专利技术属性】
技术研发人员：闫明明，陈绪浩，李迅波，罗华成，赵宇，段世豪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51