【技术实现步骤摘要】
【国外来华专利技术】基于准循环神经网络的编码器-解码器模型其他申请的交叉引用本申请要求于2016年11月4日提交的申请号为62/417，333的美国临时专利申请“准循环神经网络(QUASI-RECURRENTNEURALNETWORKS)”(代理人案卷号为SALE1180-1/1946PROV)的权益。在此通过引用并入优先权临时申请以用于所有目的。本申请要求于2016年11月4日提交的申请号为62/418，075的美国临时专利申请“准循环神经网络(QUASI-RECURRENTNEURALNETWORKS)”(代理人案卷号为SALE1180-2/1946PROV2)的权益。在此通过引用并入优先权临时申请以用于所有目的。本申请要求于2017年1月31日提交的，申请号为15/420，710的美国非临时专利申请“准循环神经网络(QUASI-RECURRENTNEURALNETWORKS”(代理人案卷号SALE1180-3/1946US)的权益。在此通过引用并入优先权非临时申请以用于所有目的。以及本申请要求于2017年1月31日提交的，申请号为15/420，801的美国非临时专利申请“基于准循...
【技术保护点】
1.一种准循环神经网络(缩写QRNN)系统，运行在众多并行处理核上，其提高将源语言序列翻译成目标语言序列的基于神经网络的序列到序列机器翻译任务的训练和推理阶段期间的计算速度，包括：QRNN编码器，包括至少一个编码器卷积层、至少一个编码器池化层和至少一个编码器输出门；所述编码器卷积层包括编码器卷积滤波器组，用于对在源语言向量的多个时间序列中的源语言向量的一组时间序列上的编码器时间序列窗口中的源语言向量进行并行卷积；以及编码器卷积向量产生器，用于基于所述并行卷积并发输出每个编码器时间序列窗口的编码器的卷积向量；所述编码器池化层包括累加器，用于通过在逐序数位置的基础上并发累加所述...
【技术特征摘要】
【国外来华专利技术】2016.11.04 US 62/417,333;2016.11.04 US 62/418,075;1.一种准循环神经网络(缩写QRNN)系统，运行在众多并行处理核上，其提高将源语言序列翻译成目标语言序列的基于神经网络的序列到序列机器翻译任务的训练和推理阶段期间的计算速度，包括：QRNN编码器，包括至少一个编码器卷积层、至少一个编码器池化层和至少一个编码器输出门；所述编码器卷积层包括编码器卷积滤波器组，用于对在源语言向量的多个时间序列中的源语言向量的一组时间序列上的编码器时间序列窗口中的源语言向量进行并行卷积；以及编码器卷积向量产生器，用于基于所述并行卷积并发输出每个编码器时间序列窗口的编码器的卷积向量；所述编码器池化层包括累加器，用于通过在逐序数位置的基础上并发累加所述编码器的所述卷积向量的分量的特征值，在为每个连续编码器时间序列窗口顺序产生的编码器的每个状态向量中并行累加特征和的有序集合；以及所述编码器输出门包括编码器隐藏状态产生器，用于将输出门向量应用于编码器的状态向量，从而产生编码器的隐藏状态向量；QRNN解码器，包括至少一个解码器卷积层、至少一个解码器池化层和至少一个注意力接口；所述解码器卷积层包括解码器卷积滤波器组，用于对在解码器输入向量的多个时间序列中的解码器输入向量的一组时间序列上的解码器时间序列窗口中的解码器输入向量进行并行卷积，其中，在初始解码器时间序列窗口处，所述解码器卷积滤波器组仅在作为翻译开始标记的单个解码器输入向量上进行卷积，以及其中，在连续的解码器时间序列窗口处，所述解码器卷积滤波器组在包括翻译起始标记和先前发出的目标语言向量的解码器输入向量上进行卷积；以及解码器卷积向量产生器，用于根据并行卷积并发输出每个解码器时间序列窗口的解码器的卷积向量；所述解码器池化层包括累加器，用于通过在逐序数位置的基础上并发累加解码器的卷积向量的分量的特征值，在为每个连续的解码器时间序列窗口顺序产生的解码器的每个状态向量中并行累加特征和的有序集合；所述注意力接口包括状态比较器，用于确定编码器的隐藏状态向量与解码器的状态向量之间的逐对相似度得分；编码混合器，用于生成编码器的隐藏状态向量的上下文摘要，作为通过沿编码器时间序列窗口产生的指数归一化相似度得分序列缩放的编码器的隐藏状态向量的凸组合；感知器，用于线性投影所述上下文摘要和所述解码器的状态向量；连接器，用于结合线性投影的上下文摘要和所述解码器的状态向量；以及解码器输出门，用于将输出门向量应用于结合的线性投影的上下文摘要和所述解码器的状态向量，从而产生所述解码器的隐藏状态向量；以及翻译器，用于通过基于解码的隐藏状态向量发射目标语言向量来执行序列到序列机器翻译任务。2.如权利要求1所述的QRNN系统，其中每个卷积向量包括激活向量和一个或更多个门向量中的特征值，用于分别在逐元素序数位置的基础上将门向量中的特征值作为参数应用于激活向量中的特征值。3.如权利要求1-2中任一项所述的QRNN系统，其中每个特征和由累加器根据在为所述当前时间序列窗口输出的激活向量中给定序数位置处的特征值，在为当前时间序列窗口输出的一个或更多个门向量中的给定序数位置处的一个或更多个特征值，以及在先前时间序列窗口累加的状态向量中给定序数位置处的特征和进行累加。4.如权利要求1-3中任一项所述的QRNN系统，进一步包括补充器，用于利用由编码器隐藏状态产生器为最终编码器时间序列窗口产生的编码器的最终隐藏状态向量来向解码器池化层补充每个输入。5.如权利要求1-4中任一项所述的QRNN系统，其中状态比较器使用点积来确定所述编码器的隐藏状态向量和所述解码器的状态向量之间的逐对相似度得分。6.如权利要求1-5中任一项所述的QRNN系统，其中所述源语言序列和所述目标语言序列是单词级序列。7.如权利要求1-6中任一项所述的QRNN系统，其中所述源语言序列和所述目标语言序列是字符级序列。8.如权利要求1-7中任一项所述的QRNN系统，其中门向量是遗忘门向量，以及其中每个池化层包括用于当前时间序列窗口的遗忘门向量，用于控制来自为先前时间序列窗口累加的状态向量的信息和来自当前时间序列窗口的激活向量的信息的累加。9.如权利要求1-8中任一项所述的QRNN系统，其中门向量是输入门向量，以及其中每个池化层使用包括用于当前时间序列窗口的输入门向量，以控制来自当前时间序列窗口的激活向量的信息的累加。10.如权利要求1-9中任一项所述的QRNN系统，其中门向量是输出门向量，以及其中每个池化层使用包括用于当前时间序列窗口的输出门向量，以控制来自当前时间序列窗口的状态向量的信息的累加。11.如权利要求1-10中任一项所述的QRNN系统，进一步包括正则化器，用于通过要求当前时间序列窗口的遗忘门向量中的给定序数位置处的相应特征值一致来对所述卷积层和所述池化层进行正则化，从而在当前时间序列窗口的状态向量中的给定序数位置处产生特征和的随机子集，所述特征和的随机子集匹配在为先前时间序列窗口并发累加的状态向量中的给定序数位置处的相应特征和。12.一种准循环神经网络(缩写QRNN)系统，运行在多个并行处理核上，其提高在将源语言序列翻译成目标语言序列的基于神经网络的序列到序列机器翻译任务的训练和推理阶段的期间的计算速度，包括：QRNN编码器，包括至少一个编码器卷积层，用于对在源语言向量的多个时间序列中的一组源语言向量的时间序列上的编码器时间序列窗口中的源语言向量进行并行卷积，从而并发输出用于每个编码器时间序列窗口的编码器的卷积向量，至少一个编码器池化层，用于在为每个连续编码器时间序列窗口顺序产生的编码器的每个状态向量中并行累加特征和的有序集合，以及编码器隐藏状态产生器，用于将输出门向量应用于编码器的状态向量，从而产生编码器的隐藏状态向量；QRNN解码器，包括至少一个解码器卷积层，用于对在解码器输入向量的多个时间序列中的解码器输入向量的一组时间序列上的解码器时间序列窗口中的解码器输入向量进行并...
【专利技术属性】
技术研发人员：J·布拉德伯里，S·J·梅里蒂，熊蔡明，R·佐赫尔，
申请(专利权)人：易享信息技术有限公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。