【技术实现步骤摘要】
基于RNN的解码器隐状态确定方法、设备和存储介质
本公开涉及神经网络
，具体涉及一种基于循环神经网络的解码器、解码器隐状态确定方法与装置、机器设备和计算机可读存储介质。
技术介绍
RNN(RecurrentNeuronNetwork，循环神经网络)是一种非常适用于对序列数据建模的神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为，神经网络会对前面的信息进行记忆，并应用于当前输出的计算中，即神经网络的隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的隐状态输出。目前，循环神经网络已经由基本RNN发展出多种变形结构，例如，长短时记忆(LongShort-TermMemory，LSTM)网络、门控循环单元(GatedRecurrentUnit，GRU)等。循环神经网络在诸如机器翻译领域、机器阅读领域、语音识别领域、图像识别领域等涉及序列到序列(seq2seq)的数据处理领域具有广泛的应用。在序列到序列的数据处理领域中，数据处理设备将表示待转换源内...
【技术保护点】
1.一种确定基于循环神经网络的解码器的隐状态的方法，其特征在于，包括：/n获取解码器的当前时间步的解码端输入；/n获取当前时间步之前每个时间步的解码器隐状态；/n根据所述解码端输入和当前时间步之前所有时间步的解码器隐状态，计算当前时间步的解码器隐状态。/n
【技术特征摘要】
1.一种确定基于循环神经网络的解码器的隐状态的方法，其特征在于，包括：
获取解码器的当前时间步的解码端输入；
获取当前时间步之前每个时间步的解码器隐状态；
根据所述解码端输入和当前时间步之前所有时间步的解码器隐状态，计算当前时间步的解码器隐状态。
2.根据权利要求1所述的方法，其特征在于，所述根据所述解码端输入和当前时间步之前所有时间步的解码器隐状态，计算当前时间步的解码器隐状态包括：
根据所获取的当前时间步之前每个时间步的解码器隐状态，计算得到当前时间步的解码器隐状态历史向量；
根据所述解码端输入和所述解码器隐状态历史向量，计算当前时间步的解码器隐状态。
3.根据权利要求2所述的方法，其特征在于，所述根据所述解码端输入和所述解码器隐状态历史向量，计算当前时间步的解码器隐状态包括：
将所述解码端输入和所述解码器隐状态历史向量相加，作为所述解码器在当前时间步的第一输入量；
根据第一输入量和上一时间步的解码器隐状态，计算当前时间步的解码器隐状态。
4.根据权利要求2所述的方法，其特征在于，所述根据所述解码端输入和所述解码器隐状态历史向量，计算当前时间步的解码器隐状态包括：
获取当前时间步的源上下文向量；
将所述解码端输入、所述解码器隐状态历史向量和所述源上下文向量相加，作为所述解码器在当前时间步的第二输入量；
根据第二输入量和在当前时间步之前的上一时间步的解码器隐状态，计算当前时间步的解码器隐状态。
5.根据权利要求2所述的方法，其特征在于，所述根据所述解码端输入和所述解码器隐状态历史向量，计算当前时间步的解码器隐状态包括：
获取当前时间步的源上下文向量；
将所述解码端输入、所述解码器隐状态历史向量和所述源上下文向量相加，作为所述解码器在当前时间步的第二输入量；
获取上一时间步的解码器单元状态；
根据第二输入量、上一时间步的解码器单元状态、上一时间步的解码器隐状态，计算当前时间步的解码器隐状态。
6.根据权利要求5所述的方法，其特征在于，还包括：
根据当前时间步的第二输入量、上一时间步的解码器单元状态和上一时间步的解码器隐状态，计算得到当前时间步的解码器单元状态。
7.根据权利要求2-6中任一项所述的方法，其特征在于，所述根据所获取的当前时间步之前每个时间步的解码器隐状态，计算得到当前时间步的解码器隐状态历史向量包括：
计算当前时间步之前所有时间步的解码器隐状态的加权和，作为当前时间步的解码器隐状态历史向量。
8.根据权利要求7所述的方法，其特征在于，所述计算当前时间步之前所有时间步的解码器隐状态的加权和包括：
根据以下公式计算当前时间步之前所有时间步的解码器隐状态的加权和，作为当前时间步的解码器隐状态历史向量
其中，t表示当前时间步，t-1表示当前时间步之前的上一时间步，sj表示时间步j的解码器隐状态，αtj为sj的权重值并且是根据上一时间步t-1的解码器隐状态st-1与sj计算出的。
9.根据权利要求8所述的方法，其特征在于，αtj是根据以下公...
【专利技术属性】
技术研发人员：王明轩，谢军，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。