【技术实现步骤摘要】
用于建模序列数据中长期依赖性的双重递归神经网络架构
本公开涉及用于未来状态预测的递归神经网络。
技术介绍
学习环境的动态变化并预测未来的后果是具有众多应用的最新技术进步。这些应用包括视频预测，语音识别等，并且它们通常使用机器学习(例如深度学习模型，神经网络或其他人工智能算法)进行预测。在一个示例中，常见的应用是训练模型(例如深度学习模型)，其以视频的过去帧为条件准确地预测视频的像素级未来帧。此特定应用可用于智能代理，以引导他们与世界互动，或用于其他视频分析任务，例如活动识别。然而，诸如上述的用于进行预测的当前人工智能算法表现出各种限制。例如，当前技术通常限于做出短期未来预测。例如，卷积长短期记忆(ConvLSTM)网络已成为视频预测的流行模型架构选择，它仅能在一帧或少于十帧的情况下产生高质量的预测。在视频预测的背景下，由于1)高维视频数据中存在复杂的动态变化，2)随着时间的推移传播预测误差，以及3)未来固有的不确定性，学习预测长期的未来视频帧仍然具有挑战性。需要解决这些问题和/或与现有技术相关联的其他问题。<...
【技术保护点】
1.一种方法，包括：/n识别与输入序列相关联的隐藏状态集；/n通过历史递归神经网络处理所述隐藏状态集，以学习与所述输入序列相关联的单元状态转换函数；/n通过更新递归神经网络，基于所述单元状态转换函数，为所述输入序列的每个输入更新当前单元状态和相应的隐藏状态。/n
【技术特征摘要】
20190924 US 16/581,0991.一种方法，包括：
识别与输入序列相关联的隐藏状态集；
通过历史递归神经网络处理所述隐藏状态集，以学习与所述输入序列相关联的单元状态转换函数；
通过更新递归神经网络，基于所述单元状态转换函数，为所述输入序列的每个输入更新当前单元状态和相应的隐藏状态。
2.根据权利要求1所述的方法，其中，所述输入序列是视频帧的序列。
3.根据权利要求1所述的方法，其中，所述输入序列是语音序列。
4.根据权利要求1所述的方法，其中，所述历史递归神经网络和所述更新递归神经网络是长短期记忆(LSTM)网络。
5.根据权利要求1所述的方法，其中，所述历史递归神经网络和所述更新递归神经网络是卷积长短期记忆(ConvLSTM)网络。
6.根据权利要求1所述的方法，其中，所述历史递归神经网络和所述更新递归神经网络是门控递归单元(GRU)网络。
7.根据权利要求1所述的方法，其中，与所述输入序列相关联的所述隐藏状态集包括与所述输入序列相关联的所有隐藏状态。
8.根据权利要求1所述的方法，其中，所述历史递归神经网络包括注意力机制。
9.根据权利要求8所述的方法，其中，所述历史递归神经网络将所述注意力机制应用于与所述输入序列相关联的所述隐藏状态集。
10.根据权利要求9所述的方法，其中，所述注意力机制针对时间步长k计算最后的隐藏状态与每个较早的隐藏状态之间的关系，以指示针对每个较早的隐藏状态的权重。
11.根据权利要求1所述的方法，其中，损失函数用于训练所述历史递归神经网络和所述更新递归神经网络。
12.根据权利要求11所述的方法，其中，还利用知觉损失来训练所述历史递归神经网络和所述更新递归神经网络。
13.根据权利要求1所述的方法，其中，在先前递归层和当前递归层之间利用跳过连接。
14.根据权利要求13所述的方法，其中，所述跳过连接将所述先前递归层和所述当前递归层的输出联结在一起。
15.根据权利要求1所述的方法，其中，跨层利用门控跳过连接。
16.根据权利要求15所述的方法，其中，所述门控跳过连接是被添加以控制跨层的信息流的乘法门。
17.根据权利要求1所述的方法，其中，所述历史递归神经网络和所述更新递归神经网络形成对所述输入序列所表示的序列数据中的长期依赖性进行建模的双重递归神经网络架构。
18.根据权利要求17所述的方法，还包括使用所述双重递归神经网络架构从所述输入序列预测长期未来数据。
19.一种系统，包括：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。