【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种数据处理方法、装置和存储介质。
技术介绍
1、随着人工智能(artificial ittelligetce，ai)技术的不断发展，循环神经网络(recurrent neural network，rnn)在终端设备中具有较多的应用需求，例如语音唤醒、语音降噪以及语音识别等应用。然而，终端设备的存储资源与计算资源有限，而循环神经网络所包含的参数量和计算量较大，使得循环神经网络难以在终端设备上进行部署。因此，如何在保证网络精度的情况下减少循环神经网络的计算量和参数量，加快网络运算速度，成为了亟需解决的问题。
技术实现思路
1、有鉴于此，提出了一种数据处理方法、装置和存储介质。
2、第一方面，本申请的实施例提供了一种数据处理方法，该方法包括：提取目标数据的特征序列，所述特征序列包括t个输入特征，t为正整数，t∈[1,t]；基于循环神经网络，得到t个隐层状态向量；其中，根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，其中，所述第t-1个扩充状态向量基于所述第t-1 个隐层状态向量进行轻量化处理得到；根据所述t个隐层状态向量，通过下游任务网络，得到所述目标数据的处理结果。
3、根据本申请实施例，由于循环神经网络当前所需输入的状态向量中有部分状态向量是通过轻量化处理得到的扩充状态向量，因此可以控制循环神经网络输出较小维度的隐层状态向量，这样可以减少循环神经网络输出隐层状态向量所需的参数量与计
4、根据第一方面，在第一方面的第一种可能的实现方式中，所述循环神经网络包括第一类循环神经网络，所述第一类循环神经网络包括重置门层与更新门层，所述重置门层用于控制从隐层状态向量中丢弃的信息，所述更新门层用于控制向隐层状态向量中添加的信息，所述根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，包括：分别通过所述重置门层和所述更新门层中的第一门控神经元根据所述第 t-1个输入特征、所述第t-1个隐层状态向量以及所述第t-1个扩充状态向量，确定第一门控向量；通过所述第一类循环神经网络中的候选神经元根据所述重置门层中第一门控神经元确定出的第一门控向量、所述第t-1个输入特征以及所述第t-1个隐层状态向量，确定第一候选隐层状态向量，或者，根据所述重置门层中第一门控神经元确定出的第一门控向量、所述第t-1个输入特征、所述第t-1个隐层状态向量以及所述第t-1个扩充状态向量，确定第一候选隐层状态向量；根据所述更新门层中第一门控神经元确定出的第一门控向量、所述第 t-1个隐层状态向量以及所述第一候选隐层状态向量，确定第t个隐层状态向量。
5、根据本申请实施例，通过第一类循环神经网络基于第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，可以使第一类循环神经网络输出维度较小的隐层状态向量，从而减少第一类循环神经网络中的参数量与计算量。
6、根据第一方面，在第一方面的第二种可能的实现方式中，所述循环神经网络包括第一类循环神经网络，所述第一类循环神经网络包括重置门层与更新门层，所述重置门层用于控制从隐层状态向量中丢弃的信息，所述更新门层用于控制向隐层状态向量中添加的信息，所述通过循环神经网络根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，包括：通过所述第一类循环神经网络中重置门层或更新门层的第一门控神经元根据所述第t-1个输入特征、所述第t-1个隐层状态向量以及所述第t-1 个扩充状态向量，确定第一门控向量；通过所述第一类循环神经网络中的第一变换神经元对所述第一门控向量进行轻量化处理，得到第一补充门控向量；根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量以及所述第一门控向量，确定第t个隐层状态向量；或者，根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量、所述第一门控向量以及所述第t-1个扩充状态向量，确定第t个隐层状态向量。
7、可选地，在所述第一门控神经元是所述第一类循环神经网络的更新门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量以及所述第一门控向量，确定第t个隐层状态向量，包括：通过所述第一类循环神经网络中的候选神经元根据所述第t-1个输入特征、所述第t-1个隐层状态向量以及所述第一补充门控向量，确定第二候选隐层状态向量；根据所述第一门控向量、所述第t-1个隐层状态向量以及所述第二候选隐层状态向量，确定第t个隐层状态向量。
8、可选地，在所述第一门控神经元是所述第一类循环神经网络的重置门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量以及所述第一门控向量，确定第t个隐层状态向量，包括：通过所述第一类循环神经网络中的候选神经元根据所述第t-1个输入特征、所述第t-1个隐层状态向量以及所述第一门控向量，确定第三候选隐层状态向量；根据所述第一补充门控向量、所述第t-1个隐层状态向量以及所述第三候选隐层状态向量，确定第t个隐层状态向量。
9、可选地，在所述第一门控神经元是所述第一类循环神经网络的更新门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量、所述第一门控向量以及所述第t-1个扩充状态向量，确定第t个隐层状态向量，包括：通过所述第一类循环神经网络中的候选神经元根据所述第t-1个输入特征、所述第t-1 个隐层状态向量、所述第一补充门控向量以及所述第t-1个扩充状态向量，确定第四候选隐层状态向量；根据所述第一门控向量、所述第t-1个隐层状态向量以及所述第四候选隐层状态向量，确定第t个隐层状态向量。
10、可选地，在所述第一门控神经元是所述第一类循环神经网络的重置门层中的门控神经元的情况下，根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量、所述第一门控向量以及所述第t-1个扩充状态向量，确定第t个隐层状态向量，包括：通过所述第一类循环神经网络中的候选神经元根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一门控向量以及所述第t-1个扩充状态向量，确定第五候选隐层状态向量；根据所述第一补充门控向量、所述第t-1个隐层状态向量以及所述第五候选隐层状态向量，确定第t个隐层状态向量。
11、根据本申请实本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述循环神经网络包括第一类循环神经网络，所述第一类循环神经网络包括重置门层与更新门层，所述重置门层用于控制从隐层状态向量中丢弃的信息，所述更新门层用于控制向隐层状态向量中添加的信息，所述根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
3.根据权利要求1所述的方法，其特征在于，所述循环神经网络包括第一类循环神经网络，所述第一类循环神经网络包括重置门层与更新门层，所述重置门层用于控制从隐层状态向量中丢弃的信息，所述更新门层用于控制向隐层状态向量中添加的信息，所述根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
4.根据权利要求3所述的方法，其特征在于，在所述第一门控神经元是所述第一类循环神经网络的更新门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量以及所述第一门控向量，确定第t个隐层状态
5.根据权利要求3所述的方法，其特征在于，在所述第一门控神经元是所述第一类循环神经网络的重置门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量以及所述第一门控向量，确定第t个隐层状态向量，包括：
6.根据权利要求3所述的方法，其特征在于，在所述第一门控神经元是所述第一类循环神经网络的更新门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量、所述第一门控向量以及所述第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
7.根据权利要求3所述的方法，其特征在于，在所述第一门控神经元是所述第一类循环神经网络的重置门层中的门控神经元的情况下，根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量、所述第一门控向量以及所述第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
8.根据权利要求1所述的方法，其特征在于，所述循环神经网络包括第二类循环神经网络，所述根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
9.根据权利要求8所述的方法，其特征在于，所述通过所述第二类循环神经网络根据所述第t-1个拼接状态向量、所述第t-1个输入特征以及第t-1个单元状态向量，确定第t个隐层状态向量以及第t个单元状态向量，包括：
10.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元是所述遗忘门层中的门控神经元的情况下，所述第二补充门控向量包括所述输入门层与所述输出门层中的第二变换神经元，分别对所述第二门控向量进行轻量化处理所得到的第二补充门控向量；
11.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元是所述输入门层中的门控神经元的情况下，所述第二补充门控向量包括所述遗忘门层与所述输出门层中的第二变换神经元，分别对所述第二门控向量进行轻量化处理所得到的第二补充门控向量；
12.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元是所述输出门层中的门控神经元的情况下，所述第二补充门控向量包括所述遗忘门层与所述输入门层中的第二变换神经元，分别对所述第二门控向量进行轻量化处理所得到的第二补充门控向量；
13.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元包括所述遗忘门层与所述输入门层中的门控神经元的情况下，所述第二补充门控向量包括所述第二变换神...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述循环神经网络包括第一类循环神经网络，所述第一类循环神经网络包括重置门层与更新门层，所述重置门层用于控制从隐层状态向量中丢弃的信息，所述更新门层用于控制向隐层状态向量中添加的信息，所述根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
3.根据权利要求1所述的方法，其特征在于，所述循环神经网络包括第一类循环神经网络，所述第一类循环神经网络包括重置门层与更新门层，所述重置门层用于控制从隐层状态向量中丢弃的信息，所述更新门层用于控制向隐层状态向量中添加的信息，所述根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
4.根据权利要求3所述的方法，其特征在于，在所述第一门控神经元是所述第一类循环神经网络的更新门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量以及所述第一门控向量，确定第t个隐层状态向量，包括：
5.根据权利要求3所述的方法，其特征在于，在所述第一门控神经元是所述第一类循环神经网络的重置门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量以及所述第一门控向量，确定第t个隐层状态向量，包括：
6.根据权利要求3所述的方法，其特征在于，在所述第一门控神经元是所述第一类循环神经网络的更新门层中的门控神经元的情况下，所述根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量、所述第一门控向量以及所述第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
7.根据权利要求3所述的方法，其特征在于，在所述第一门控神经元是所述第一类循环神经网络的重置门层中的门控神经元的情况下，根据所述第t-1个输入特征、所述第t-1个隐层状态向量、所述第一补充门控向量、所述第一门控向量以及所述第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
8.根据权利要求1所述的方法，其特征在于，所述循环神经网络包括第二类循环神经网络，所述根据第t-1个输入特征、第t-1个隐层状态向量以及第t-1个扩充状态向量，确定第t个隐层状态向量，包括：
9.根据权利要求8所述的方法，其特征在于，所述通过所述第二类循环神经网络根据所述第t-1个拼接状态向量、所述第t-1个输入特征以及第t-1个单元状态向量，确定第t个隐层状态向量以及第t个单元状态向量，包括：
10.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元是所述遗忘门层中的门控神经元的情况下，所述第二补充门控向量包括所述输入门层与所述输出门层中的第二变换神经元，分别对所述第二门控向量进行轻量化处理所得到的第二补充门控向量；
11.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元是所述输入门层中的门控神经元的情况下，所述第二补充门控向量包括所述遗忘门层与所述输出门层中的第二变换神经元，分别对所述第二门控向量进行轻量化处理所得到的第二补充门控向量；
12.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元是所述输出门层中的门控神经元的情况下，所述第二补充门控向量包括所述遗忘门层与所述输入门层中的第二变换神经元，分别对所述第二门控向量进行轻量化处理所得到的第二补充门控向量；
13.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元包括所述遗忘门层与所述输入门层中的门控神经元的情况下，所述第二补充门控向量包括所述第二变换神经元对所述遗忘门层和/或所述输入门层中的第二门控神经元所确定出的第二门控向量进行轻量化处理所得到的第二补充门控向量；
14.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元包括所述遗忘门层与所述输出门层中的门控神经元的情况下，所述第二补充门控向量包括所述第二变换神经元对所述遗忘门层和/或所述输出门层中的第二门控神经元所确定出的第二门控向量进行轻量化处理所得到的第二补充门控向量；
15.根据权利要求9所述的方法，其特征在于，所述第二类循环神经网络包括遗忘门层、输入门层与输出门层，所述遗忘门层用于控制从单元状态向量中丢弃的信息，所述输入门层用于控制向单元状态向量中添加的信息，所述输出门层用于控制输出的单元状态向量中的信息；在所述第二门控神经元包括所述输入门层...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。