一种数据处理方法、装置、电子设备及可读介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、电子设备及可读介质。所述方法包括：获取预设帧数的序列数据对应的原始特征数据，以及卷积神经网络的各个卷积层中的卷积核大小，根据预设帧数和卷积核大小，分别确定各个卷积层中对卷积神经网络输出目标特征数据实际用到的特征数据对应的目标帧数，在对原始特征数据进行处理的过程中，根据目标帧数，调整各个卷积层待输入的特征数据，输入对应的所述卷积层，输出目标特征数据，使得不再需要对不必要的特征数据进行计算，克服了为了输入和输出的特征数据对应的帧数相等而带来的不必要的运算，减少了序列建模中卷积神经网络的计算量，提高了卷积神经网络的计算速度。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及可读介质
本申请涉及数据处理
，特别是涉及数据处理方法、数据处理装置、电子设备、机器可读介质。
技术介绍
音频播放的声音是随着时间生成的，所以很自然的被表示为一维时间序列，这样的数据称为序列数据。语言中的单词也是逐个出现的，这样的数据也是序列数据，它们都包含时间的概念。而将这样一段序列数据转换为一个固定长度向量表示的方法，称为序列建模(SequenceModels)。目前，在音频数据的序列建模中，通常的计算过程是：将音频信号分帧加窗并提取特征，将若干帧(例如W＝100帧)特征组成一个滑动窗口，作为一个整体，输入一个卷积神经网络进行计算，例如，TCN(TemporalConvolutionalNetwork，时域卷积网络)，并得到网络的输出(一般为1帧特征)作为该段特征序列的向量表示结果，当前滑动窗口向后滑动若干帧(例如H＝10帧)，即将当前滑动窗口的前面若干帧(例如H＝10帧)移出滑动窗口，并在当前滑动窗口后面添加新的若干帧(例如H＝10帧)，组成下一个滑动窗口，重复向后滑动窗口，直至所有帧都计算完。申请人经研究发现，卷积神经网络计算中存在一定程度的上下文依赖关系，在使用TCN模型进行序列建模这个场景中，传统的做法是对输入的所有特征帧进行计算，首先得到与输入帧数相等的输出帧，然后从输出帧中取最后一帧作为最终的向量表示结果。这样一来就出现了有些帧不是必要计算的问题，造成了计算资源的浪费。
技术实现思路
鉴于上述问题，本申请实施例提出了一种克服上述问题或者至少部分地解决上述问题的数据处理方法、数据处理装置、电子设备、机器可读介质，本申请实施例能够解决为了输入和输出的特征数据对应的帧数相等而带来的不必要的运算的问题。为了解决上述问题，本申请公开了一种数据处理方法，包括：获取预设帧数的序列数据对应的原始特征数据，以及卷积神经网络的各个卷积层中的卷积核大小；根据所述预设帧数和卷积核大小，分别确定所述各个卷积层中对所述卷积神经网络输出目标特征数据实际用到的特征数据对应的目标帧数；在所述卷积神经网络对所述原始特征数据进行处理的过程中，根据所述目标帧数，调整所述各个卷积层待输入的特征数据，输入对应的所述卷积层；输出所述目标特征数据。可选地，所述根据所述预设帧数和卷积核大小，分别确定所述各个卷积层中对所述卷积神经网络输出目标特征数据实际用到的特征数据对应的目标帧数包括：对于每一卷积层，计算对应的卷积核大小减少预定值后和所述预设帧数之间的第一和值，以及之后的各个卷积层对应的卷积核大小减少所述预定值后和最后一个卷积层对应的卷积核大小之间的第二和值；所述预定值为正整数；将所述第一和值和第二和值之中的较小值确定为所述目标帧数。可选地，所述根据所述目标帧数，调整所述各个卷积层待输入的特征数据包括：对于每一卷积层，若对应的所述目标帧数大于所述待输入的特征数据对应的帧数，则对所述待输入的特征数据进行补充，得到所述目标帧数对应的特征数据。可选地，所述根据所述目标帧数，对所述各个卷积层待输入的特征数据调整包括：对于每一卷积层，若对应的所述目标帧数小于或者等于前一卷积层输出的特征数据对应的帧数，则从所述前一卷积层输出的特征数据中提取所述目标帧数对应的特征数据。可选地，所述方法还包括：在所述卷积神经网络采用浮点数进行存储和计算时，记录每一卷积层输出的特征数据的最大值和最小值；根据所述每一卷积层输出的特征数据的最大值和最小值，确定对应的卷积层采用定点数时的整数位数和小数位数；在所述卷积神经网络对所述原始特征数据进行处理的过程中，根据所述各个卷积层采用定点数时的整数位数和小数位数，在所述各个卷积层中采用定点数进行存储和计算。可选地，在所述获取预设帧数的序列数据对应的原始特征数据，以及卷积神经网络的各个卷积层中的卷积核大小之前，所述方法还包括：对于每一卷积层，分别将对应于各个输出通道的卷积核依序排列，得到与输出通道对应的第一卷积核矩阵；分别对各个输出通道对应的所述第一卷积核矩阵进行转置，得到第二卷积核矩阵；将所述各个输出通道对应的所述第二卷积核矩阵依序排列后，存入内存。本申请实施例还公开了一种数据处理装置，包括：获取模块，用于获取预设帧数的序列数据对应的原始特征数据，以及卷积神经网络的各个卷积层中的卷积核大小；确定模块，用于根据所述预设帧数和卷积核大小，分别确定所述各个卷积层中对所述卷积神经网络输出目标特征数据实际用到的特征数据对应的目标帧数；输入模块，用于在所述卷积神经网络对所述原始特征数据进行处理的过程中，根据所述目标帧数，调整所述各个卷积层待输入的特征数据，输入对应的所述卷积层；输出模块，用于输出所述目标特征数据。可选地，所述确定模块包括：计算子模块，用于对于每一卷积层，计算对应的卷积核大小减少预定值后和所述预设帧数之间的第一和值，以及之后的各个卷积层对应的卷积核大小减少所述预定值后和最后一个卷积层对应的卷积核大小之间的第二和值；所述预定值为正整数；确定子模块，用于将所述第一和值和第二和值之中的较小值确定为所述目标帧数。可选地，所述输入模块包括：补充子模块，用于对于每一卷积层，若对应的所述目标帧数大于所述待输入的特征数据对应的帧数，则对所述待输入的特征数据进行补充，得到所述目标帧数对应的特征数据。可选地，所述输入模块包括：提取子模块，用于对于每一卷积层，若对应的所述目标帧数小于或者等于前一卷积层输出的特征数据对应的帧数，则从所述前一卷积层输出的特征数据中提取所述目标帧数对应的特征数据。可选地，所述装置还包括：记录模块，用于在所述卷积神经网络采用浮点数进行存储和计算时，记录每一卷积层输出的特征数据的最大值和最小值；位数确定模块，用于根据所述每一卷积层输出的特征数据的最大值和最小值，确定对应的卷积层采用定点数时的整数位数和小数位数；存储计算模块，用于在所述卷积神经网络对所述原始特征数据进行处理的过程中，根据所述各个卷积层采用定点数时的整数位数和小数位数，在所述各个卷积层中采用定点数进行存储和计算。可选地，所述装置还包括：排列模块，用于在所述获取预设帧数的序列数据对应的原始特征数据，以及卷积神经网络的各个卷积层中的卷积核大小之前，对于每一卷积层，分别将对应于各个输出通道的卷积核依序排列，得到与输出通道对应的第一卷积核矩阵；转置模块，用于分别对各个输出通道对应的所述第一卷积核矩阵进行转置，得到第二卷积核矩阵；存储模块，用于将所述各个输出通道对应的所述第二卷积核矩阵依序排列后，存入内存。本申请实施例还公开了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取预设帧数的序列数据对应的原始特征数据，以及卷积神经网络的各个卷积层中的卷积核大小；/n根据所述预设帧数和卷积核大小，分别确定所述各个卷积层中对所述卷积神经网络输出目标特征数据实际用到的特征数据对应的目标帧数；/n在所述卷积神经网络对所述原始特征数据进行处理的过程中，根据所述目标帧数，调整所述各个卷积层待输入的特征数据，输入对应的所述卷积层；/n输出所述目标特征数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取预设帧数的序列数据对应的原始特征数据，以及卷积神经网络的各个卷积层中的卷积核大小；
根据所述预设帧数和卷积核大小，分别确定所述各个卷积层中对所述卷积神经网络输出目标特征数据实际用到的特征数据对应的目标帧数；
在所述卷积神经网络对所述原始特征数据进行处理的过程中，根据所述目标帧数，调整所述各个卷积层待输入的特征数据，输入对应的所述卷积层；
输出所述目标特征数据。


2.根据权利要求1所述的方法，其特征在于，所述根据所述预设帧数和卷积核大小，分别确定所述各个卷积层中对所述卷积神经网络输出目标特征数据实际用到的特征数据对应的目标帧数包括：
对于每一卷积层，计算对应的卷积核大小减少预定值后和所述预设帧数之间的第一和值，以及之后的各个卷积层对应的卷积核大小减少所述预定值后和最后一个卷积层对应的卷积核大小之间的第二和值；所述预定值为正整数；
将所述第一和值和第二和值之中的较小值确定为所述目标帧数。


3.根据权利要求1所述的方法，其特征在于，所述根据所述目标帧数，调整所述各个卷积层待输入的特征数据包括：
对于每一卷积层，若对应的所述目标帧数大于所述待输入的特征数据对应的帧数，则对所述待输入的特征数据进行补充，得到所述目标帧数对应的特征数据。


4.根据权利要求1所述的方法，其特征在于，所述根据所述目标帧数，对所述各个卷积层待输入的特征数据调整包括：
对于每一卷积层，若对应的所述目标帧数小于或者等于前一卷积层输出的特征数据对应的帧数，则从所述前一卷积层输出的特征数据中提取所述目标帧数对应的特征数据。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述卷积神经网络采用浮点数进行存储和计算时，记录每一卷积层输出的特征数据的最大值和最小值；
根据所述每一卷积层输出的特征数据的最大值和最小值，确定对应的卷积层采用定点数时的整数位数和小数位数；
在所述卷积神经网络对所述原始特征数据进行处理的过程中，根据所述各个卷积层采用定点数时的整数位数和小数位数，在所述各个卷积层中采用定点数进行存储和计算。


6.根据权利要求1所述的方法，其特征在于，在所述获取预设帧数的序列数据对应的原始特征数据，以及卷积神经网络的各个卷积层中的卷积核大小之前，所述方法还包括：...

【专利技术属性】
技术研发人员：唐文琦，朱宝亮，赵成帅，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京;11