一种数据处理方法、装置、电子设备及可读介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、电子设备及可读介质。所述方法包括：将序列数据对应的特征数据输入神经网络；其中，神经网络的多个网络层按处理顺序划分成多个网络层分组，根据已经输入的特征数据对应的序列数据的总帧数，按处理顺序逐个启动总帧数对应的网络层分组的处理，两两相邻的网络层分组对应的总帧数之间的差值相同或不相同，使得对神经网络的计算进行了拆分，将计算分摊在更长的时间中，避免每输入若干帧时计算资源占用出现尖峰的问题，解决了局部时刻计算资源负载过高和大部分时刻计算资源负载过低的问题，有助于降低负载峰值，降低整个计算的功耗，加快计算的响应速度，同时也减少了计算资源的浪费。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及可读介质
本申请涉及数据处理
，特别是涉及数据处理方法、数据处理装置、电子设备、机器可读介质。
技术介绍
音频播放的声音是随着时间生成的，所以很自然的被表示为一维时间序列，这样的数据称为序列数据。语言中的单词也是逐个出现的，这样的数据也是序列数据，它们都包含时间的概念。而将这样一段序列数据转换为一个固定长度向量表示的方法，称为序列建模(SequenceModels)。目前，在音频数据的序列建模中，通常的计算过程是：将音频信号分帧加窗并提取特征，将若干帧(例如W＝100帧)特征组成一个滑动窗口，作为一个整体，输入一个卷积神经网络进行计算，例如，TCN(TemporalConvolutionalNetwork，时域卷积网络)，并得到网络的输出(一般为1帧特征)作为该段特征序列的向量表示结果，当前滑动窗口向后滑动若干帧(例如H＝10帧)，即将当前滑动窗口的前面若干帧(例如H＝10帧)移出滑动窗口，并在当前滑动窗口后面添加新的若干帧(例如H＝10帧)，组成下一个滑动窗口，重复向后滑动窗口，直至所有帧都计算完。申请人经研究发现，在以滑动窗口形式进行的神经网络计算过程中，假设滑动窗口的窗长为W帧，窗移为H帧，且满足H≤W，神经网络进行一次计算的输入为W帧。在输入1至(W-1)帧时，由于总帧数小于W帧，神经网络不进行计算；在输入W帧时，总帧数≥W帧，满足生成第一个窗口的条件，神经网络进行一次计算；在输入(W+1)帧至(W+H-1)帧时，虽然总帧数≥W帧，但是不满足生成下一个窗口的条件，因此神经网络不进行计算；在输入(W+H)帧时，总帧数≥W帧，满足生成第2个窗口的条件，神经网络进行一次计算，重复上述过程，直至所有帧都计算完。从上述过程中可以看到，在输入(W+1)帧至(W+H-1)帧的过程中，神经网络都没有进行计算，此时的计算资源处于空闲状态，而当(W+H)帧输入时，神经网络进行计算，计算资源处于高负载状态，这就造成计算资源在每输入H帧时会出现一个尖峰，出现计算资源占用的不均衡。总的来说，由于相邻的两个窗口之间是有帧数间隔的，导致神经网络的计算不是每一帧都能进行的，这样就会出现计算资源占用的不均衡。
技术实现思路
鉴于上述问题，本申请实施例提出了一种克服上述问题或者至少部分地解决上述问题的数据处理方法、数据处理装置、电子设备、机器可读介质，本申请实施例能够解决计算资源占用不均衡的问题。为了解决上述问题，本申请公开了一种数据处理方法，包括：将序列数据对应的特征数据输入神经网络；其中，所述神经网络的多个网络层按处理顺序划分成多个网络层分组；根据已经输入的特征数据对应的序列数据的总帧数，按处理顺序逐个启动所述总帧数对应的网络层分组的处理，其中，两两相邻的网络层分组对应的总帧数之间的差值相同或不相同。可选地，所述根据已经输入的特征数据对应的序列数据的总帧数，按处理顺序逐个启动所述总帧数对应的网络层分组的处理包括：在所述总帧数达到预设处理帧数的情况下，计算所述总帧数和所述预设处理帧数的差值，以及所述差值除以预设步长的整数商和余数；根据所述整数商，确定所述神经网络的待处理特征数据；其中，所述待处理特征数据对应的序列数据的帧数为所述预设处理帧数；根据所述余数，按处理顺序逐个启动所述余数对应的网络层分组的处理，对所述待处理特征数据进行处理。可选地，所述预设步长和所述网络层分组个数的比值为预设整数值，所述余数每增加所述预设整数值，启动下一个网络层分组的处理。。可选地，在所述将序列数据对应的特征数据输入神经网络之前，所述方法还包括：生成测试特征数据；将所述测试特征数据输入所述神经网络进行处理；统计每一网络层的计算负载；根据所述每一网络层的计算负载，将所述多个网络层按处理顺序划分为预设个数的网络层分组，使得两两网络层分组的计算负载之间的差值的最大值低于预设最小值。本申请实施例还公开了一种数据处理装置，包括：数据输入模块，用于将序列数据对应的特征数据输入神经网络；其中，所述神经网络的多个网络层按处理顺序划分成多个网络层分组；处理启动模块，用于根据已经输入的特征数据对应的序列数据的总帧数，按处理顺序逐个启动所述总帧数对应的网络层分组的处理，其中，两两相邻的网络层分组对应的总帧数之间的差值相同或不相同。可选地，所述处理启动模块包括：计算子模块，用于在所述总帧数达到预设处理帧数的情况下，计算所述总帧数和所述预设处理帧数的差值，以及所述差值除以预设步长的整数商和余数；数据确定子模块，用于根据所述整数商，确定所述神经网络的待处理特征数据；其中，所述待处理特征数据对应的序列数据的帧数为所述预设处理帧数；处理子模块，用于根据所述余数，按处理顺序逐个启动所述余数对应的网络层分组的处理，对所述待处理特征数据进行处理。可选地，所述预设步长和所述网络层分组个数的比值为预设整数值，所述余数每增加所述预设整数值，启动下一个网络层分组的处理。。可选地，所述装置还包括：测试数据生成模块，用于在所述将序列数据输入神经网络之前，生成测试特征数据；测试处理模块，用于将所述测试特征数据输入所述神经网络进行处理；负载统计模块，用于统计每一网络层的计算负载；分组模块，用于根据所述每一网络层的计算负载，将所述多个网络层按处理顺序划分为预设个数的网络层分组，使得两两网络层分组的计算负载之间的差值的最大值低于预设最小值。本申请实施例还公开了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上述的方法步骤。本申请实施例还公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如上述的数据处理方法。本申请实施例包括以下优点：综上所述，依据本申请实施例，通过将序列数据对应的特征数据输入神经网络；其中，神经网络的多个网络层按处理顺序划分成多个网络层分组，根据已经输入的特征数据对应的序列数据的总帧数，按处理顺序逐个启动总帧数对应的网络层分组的处理，两两相邻的网络层分组对应的总帧数之间的差值相同或不相同，使得对神经网络的计算进行了拆分，将计算分摊在更长的时间中，避免每输入若干帧时计算资源占用出现尖峰的问题，解决了局部时刻计算资源负载过高和大部分时刻计算资源负载过低的问题，有助于降低负载峰值，降低整个计算的功耗，加快计算的响应速度，同时也减少了计算资源的浪费。附图说明图1示出了本申请的一种数据处理方法实施例的步骤流程图；图2示出了本申请的一种数据处理方法实施例的步骤流程图；图3示出了本申请的一种数据处理装置实施例的结构框图；图4是根据一示例性实施例示出的一种电子设备的框图；及图5是本申请的一些实施本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n将序列数据对应的特征数据输入神经网络；其中，所述神经网络的多个网络层按处理顺序划分成多个网络层分组；/n根据已经输入的特征数据对应的序列数据的总帧数，按处理顺序逐个启动所述总帧数对应的网络层分组的处理，其中，两两相邻的网络层分组对应的总帧数之间的差值相同或不相同。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
将序列数据对应的特征数据输入神经网络；其中，所述神经网络的多个网络层按处理顺序划分成多个网络层分组；
根据已经输入的特征数据对应的序列数据的总帧数，按处理顺序逐个启动所述总帧数对应的网络层分组的处理，其中，两两相邻的网络层分组对应的总帧数之间的差值相同或不相同。


2.根据权利要求1所述的方法，其特征在于，所述根据已经输入的特征数据对应的序列数据的总帧数，按处理顺序逐个启动所述总帧数对应的网络层分组的处理包括：
在所述总帧数达到预设处理帧数的情况下，计算所述总帧数和所述预设处理帧数的差值，以及所述差值除以预设步长的整数商和余数；
根据所述整数商，确定所述神经网络的待处理特征数据；其中，所述待处理特征数据对应的序列数据的帧数为所述预设处理帧数；
根据所述余数，按处理顺序逐个启动所述余数对应的网络层分组的处理，对所述待处理特征数据进行处理。


3.根据权利要求2所述的方法，其特征在于，所述预设步长和所述网络层分组个数的比值为预设整数值，所述余数每增加所述预设整数值，启动下一个网络层分组的处理。


4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述将序列数据对应的特征数据输入神经网络之前，所述方法还包括：
生成测试特征数据；
将所述测试特征数据输入所述神经网络进行处理；
统计每一网络层的计算负载；
根据所述每一网络层的计算负载，将所述多个网络层按处理顺序划分为预设个数的网络层分组，使得两两网络层分组的计算负载之间的差值的最大值低于预设最小值。


5.一种数据处理装置，其特征在于，包括：
数据输入模块，用于将序列数据对应的特征数据输入神经网络；其中，所述神经网络的多个网络层按处理顺序划分成多个网络层分组；
处理启动模块，用于根据已经输入的特征数据对应的序列数据的总帧...

【专利技术属性】
技术研发人员：唐文琦，朱宝亮，赵成帅，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京;11