数据处理方法、音频降噪方法和神经网络模型技术

本申请公开了一种数据处理方法，包括：获取子序列的用于输入神经网络模型的第一特征数据；所述子序列为对目标序列进行分帧处理获得的数据子集；获得子序列的第一特征数据对应的短时记忆缓存数据；所述短时记忆缓存数据为在时间次序上子序列的前一子序列的第一特征数据的部分数据；将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行降噪处理，得到第二特征数据；所述第二特征数据为去除部分噪声的第一特征数据。采用上述方法，以解决现有技术采用神经网络模型对输入数据进行降噪处理时存在的大模型运算缓慢、延迟较大的问题。

【技术实现步骤摘要】
数据处理方法、音频降噪方法和神经网络模型
本申请涉及人工智能
，具体涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种存储设备；本申请还涉及一种基于神经网络模型进行数据处理的方法和一种基于神经网络模型进行数据处理的装置；本申请还涉及一种音频降噪方法、一种音频降噪装置和一种神经网络模型。
技术介绍
直播场景中，音频经常混杂噪声，影响听感。越来越常见的突发噪声、复杂噪声、人声，对传统的音频降噪算法的能力提出了严峻挑战。利用神经网络，尤其是卷积神经网络(ConvolutionalNeuralNetworks，CNN)的数据驱动算法，在复杂噪声的场景下取得了较好的效果。但神经网络可靠的降噪效果，依赖于神经网络(NeuralNetworks，NN)的深度与运算复杂度，也依赖于输入数据、输入特征的数量。一般而言，NN越深、参数越多、复杂度越高、输入特征越长，则算法效果越好。但是较深、参数较多、输入特征多的NN模型，运行速度也更慢，算法产生的延迟也会变大，对用户使用体验的影响也更显著。在实际研发中，对NN模型“大小、速度”与“效果”之间的取舍，一直是一个较难的问题。综上所述，现有技术采用神经网络对输入数据进行降噪处理时存在大模型运算缓慢、延迟较大的问题。
技术实现思路
本申请提供一种数据处理方法、装置、电子设备和存储设备，以解决现有技术采用神经网络对输入数据进行降噪处理时存在的大模型运算缓慢、延迟较大的问题。本申请提供一种数据处理方法，包括：获取子序列的用于输入神经网络模型的第一特征数据；所述子序列为对目标序列进行分帧处理获得的数据子集；获得子序列的第一特征数据对应的短时记忆缓存数据；所述短时记忆缓存数据为在时间次序上子序列的前一子序列的第一特征数据的部分数据；将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行降燥处理，得到第二特征数据；所述第二特征数据为去除部分噪声的第一特征数据。可选的，所述第一卷积层为神经网络模型的第一层卷积层，所述获取子序列的用于输入神经网络模型的第一特征数据，包括：获得目标序列数据；按照指定帧数对所述目标序列数据进行分帧处理，得到子序列的原始数据；对所述子序列的原始数据进行特征转换处理，得到子序列用于输入神经网络模型的第一特征数据。可选的，所述第一卷积层不是神经网络模型的第一层卷积层，所述获得子序列的用于输入神经网络模型的的第一特征数据，包括：获取所述第一卷积层的上一层卷积层针对子序列输出的特征数据；将所述针对子序列输出的特征数据作为子序列的用于输入神经网络模型的第一特征数据。可选的，所述获得子序列的第一特征数据对应的短时记忆缓存数据，包括：判断缓存中是否存在子序列的第一特征数据对应的短时记忆缓存数据；当不存在时，针对子序列的第一特征数据进行数据填充处理，得到子序列的第一特征数据对应的短时记忆缓存数据；当存在时，从缓存中获得子序列的第一特征数据对应的短时记忆缓存数据。可选的，所述判断缓存中是否存在子序列的第一特征数据对应的短时记忆缓存数据，包括：判断子序列的第一特征数据对应的子序列是否为第一子序列；所述第一子序列为目标序列中位于时间最先的子序列；若是，判断为缓存中不存在子序列的第一特征数据对应的短时记忆缓存数据；若否，判断为缓存中存在子序列的第一特征数据对应的短时记忆缓存数据。可选的，缓存中存在的子序列的第一特征数据对应的短时记忆缓存数据通过下述方式获得：获得上一子序列的第一特征数据；从所述上一子序列的第一特征数据的末尾部分，截取预设长度的特征数据；将所述预设长度的特征数据，作为缓存中存在的子序列的第一特征数据对应的短时记忆缓存数据。可选的，所述预设长度为第一卷积层所需的短时记忆帧数；所述第一卷积层所需的短时记忆帧数，根据第一卷积层的卷积核的大小、第一卷积层的卷积的空洞率确定。可选的，所述将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行降燥处理，得到第二特征数据，包括：将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行卷积运算和正则化处理，得到第二特征数据。可选的，所述将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行卷积运算和正则化处理，得到第二特征数据，包括：根据子序列的第一特征数据和所述对应的短时记忆缓存数据，获得子序列中每一帧的特征数据的均值和标准差；根据所述每一帧的特征数据的均值和标准差，对同一帧的特征数据进行归一化处理，得到每一帧对应的归一化后的特征数据；获得用于正则化运算的正则化变换参数值；根据所述正则化变换参数、每一帧对应的归一化后的特征数据，进行卷积运算和正则化处理，得到第二特征数据。可选的，所述子序列包括至少一帧；所述获得用于正则化运算的正则化变换参数，包括：针对子序列包括的各帧获得相同的用于正则化运算的正则化变换参数值。可选的，所述子序列包括以下至少一种：音频序列的子序列；视频序列的子序列；文本序列的子序列。本申请还提供一种数据处理装置，包括：第一特征数据获得单元，用于获取子序列的用于输入神经网络模型的第一特征数据；所述子序列为对目标序列进行分帧处理获得的数据子集；短时记忆缓存数据获得单元，用于获得子序列的第一特征数据对应的短时记忆缓存数据；所述短时记忆缓存数据为在时间次序上子序列的前一子序列的第一特征数据的部分数据；第二特征数据得到单元，用于将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行降噪处理，得到第二特征数据；所述第二特征数据为去除部分噪声的第一特征数据。本申请还提供一种电子设备，包括：处理器；以及存储器，用于存储数据处理方法的程序，该设备通电并通过所述处理器运行该数据处理方法的程序后，执行下述步骤：获取子序列的用于输入神经网络模型的第一特征数据；所述子序列为对目标序列进行分帧处理获得的数据子集；获得子序列的第一特征数据对应的短时记忆缓存数据；所述短时记忆缓存数据为在时间次序上子序列的前一子序列的第一特征数据的部分数据；将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行降噪处理，得到第二特征数据；所述第二特征数据为去除部分噪声的第一特征数据。本申请还提供一种存储设备，存储有数据处理方法的程序，该程序被处理器运行，执行下述步骤：获取子序列的用于输入神经网络模型的第一特征数据；所述子序列为对目标序列进行分帧处理获得的数据子集；获得子序列的第一特征数据对应的短时记忆缓存数据；所述短时记忆缓存数据为在时间次序上子序列的前一子序列的第一特征数据的部分数据；将子序列的第一特征数据和所述本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取子序列的用于输入神经网络模型的第一特征数据；所述子序列为对目标序列进行分帧处理获得的数据子集；/n获得子序列的第一特征数据对应的短时记忆缓存数据；所述短时记忆缓存数据为在时间次序上子序列的前一子序列的第一特征数据的部分数据；/n将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行降噪处理，得到第二特征数据；所述第二特征数据为去除部分噪声的第一特征数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取子序列的用于输入神经网络模型的第一特征数据；所述子序列为对目标序列进行分帧处理获得的数据子集；
获得子序列的第一特征数据对应的短时记忆缓存数据；所述短时记忆缓存数据为在时间次序上子序列的前一子序列的第一特征数据的部分数据；
将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行降噪处理，得到第二特征数据；所述第二特征数据为去除部分噪声的第一特征数据。


2.根据权利要求1所述的方法，其特征在于，所述第一卷积层为神经网络模型的第一层卷积层，所述获取子序列的用于输入神经网络模型的第一特征数据，包括：
获得目标序列数据；
按照指定帧数对所述目标序列数据进行分帧处理，得到子序列的原始数据；
对所述子序列的原始数据进行特征转换处理，得到子序列的用于输入神经网络模型的第一特征数据。


3.根据权利要求1所述的方法，其特征在于，所述第一卷积层不是神经网络模型的第一层卷积层，所述获得子序列的用于输入神经网络模型的的第一特征数据，包括：
获取所述第一卷积层的上一层卷积层针对子序列输出的特征数据；
将所述针对子序列输出的特征数据作为子序列的用于输入神经网络模型的第一特征数据。


4.根据权利要求1所述的方法，其特征在于，所述获得子序列的第一特征数据对应的短时记忆缓存数据，包括：
判断缓存中是否存在子序列的第一特征数据对应的短时记忆缓存数据；
当不存在时，针对子序列的第一特征数据进行数据填充处理，得到子序列的第一特征数据对应的短时记忆缓存数据；
当存在时，从缓存中获得子序列的第一特征数据对应的短时记忆缓存数据。


5.根据权利要求4所述的方法，其特征在于，所述判断缓存中是否存在子序列的第一特征数据对应的短时记忆缓存数据，包括：
判断子序列的第一特征数据对应的子序列是否为第一子序列；所述第一子序列为目标序列中位于时间最先的子序列；
若是，判断为缓存中不存在子序列的第一特征数据对应的短时记忆缓存数据；
若否，判断为缓存中存在子序列的第一特征数据对应的短时记忆缓存数据。


6.根据权利要求5所述的方法，其特征在于，缓存中存在的子序列的第一特征数据对应的短时记忆缓存数据通过下述方式获得：
获得上一子序列的第一特征数据；
从所述上一子序列的第一特征数据的末尾部分，截取预设长度的特征数据；
将所述预设长度的特征数据，作为缓存中存在的子序列的第一特征数据对应的短时记忆缓存数据。


7.根据权利要求6所述的方法，其特征在于，所述预设长度为第一卷积层所需的短时记忆帧数；所述第一卷积层所需的短时记忆帧数，根据第一卷积层的卷积核的大小、第一卷积层的卷积的空洞率确定。


8.根据权利要求1所述的方法，其特征在于，所述将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行降燥处理，得到第二特征数据，包括：
将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行卷积运算和正则化处理，得到第二特征数据。


9.根据权利要求8所述的方法，其特征在于，所述将子序列的第一特征数据和所述对应的短时记忆缓存数据输入神经网络模型的第一卷积层进行卷积运算和正则化处理，得到第二特征数据，包括：
根据子序列的第一特征数据和所述对应的短时记忆缓存数据，获得子序列中每一帧的特征数据的均值和标准差；
根据所述每一帧的特征数据的均值和标准差，对同一帧的特征数据进行归一化处理，得到每一帧对应的归一化后的特征数据；
获得用于正则化运算的正则化变换参数值；
根据所述正则化变换参数、每一帧对应的归一化后的特征数据，进行卷积运算和正则化处理，得到第二特征数据。


10.根据权利要求9所述的方法，其特征在于，所述子序列包括至少一帧；所述获得用于正则化运算的正则化变换参数，包括：针对子序列包括的各帧获得相同的用于正则化运算的正则化变换参数值。


11.根据权利要求1所述的方法，其特征在于，所述子序列包括以下至少一种：
音频序列的子序列；
视频序列的子序列；
文本序列的子序列。


12.一种数据处理装置，其特征在于，包括：
第一...

【专利技术属性】
技术研发人员：陈思宇，洪传荣，宋琦，王立波，唐磊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY