基于神经网络的音频丢包修复方法、设备和系统技术方案

本发明专利技术公开了一种基于神经网络的音频丢包修复方法、设备和系统，其中，所述音频丢包修复方法包括：获取音频数据包，音频数据包包括若干帧音频数据帧，若干帧音频数据帧中至少包含多个语音信号帧；确定丢失的语音信号帧在若干帧音频数据帧中所处的位置得到丢帧的位置信息；所处的位置包括第一预设位置或第二预设位置；根据丢帧的位置信息选择用于修复丢帧情况的神经网络模型，神经网络模型包括第一修复模型和第二修复模型；将若干帧音频数据帧送入选择的神经网络模型，以对丢失的语音信号帧进行修复。能够适应选择修复模型，对丢失语音信号帧的修复更有针对性，继而，提高修复准确率。

【技术实现步骤摘要】
基于神经网络的音频丢包修复方法、设备和系统
本专利技术涉及音频数据处理领域，具体涉及一种基于神经网络的音频丢包修复方法、设备和系统。
技术介绍
随着影音设备、移动通信的普及，蓝牙技术的发展，人们越来越多地采用无线收发数据的方式来进行影音数据的无线传输，例如蓝牙音箱、蓝牙耳机、蓝牙鼠标、蓝牙键盘、蓝牙遥控器等越多的蓝牙产品出现在人们的生活中。其中蓝牙音箱、蓝牙耳机主要应用了蓝牙通话及蓝牙音乐播放等功能，而蓝牙在传输这些音频的时候是将音频数据以一个数据包接一个数据包的形式通过主机(手机、电脑等)传输给蓝牙播放设备播放。在传输过程中，由于是无线传输往往会受到其它无线信号的干扰、或者由于障碍物或距离的原因、导致传输过程数据包的丢失，如果不对这些数据进行修复，那么在播放端就会出现不连续或者是杂音。特别是蓝牙通话模式下，丢失信号会直接影响电话通话的体验感受，严重时甚至影响沟通。因此需要对蓝牙丢包数据进行修复。针对蓝牙丢包数据的修复，常见的传统修复方式有：1.静音处理，对丢失的数据用静音数据替换，避免其它刺耳的杂音。这种静音处理方式，本文档来自技高网...

【技术保护点】
1.一种基于神经网络的音频数据丢包修复方法，其特征在于，包括：/n步骤S101，获取音频数据包，所述音频数据包包括若干帧音频数据帧，所述若干帧音频数据帧中至少包含多个语音信号帧，所述语音信号帧为包含语音信号的音频数据帧；/n步骤S103，当所述若干帧音频数据帧中存在丢失语音信号帧的丢帧情况后，确定丢失的语音信号帧在所述若干帧音频数据帧中所处的位置得到丢帧的位置信息；所述所处的位置包括第一预设位置或第二预设位置；/n步骤S105，根据所述丢帧的位置信息选择用于修复丢帧情况的神经网络模型，所述神经网络模型包括第一修复模型和第二修复模型，其中，所述第一修复模型用于修复处于第一预设位置的语音信号帧，所...

【技术特征摘要】
1.一种基于神经网络的音频数据丢包修复方法，其特征在于，包括：
步骤S101，获取音频数据包，所述音频数据包包括若干帧音频数据帧，所述若干帧音频数据帧中至少包含多个语音信号帧，所述语音信号帧为包含语音信号的音频数据帧；
步骤S103，当所述若干帧音频数据帧中存在丢失语音信号帧的丢帧情况后，确定丢失的语音信号帧在所述若干帧音频数据帧中所处的位置得到丢帧的位置信息；所述所处的位置包括第一预设位置或第二预设位置；
步骤S105，根据所述丢帧的位置信息选择用于修复丢帧情况的神经网络模型，所述神经网络模型包括第一修复模型和第二修复模型，其中，所述第一修复模型用于修复处于第一预设位置的语音信号帧，所述第二修复模型用于修复处于第二预设位置的语音信号帧；及
步骤S107，将所述若干帧音频数据帧送入选择的神经网络模型，以对丢失的语音信号帧进行修复。


2.如权利要求1所述的音频数据丢包修复方法，其特征在于，所述若干帧音频数据帧中还包括非语音信号帧；在所述步骤S101和步骤S103之间还包括：
步骤S102，按预设算法区分所述若干帧音频数据帧中的语音信号帧和非语音信号帧；
在所述步骤S103中，所述丢帧的位置信息为丢失的语音信号帧在语音信号帧组中所处的位置，所述语音信号组包括N帧语音信号帧，其中，N为大于或等于5的整数。


3.如权利要求2所述的音频数据丢包修复方法，其特征在于，所述步骤S103包括：
步骤S1031，通过观察窗在所述多个语音信号帧中顺序滑动，以对所述多个语音信号帧进行N帧一组的分组；
步骤S1032，针对处于所述观察窗内的语音信号帧，确定是否存在丢帧的情况；及
步骤S1033，当处于所述观察窗内的语音信号帧存在丢帧的情况后，确定丢失的语音信号帧在所述观察窗内的位置，以得到所述丢帧的位置信息；
所述步骤S107包括：在所述观察窗内对丢失的语音信号帧进行修复。


4.如权利要求3所述的音频数据丢包修复方法，其特征在于，在所述步骤S107之后，还包括：
将恢复的语音信号帧更新至所述观察窗内对应的丢帧位置帧。


5.如权利要求3所述的音频数据丢包修复方法，其特征在于，在所述步骤S1031中，采用迭代替换的滑动方式滑动所述观察窗，以使处于所述观察窗内的前K帧语音信号帧滑出所述观察窗，处于所述观察窗外的后K帧语音信号帧滑入所述观察窗内，其中，所述N为大于或等于1的整数。


6.如权利要求5所述的音频数据丢包修复方法，其特征在于，所述K为1。


7.如权利要求3-6任意一项所述的音频数据丢包修复方法，其特征在于，所述步骤S1033包括：确定丢失的语音信号帧在所述观察窗内的位置未包含处于所述观察窗内的最后一帧，并作为所述第一预设位置；
所述步骤S105包括：将处于所述观察窗内的语音信号帧送入所述第一修复模型，以修复丢失的语音信号帧，其中，所述第一修复模型的输入数据中包括处于所述观察窗内的最后一帧。


8.如权利要求3-7任意一项所述的音频数据丢包修复方法，其特征在于，所述步骤S1033包括：确定丢失的语音信号帧至少为2帧，所述丢帧的位置为处于所述观察窗内的最后一帧和处于所述观察窗内的其它位置帧，并作为所述第二预设位置；
所述步骤S105包括：将处于所述观察窗内的、所述其它位置帧之前的语音信号帧送入所述第二修复模型，以修复位于所述其它位置帧的语音信号帧，其中，所述第二修复模型的输入数据为处于所述观察窗内的、所述其它位置帧之前的语音信号帧，且未包含处于所述观察窗内的最后一帧。


9.如权利要求2-6任意一项所述的音频数据丢包修复方法，其特征在于，在所述步骤S102之后，还包括：
对所述非语音信号帧的音频信号进行淡化包络处理。


10.一种基于神经网络的音频数据丢包修复装置，其特征在于，包括：
数据获取模块，用于获取音频数据包，所述音频数据包包括若干帧音频数据帧，所述若干帧音频数据帧中至少包含多个语音信号帧，所述语音信号帧为包含语音信号的音频数据帧；
位置确定模块，用于当所述若干帧音频数据帧中存在丢失语音信号帧的丢帧情况后，确定丢失的语音信号帧在所述若干帧音频数据帧中所处的位置得到丢帧的位置信息；所述所处的位置包括第一预设位置或第二预设...

【专利技术属性】
技术研发人员：肖全之，闫玉凤，黄荣均，方桂萍，
申请(专利权)人：珠海市杰理科技股份有限公司，
类型：发明
国别省市：广东;44