丢包补偿方法及装置制造方法及图纸

本说明书提供丢包补偿方法及装置，其中所述丢包补偿方法包括：接收音频数据流，若确定音频数据流中当前帧为丢包帧，且所述当前帧的上一帧不是丢包帧，则确定所述当前帧为第一个丢包帧；从音频数据流中获取所述第一个丢包帧之前的M帧历史音频数据，生成第一音频序列；确定M帧历史音频数据的音频特征，并基于M帧历史音频数据的音频特征，生成第二音频序列；基于第一音频序列，在第二音频序列中确定与第一音频序列的互相关性最大的位置，并将第二音频序列中互相关性最大的位置之后的音频数据确定为第一个丢包帧的第一补偿音频数据。通过上述方法可以减少播放的音频数据机械且重复的问题的出现。

【技术实现步骤摘要】
丢包补偿方法及装置
本说明书涉及音频处理
，特别涉及丢包补偿方法及装置。
技术介绍
为在互联网上完成通话传输，通话中的数据通常被拆分为数据包。这些数据包通过网络从发送方传输到接收方，并在接收方重新组合，以生成连续的视频流和音频流。然而，当数据包到达接收方时，可能会出现个别数据包完全丢失的问题，进而导致通话质量变差，因此接收方需要补全丢失的数据包，以提高通话质量。处理丢包的过程被称为丢包补偿，接收方的PLC(PacketLossConcealment，丢包补偿)模块负责创建音频(或视频)，以填补由丢包造成的间隔。为了隐藏丢包带来的影响，现有技术通常直接将丢包帧的上一帧的历史音频数据作为丢包帧的补偿音频数据。但这种方法在连续多帧丢包的情况下，生成的每帧的补偿音频数据均与丢包帧之前最后一帧的历史音频数据相同，导致接收方播放出来的音频数据机械且重复。
技术实现思路
有鉴于此，本说明书实施例提供了一种丢包补偿方法。本说明书同时涉及一种丢包补偿装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。根据本说明书实施例的第一方面，提供了一种丢包补偿方法，包括：接收音频数据流；若确定所述音频数据流中当前帧为丢包帧，且所述当前帧的上一帧不是丢包帧，则确定所述当前帧为第一个丢包帧；从所述音频数据流中获取所述第一个丢包帧之前的M帧历史音频数据，生成第一音频序列，其中，所述M为大于1的正整数；确定所述M帧历史音频数据的音频特征，并基于所述M帧历史音频数据的音频特征，生成第二音频序列；基于所述第一音频序列，在所述第二音频序列中确定与所述第一音频序列的互相关性最大的位置，并将所述第二音频序列中所述互相关性最大的位置之后的音频数据确定为所述第一个丢包帧的第一补偿音频数据。可选地，所述基于所述M帧历史音频数据的音频特征，生成第二音频序列，包括：将所述第一个丢包帧上一帧的历史音频数据的音频特征确定为所述第一个丢包帧的音频数据的预测音频特征；将所述M帧历史音频数据的音频特征与所述第一个丢包帧的音频数据的预测音频特征输入音频合成模型中，得到所述第二音频序列，其中，所述第二音频序列中包括合成的所述M帧与所述第一个丢包帧的采样音频数据。可选地，所述基于所述第一音频序列，在所述第二音频序列中确定与所述第一音频序列的互相关性最大的位置，包括：基于所述第二音频序列的采样频率从所述第一音频序列中沿终点向起点方向获取N个连续的采样音频数据，得到第一采样音频数据组，其中，所述N为大于1的正整数；以N为采样音频数据组的长度，逐次从所述第二音频序列中沿终点向起点方向获取N个连续的采样音频数据，得到第二采样音频数据组集合，其中，采样音频数据组的长度为采样音频数据组包括的采样音频数据的数量；对每个得到的第二采样音频数据组，将所得到的第二采样音频数据组与所述第一采样音频数据组进行互相关性计算，以互相关性最大的第二采样音频数据组所在的位置确定所述互相关性最大的位置。可选地，所述以互相关性最大的第二采样音频数据组所在的位置确定所述互相关性最大的位置，包括：将所述互相关性最大的第二采样音频数据组中距离终点最近的采样音频数据所在的位置确定为所述互相关性最大的位置。可选地，所述方法还包括：从所述第一音频序列中沿终点向起点的方向获取X个未播放的采样音频数据，其中，所述X大于1且小于一帧采样音频数据的数量；将所述第二音频序列中所述互相关性最大的位置之前的X个采样音频数据与所述X个未播放的采样音频数据进行融合，得到融合音频数据；将所述第一音频序列中X个未播放的音频数据替换为所述融合音频数据，并将所述融合音频数据与所述第一个丢包帧的补偿音频数据进行拼接。可选地，所述方法还包括：若确定所述音频数据流中当前帧为丢包帧，且所述当前帧的上一帧为丢包帧，则确定所述当前帧为连续丢包帧，其中，所述连续丢包帧为多个连续的丢包帧中非第一个丢包帧的丢包帧；基于所述当前帧之前最后一个非丢包帧的历史音频数据的音频特征，确定所述连续丢包帧的第二补偿音频数据。可选地，所述基于所述当前帧之前最后一个非丢包帧的历史音频数据的音频特征，确定所述连续丢包帧的第二补偿音频数据，包括：以所述当前帧之前最后一个非丢包帧的历史音频数据的音频特征作为所述连续丢包帧的预测音频特征；将所述连续丢包帧的预测音频特征输入音频合成模型中，得到所述连续丢包帧的第二补偿音频数据。可选地，所述方法还包括：若确定所述音频数据流中当前帧不是丢包帧，且所述当前帧的上一帧是丢包帧，则确定所述当前帧为目标帧；获取所述目标帧的实际音频数据，并基于所述当前帧之前最后一个非丢包帧的历史音频数据的音频特征，确定所述目标帧的预测音频数据；基于所述目标帧的实际音频数据，在所述目标帧的预测音频数据中确定与所述目标帧的实际音频数据互相关性最大的位置；将所述互相关性最大的位置之后的Y个采样音频数据与所述目标帧的实际音频数据中沿起点到终点方向的Y个采样音频数据进行融合，得到所述目标帧融合后的音频数据，其中，所述Y为大于1的正整数。可选地，所述方法还包括：将样本音频特征和样本采样音频数据输入所述音频合成模型中，输出预测采样音频数据；基于所述预测采样音频数据和所述样本采样音频数据对所述音频合成模型进行训练，直至达到训练停止条件。根据本说明书实施例的第二方面，提供了一种丢包补偿装置，包括：接收模块，被配置为接收音频数据流；第一确定模块，被配置为若确定所述音频数据流中当前帧为丢包帧，且所述当前帧的上一帧不是丢包帧，则确定所述当前帧为第一个丢包帧；第一生成模块，被配置为从所述音频数据流中获取所述第一个丢包帧之前的M帧历史音频数据，生成第一音频序列，其中，所述M为大于1的正整数；第二生成模块，被配置为确定所述M帧历史音频数据的音频特征，并基于所述M帧历史音频数据的音频特征，生成第二音频序列；第二确定模块，被配置为基于所述第一音频序列，在所述第二音频序列中确定与所述第一音频序列的互相关性最大的位置，并将所述第二音频序列中所述互相关性最大的位置之后的音频数据确定为所述第一个丢包帧的第一补偿音频数据。根据本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：接收音频数据流；若确定所述音频数据流中当前帧为丢包帧，且所述当前帧的上一帧不是丢包帧，则确定所述当前帧为第一个丢包帧；从所述音频数据流中获取所述第一个丢包帧之前的M帧历史音频数据，生成第一音频序列，其中，所述M为大于1的正整数；确定所述M帧历史音频数据的音频特征，并基于所述M帧历史音频数据的音频特征，生成第二音频序列；基于所述第一音频序列，在所述第二音频序列中确定与所述本文档来自技高网...

【技术保护点】
1.一种丢包补偿方法，其特征在于，所述方法包括：/n接收音频数据流；/n若确定所述音频数据流中当前帧为丢包帧，且所述当前帧的上一帧不是丢包帧，则确定所述当前帧为第一个丢包帧；/n从所述音频数据流中获取所述第一个丢包帧之前的M帧历史音频数据，生成第一音频序列，其中，所述M为大于1的正整数；/n确定所述M帧历史音频数据的音频特征，并基于所述M帧历史音频数据的音频特征，生成第二音频序列；/n基于所述第一音频序列，在所述第二音频序列中确定与所述第一音频序列的互相关性最大的位置，并将所述第二音频序列中所述互相关性最大的位置之后的音频数据确定为所述第一个丢包帧的第一补偿音频数据。/n

【技术特征摘要】
1.一种丢包补偿方法，其特征在于，所述方法包括：
接收音频数据流；
若确定所述音频数据流中当前帧为丢包帧，且所述当前帧的上一帧不是丢包帧，则确定所述当前帧为第一个丢包帧；
从所述音频数据流中获取所述第一个丢包帧之前的M帧历史音频数据，生成第一音频序列，其中，所述M为大于1的正整数；
确定所述M帧历史音频数据的音频特征，并基于所述M帧历史音频数据的音频特征，生成第二音频序列；
基于所述第一音频序列，在所述第二音频序列中确定与所述第一音频序列的互相关性最大的位置，并将所述第二音频序列中所述互相关性最大的位置之后的音频数据确定为所述第一个丢包帧的第一补偿音频数据。


2.如权利要求1所述的丢包补偿方法，其特征在于，所述基于所述M帧历史音频数据的音频特征，生成第二音频序列，包括：
将所述第一个丢包帧上一帧的历史音频数据的音频特征确定为所述第一个丢包帧的音频数据的预测音频特征；
将所述M帧历史音频数据的音频特征与所述第一个丢包帧的音频数据的预测音频特征输入音频合成模型中，得到所述第二音频序列，其中，所述第二音频序列中包括合成的所述M帧与所述第一个丢包帧的采样音频数据。


3.如权利要求1所述的丢包补偿方法，其特征在于，所述基于所述第一音频序列，在所述第二音频序列中确定与所述第一音频序列的互相关性最大的位置，包括：
基于所述第二音频序列的采样频率从所述第一音频序列中沿终点向起点方向获取N个连续的采样音频数据，得到第一采样音频数据组，其中，所述N为大于1的正整数；
以N为采样音频数据组的长度，逐次从所述第二音频序列中沿终点向起点方向获取N个连续的采样音频数据，得到第二采样音频数据组集合，其中，采样音频数据组的长度为采样音频数据组包括的采样音频数据的数量；
对每个得到的第二采样音频数据组，将所得到的第二采样音频数据组与所述第一采样音频数据组进行互相关性计算，以互相关性最大的第二采样音频数据组所在的位置确定所述互相关性最大的位置。


4.如权利要求3所述的丢包补偿方法，其特征在于，所述以互相关性最大的第二采样音频数据组所在的位置确定所述互相关性最大的位置，包括：
将所述互相关性最大的第二采样音频数据组中距离终点最近的采样音频数据所在的位置确定为所述互相关性最大的位置。


5.如权利要求1所述的丢包补偿方法，其特征在于，所述方法还包括：
从所述第一音频序列中沿终点向起点的方向获取X个未播放的采样音频数据，其中，所述X大于1且小于一帧采样音频数据的数量；
将所述第二音频序列中所述互相关性最大的位置之前的X个采样音频数据与所述X个未播放的采样音频数据进行融合，得到融合音频数据；
将所述第一音频序列中X个未播放的音频数据替换为所述融合音频数据，并将所述融合音频数据与所述第一个丢包帧的补偿音频数据进行拼接。


6.如权利要求1所述的丢包补偿方法，其特征在于，所述方法还包括：
若确定所述音频数据流中当前帧为丢包帧，且所述当前帧的上一帧为丢包帧，则确定所述当前帧为连续丢包帧，其中，所述连续丢包帧为多个连续的丢包帧中非第一个丢包帧的丢包帧；
基于所述当前帧之前最后一个非丢包帧的历史音频数据的音频特征，确定所述连续丢包帧的第二补偿音频数据。

<...

【专利技术属性】
技术研发人员：王晓红，陈佳路，王冬晓，杨明祺，马楠，高强，夏龙，郭常圳，
申请(专利权)人：北京猿力未来科技有限公司，
类型：发明
国别省市：北京;11