通过变换插值进行音频分组丢失隐藏制造技术

本发明专利技术涉及通过变换插值进行音频分组丢失隐藏。在用于音频或视频会议的音频处理中，终端接收音频分组，这些音频分组具有用于重构经过变换编码的音频信号的变换系数。当接收到这些分组时，该终端确定是否存在任意缺失分组，并且根据前面和后面的完好帧插值变换系数。为了插值缺失系数，终端以第一权重给来自前面的完好帧的第一系数加权，以第二权重给来自后面的完好帧的第二系数加权，并且将这些加权后的系数累加在一起，以便插入缺失分组。权重可以基于音频频率和/或所涉及的缺失分组的数目。根据这种插值，终端通过对系数进行逆变换产生输出音频信号。

【技术实现步骤摘要】

技术介绍
许多类型的系统使用音频信号处理，以便创建音频信号或从这种信号再现声音。典型地，信号处理将音频信号转换为数字数据，并且对数据进行编码以便在网络上传输。然后，信号处理对数据解码，并且将其转换回模拟信号以便作为声波再现。存在用于编码或解码音频信号的各种方法。（对信号进行编码和解码的处理器或处理模块一般被称为编解码器）。例如，用于音频和视频会议的音频处理使用音频编解码器，以便压缩高保真音频输入，使得得到的用于传输的信号保持最佳质量，但是需要最少的比特数。以这种方式，具有音频编解码器的会议装置需要很少的存储容量，并且由该装置传输音频信号所使用的通信通道需要很少带宽。题目为“7kHz audio-coding within 64 kbit/s”的ITU－T（国际电信联盟电信标准化组）Recommendation G.722(1988)，通过引用结合在此，描述了一种64kbit/s内的7kHz音频编码方法。ISDN线路具有以64kbit/s传输数据的能力。该方法本质上使用ISDN线路，将电话网络上的音频的带宽从3kHz增加到7kHz。感知到的音频质量得以改善。虽然这种方法使得可以通过已有的电话网络获得高质量音频，但它通常需要来自电话公司的ISDN服务，ISDN服务比平常的窄带电话服务更贵。推荐用于电信的更新的方法是题目为“Low-complexity coding at 24 and 32kbit/s for hands-free operation in system with low frame loss”的ITU－TRecommendation G.722.1(2005)，通过引用将其结合在此。该建议描述了一种提供50Hz到7KHz的音频带宽的数字宽带编码器算法，其以比G.722低许多的比特率24 kbit/s 或32kbit/s操作。以这种数据速率，具有使用平常模拟电话线的平常调制解调器的电话可以传输宽带音频信号。因此，只要两端的电话机可以执行G.722.1中描述的编码/解码，那么大部分已有电话网络就可以支持宽带会话。某些通常使用的音频编解码器使用变换编码技术对在网络上传输的音频数据编码和解码。例如，ITU-T Recommendation G.719 (Polycom® Siren™22)以及G.722.1.C(Polycom® Siren14™)，通过引用将它们两者结合在此，使用公知的调制重叠变换（Modulated Lapped Transform, MLT）编码对音频压缩以便传输。如同已知的，调制重叠变换（MLT）是用于各种类型信号的变换编码的余弦调制滤波组中的一种形式。一般地，重叠变换使用长度为L的音频块，并且将该块变换为M个系数，其条件是L>M。为了使这成为可行，L的连续块之间必须存在重叠－M个样本，从而可以使用变换系数的连续块获得合成信号。对于调制重叠变换（MLT），音频块的长度L等于系数的数目M，从而重叠是M。因此，用于正（分析）变换的MLT基函数被给出为：类似地，用于逆（合成）变换的MLT基函数被给出为：在这些等式中，M是块大小，频率指数k从0到M－1改变，并且时间指数n从0到2M－1改变。最后，是所使用的完美重构窗口。如下根据这些基函数确定MLT系数。正变换矩阵是这样的矩阵，其第n行和第k列内的条目是pa（n,k）。类似地，逆变换矩阵是具有条目ps（n,k）的矩阵。对于输入信号X（n）的2M个输入样本的块x，以计算其变换系数的相应矢量。反过来，对于处理后的变换系数的矢量，以给出重构的2M个样本矢量。最后，重构的矢量被以M样本重叠彼此叠加，以便产生用于输出的重构信号y(n)。图1示出了典型的音频或视频会议布置，其中作为发射机的第一终端10A向在这种环境中作为接收机的第二终端10B发送压缩的音频信号。发射机10A和接收机10B两者具有音频编解码器16，其执行诸如G.722.1.C (Polycom® Siren14™) 或G.719 (Polycom®Siren™22)中使用的变换编码。发射机10A处的麦克风12捕捉源音频，并且电子设备将源音频采样为通常跨越20毫秒的音频块14。此时，音频编解码器16的变换将音频块14转换为频域变换系数集合。每个变换系数具有量值，并且可以是正的或负的。使用本领域已知的技术，这些系数被量化18、编码并且通过网络20诸如因特网被发送到接收机。在接收机10B，逆处理对编码的系数解码并且去量化19。最后，接收机10B处的音频编解码器16对系数进行逆变换，以便将它们转换回时域，以便产生最终在接收机的扬声器13处回放的输出音频块14。在网络诸如因特网上的视频会议和音频会议中，音频分组丢失是个常见的问题。如已知的，音频分组表示小段音频。当发射机10A在因特网20上将变换系数的分组发送给接收机10B时，某些分组可能在传输过程中丢失。一旦产生输出音频，丢失的分组将产生扬声器13输出的静音间隙。因此，接收机10B优选地以根据已经从发射机10A接收到的分组合成的某种形式的音频填充这些间隙。如图1所示，接收机10B具有检测丢失分组的丢失分组检测模块15。然后，当输出音频时，音频重复器17填充由于这种丢失分组引起的间隙。音频重复器17所使用的已有技术通过在时域中连续重复在分组丢失之前发送的最近的音频段，简单地填充音频中的这些间隙。虽然有效，但是重复音频以便填充间隙的已有技术可以在得到的音频中产生嗡嗡声和机器人人工信号（robotic artifact），并且用户往往会发现这些人工信号是讨厌的。另外，如果丢失了多于5％的分组，那么当前技术产生逐渐不可理解的音频。结果，需要一种当在因特网上举行会议时，以产生更好的音频质量并且避免嗡嗡声和机器人人工信号的方式应对丢失音频分组的技术。
技术实现思路
此处公开的音频处理技术可用于语音或视频会议。在处理技术中，终端接收音频分组，这些音频分组具有用于重构已经经过变换编码的音频信号的变换系数。当接收到这些分组时，该终端确定是否存在任意缺失分组，并且根据前面和后面的完好帧插值变换系数，以便作为用于缺失分组的系数插入。为了插值缺失系数，例如，终端以第一权重给来自前面的完好帧的第一系数加权，以第二权重给来自后面的完好帧的第二系数加权，并且将这些加权后的系数累加在一起，以便插入缺失分组。权重可以基于音频频率和/或所涉及的缺失分组的数目。根据这种插值，终端通过对系数进行逆变换产生输出音频信号。前面的概述不旨在概括本公开的每个潜在实施例或每个方面。附图说明图1示出了一种具有发射机和接收机并且使用根据现有技术的丢失分组技术的会议布置；图2A示出了具有发射机和接收机，并且使用根据本公开的丢失分组技术的会议布置；图2B更详细地示出了会议终端；图3A－3B分别示出了变换编码的编解码器的编码器和解码器；图4是根据本公开的编码、解码和丢失分组处理技术的流程图；图5图示了根据本公开的用于插值丢失分组内的变换系数的处理；图6图示了用于插值处理的插值规则；和图7A－7C图示了用于插值缺失分组的变换系数的权重。具体实施方式图2A示出了一种音频处理布置，其中作为发射机的第一终端100A向在该环境中作为接收机的第二终端100B发送压缩后的音频信号。本文档来自技高网...

【技术保护点】
一种音频处理方法，包括：通过网络在音频处理设备处接收分组集合，每个集合具有一个或多个分组，每个分组具有频域中的变换系数，所述变换系数用于重构时域中的已经经过变换编码的音频信号；确定接收到的集合中的一个给定集合内的一个或多个缺失分组，其中所述一个或多个缺失分组在所述给定集合中以给定顺序排序；对顺序排在该给定集合之前的第一集合内的所有一个或多个第一分组的第一变换系数应用第一权重，所述一个或多个第一分组在第一集合中具有对应于所有所述一个或多个缺失分组在所述给定集合中的给定顺序的第一顺序；对顺序排在该给定集合之后的第二集合内的所有一个或多个第二分组的第二变换系数应用第二权重，所述一个或多个第二分组在第二集合中具有对应于所有所述一个或多个缺失分组在所述给定集合中的给定顺序的第二顺序；通过累加所有对应的第一和第二分组的相应的第一和第二加权后的变换系数，插值新的变换系数；通过将插值后的新的变换系数插入所述给定集合以代替所述一个或多个缺失分组来用新的音频信息代替所述一个或多个缺失分组的缺失音频信息；和通过对变换系数执行逆变换，产生音频处理设备的输出音频信号。

【技术特征摘要】
2010.01.29 US 12/6967881.一种音频处理方法，包括：通过网络在音频处理设备处接收分组集合，每个集合具有一个或多个分组，每个分组具有频域中的变换系数，所述变换系数用于重构时域中的已经经过变换编码的音频信号；确定接收到的集合中的一个给定集合内的一个或多个缺失分组，其中所述一个或多个缺失分组在所述给定集合中以给定顺序排序；对顺序排在该给定集合之前的第一集合内的所有一个或多个第一分组的第一变换系数应用第一权重，所述一个或多个第一分组在第一集合中具有对应于所有所述一个或多个缺失分组在所述给定集合中的给定顺序的第一顺序；对顺序排在该给定集合之后的第二集合内的所有一个或多个第二分组的第二变换系数应用第二权重，所述一个或多个第二分组在第二集合中具有对应于所有所述一个或多个缺失分组在所述给定集合中的给定顺序的第二顺序；通过累加所有对应的第一和第二分组的相应的第一和第二加权后的变换系数，插值新的变换系数；通过将插值后的新的变换系数插入所述给定集合以代替所述一个或多个缺失分组来用新的音频信息代替所述一个或多个缺失分组的缺失音频信息；和通过对变换系数执行逆变换，产生音频处理设备的输出音频信号。2.如权利要求1所述的音频处理方法，其中从由音频会议端点、视频会议端点、音频回放设备、个人音乐播放器、计算机、服务器、电信设备、蜂窝电话和个人数字助理组成的组中选择音频处理设备。3.如权利要求1所述的音频处理方法，其中所述网络包括网际协议网络。4.如权利要求1所述的音频处理方法，其中变换系数包括调制重叠变换的系数。5.如权利要求1所述的音频处理方法，其中每个集合具有一个分组，并且其中所述一个分组包括输入音频帧。6.如权利要求1所述的音频处理方法，其中接收包括对分组解码。7.如权利要求6所述的音频处理方法，其中接收包括对解码后的分组去量化。8.如权利要求1所述的音频处理方法，其中确定一个或多个缺失分组包括在缓冲器内对接收到的分组排序，并且寻找该排序中的间隙。9.如权利要求1所述的音频处理方法，其中插值变换系数包括给累加的第一和第二加权后的变换系数分配随机的正号和负号。10.如权利要求1所述的音频处理方法，其中被应用于第一和第二变换系数的第一和第二权重基于第一和第二变换系数的频率。11.如权利要求10所述的音频处理方法，其中，对于第一和第二变换系数的每个频率低于阈值，则第一权重强调第一变换系数的重要性，并且第二权重降低第二变换系数的重要性。12.如权利要求11所述的音频处理方法，其中该阈值是1kHz。13.如权利要求11所述的音频处理方法，其中第一变换系数被以75％加权，并且其中第二变换系数被调整为零。14.如权利要求10所述的音频处理方法，其中，对于第一和第二变换系数的每个频率高于阈值，则第一和第二权重等同地强调第一和第二变换系数的重要性。15.如权利要求14所述的音频处理方法，其中第一和第二变换系数两者被以50％加权。16.如权利要求1所述的音频处理方法，其中应用于第一和第二变换系数的第一和第二权重基于缺失分组的数目。17.如权利要求16所述的音频处理方法，其中如果给定集合中缺失了一个分组，对于第一和第二变换系数的每个频率低于阈值，则第一权重强调第一变换系数的重要性，并且第二权重降低第二变换系数的重要性；和对于第一和第二变换系数的每个频率高于该阈值，则第一和第二权重等同地强调第一和第二变换系数的重要性。18.如权利要求16所述的音频处理方法，其中如果给定集合中缺失两个分组，第一权重强调所述两个分组中在前的一个分组的第一变换系数的重要性，并且降低所述两个分组中在后的一个分组的第一变换系数的重要性；和第二权重降低在前分组的第二变换系数的重要性，并且强调在后分组的第二变换系数的重要性。19.如权利要求18所述的音频处理方法，其中被强调重要性的系数被以90％加权，并且其中被降低重要性的系数被调整为零。20.如权利要求16所述的音频处理方法，其中如果在给定集合中缺失了三个或更多分组，第一权重强调这些分组中的第一个分组的第一变换系数的重要性，并且降低这些分组中的最后一个分组的第一变换系数的重要性；第一和第二权重等同地强调这些分组中的一个或多个中间分组的第一和第二变换系数的重要性；和第二权重降低这些分组中的第一个分组的第二变换系数的重要性，并且强调这些分组中的最后一个分组的第二变换系数的重要性。21.如权利要求20所述的音频处理方法，其中被强调重要性的系数被以90％加权，其中被降低重要性的系数被调整为零，并且其中被等同强调重要性的系数被以40％加权。22.一种音频处理设备，包括：音频输出接口；网络接口，该网络接口与至少一个网络通信，并且接收音频分组集合，每个集合具有一个或多个分组，每个分组具有频域中的变换系数；与网络接口通信并且存储接收到的分组的存储器；与存储器和音频输出接口通信的处理单元，该处理单元被编程有...

【专利技术属性】
技术研发人员：P楚，屠哲敏，
申请(专利权)人：宝利通公司，
类型：发明
国别省市：美国;US