时间偏移估计制造技术

本发明专利技术提供一种用于多声道音频信号的译码方法，其包含在编码器处估计比较值，所述比较值指示参考声道与对应目标声道之间的时间失配量。所述方法包含使所述比较值平滑以产生短期平滑比较值及第一长期平滑比较值。所述方法包含计算所述比较值与所述短期平滑比较值之间的交叉相关值。所述方法还包含响应于比较所述交叉相关值与阈值而调整所述第一长期平滑比较值。所述方法进一步包含估计暂定移位值，及将所述目标声道非因果地移位非因果移位值以产生经调整目标声道。所述非因果移位值是基于所述暂定移位值。所述方法进一步包含基于参考声道及所述经调整目标声道产生中带声道或旁带声道中的至少一者。

Time offset estimation

【技术实现步骤摘要】
【国外来华专利技术】时间偏移估计相关申请案的交叉参考本申请案主张2017年9月11日申请的名为“时间偏移估计(TEMPORALOFFSETESTIMATION)”的美国临时专利申请案第62/556,653号及2018年8月28日申请的名为“时间偏移估计(TEMPORALOFFSETESTIMATION)”的美国专利申请案第16/115,129号的优先权，所述专利申请案的全文以引用的方式并入本文中。
本专利技术大体上涉及估计多个声道的时间偏移。
技术介绍
技术的进步已产生更小且更强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线电话(例如移动电话及智能电话)、平板计算机及膝上型计算机，所述便携式个人计算装置小型、轻质且容易由用户携带。这些装置可经由无线网络传达语音及数据包。另外，许多此类装置并入有额外功能，例如数字静态相机、数字视频相机、数字记录器及音频文件播放器。此外，这些装置可处理可执行指令，所述指令包含可用以访问互联网的软件应用程序，例如网页浏览器应用程序。因而，这些装置可包含显著计算能力。计算装置可包含接收音频信号的多个麦克风。一般来说，相比于多个麦克风中的第二麦克风，声源更接近于第一麦克风。因此，从第二麦克风接收的第二音频信号相对于从第一麦克风接收的第一音频信号可延迟。在立体声编码中，来自麦克风的音频信号可经编码以产生中声道及一或多个旁声道。中声道可对应于第一音频信号及第二音频信号的总和。旁声道可对应于第一音频信号与第二音频信号之间的差。由于第二音频信号的接收相对于第一音频信号延迟，故第一音频信号可未与第二音频信号在时间上对准。第一音频信号相对于第二音频信号的未对准(或“时间偏移”)可增大旁声道的量值。由于旁声道的量值的增大，可需要更大数目的位来编码旁声道。另外，不同帧类型可促使计算装置产生不同时间偏移或移位估计。举例来说，计算装置可确定第一音频信号的有声帧相对于第二音频信号中的对应有声帧偏移特定量。然而，归因于相对高噪音量，计算装置可确定：第一音频信号的转变帧(或无声帧)相对于第二音频信号的对应转变帧(或对应无声帧)偏移不同量。移位估计的变化可引起帧边界处的样本重复及伪影跳过。另外，移位估计的变动可导致较高旁声道能量，其可降低译码效率。
技术实现思路
根据本文中所揭示的技术的一个实施方案，一种估计在多个麦克风处捕获的音频之间的时间偏移的方法包含在第一麦克风处捕获参考声道，及在第二麦克风处捕获目标声道。所述参考声道包含参考帧，且所述目标声道包含目标帧。所述方法还包含估计所述参考帧与所述目标帧之间的延迟。所述方法进一步包含基于比较值的交叉相关值估计所述参考声道与所述目标声道之间的时间偏移。根据本文中所揭示的技术的另一实施方案，一种用于估计在多个麦克风处捕获的音频之间的时间偏移的设备包含经配置以捕获参考声道的第一麦克风，及经配置以捕获目标声道的第二麦克风。所述参考声道包含参考帧，且所述目标声道包含目标帧。所述设备还包含处理器及存储器，所述存储器存储可执行以促使所述处理器估计所述参考帧与所述目标帧之间的延迟的指令。所述指令还可执行以促使所述处理器基于比较值的交叉相关值估计所述参考声道与所述目标声道之间的时间偏移。根据本文中所揭示的技术的另一实施方案，一种非暂时性计算机可读媒体包含用于估计在多个麦克风处捕获的音频之间的时间偏移的指令。所述指令在由处理器执行时促使所述处理器执行包含估计参考帧与目标帧之间的延迟的操作。所述参考帧包含于在第一麦克风处捕获的参考声道中，且所述目标帧包含于在第二麦克风处捕获的目标声道中。所述操作还包含基于比较值的交叉相关值估计所述参考声道与所述目标声道之间的时间偏移。根据本文中所揭示的技术的另一实施方案，一种用于估计在多个麦克风处捕获的音频之间的时间偏移的设备包含用于捕获参考声道的装置，及用于捕获目标声道的装置。所述参考声道包含参考帧，且所述目标声道包含目标帧。所述设备还包含用于估计所述参考帧与所述目标帧之间的延迟的装置。所述设备进一步包含用于基于比较值的交叉相关值估计所述参考声道与所述目标声道之间的时间偏移的装置。根据本文中所揭示的技术的另一实施方案，一种非因果地移位声道的方法包含在编码器处估计比较值。每一比较值指示先前所捕获参考声道与对应先前所捕获目标声道之间的时间失配量。所述方法还包含使所述比较值平滑以产生短期平滑比较值及第一长期平滑比较值。所述方法还包含计算所述比较值与所述短期平滑比较值之间的交叉相关值。所述方法还包含比较所述交叉相关值与阈值，及响应于确定所述交叉相关值超过所述阈值而调整所述第一长期平滑比较值以产生第二长期平滑比较值。所述方法进一步包含基于所述平滑比较值估计暂定移位值。所述方法还包含将目标声道非因果地移位非因果移位值以产生与参考声道在时间上对准的经调整目标声道。所述非因果移位值是基于所述暂定移位值。所述方法进一步包含基于所述参考声道及所述经调整目标声道产生中带声道或旁带声道中的至少一者。根据本文中所揭示的技术的另一实施方案，一种用于非因果地移位声道的设备包含经配置以捕获参考声道的第一麦克风，及经配置以捕获目标声道的第二麦克风。所述设备还包含经配置以估计比较值的编码器。每一比较值指示先前所捕获参考声道与对应先前所捕获目标声道之间的时间失配量。所述编码器还经配置以使所述比较值平滑以产生短期平滑比较值及第一长期平滑比较值。所述编码器经进一步配置以计算所述比较值与所述短期平滑比较值之间的交叉相关值。所述编码器经进一步配置以比较所述交叉相关值与阈值，及响应于确定所述交叉相关值超过所述阈值而调整所述第一长期平滑比较值以产生第二长期平滑比较值。所述编码器经进一步配置以基于所述平滑比较值估计暂定移位值。所述编码器还经配置以将目标声道非因果地移位非因果移位值以产生与参考声道在时间上对准的经调整目标声道。所述非因果移位值是基于所述暂定移位值。所述编码器经进一步配置以基于所述参考声道及所述经调整目标声道产生中带声道或旁带声道中的至少一者。根据本文中所揭示的技术的另一实施方案，一种非暂时性计算机可读媒体包含用于非因果地移位声道的指令。所述指令在由编码器执行时促使所述编码器执行包含估计比较值的操作。每一比较值指示先前所捕获参考声道与对应先前所捕获目标声道之间的时间失配量。所述操作还包含使所述比较值平滑以产生短期平滑比较值及第一长期平滑比较值。所述操作还包含计算所述比较值与所述短期平滑比较值之间的交叉相关值。所述操作还包含响应于确定所述交叉相关值超过阈值而调整所述第一长期平滑比较值以产生第二长期平滑比较值。所述操作还包含基于所述平滑比较值估计暂定移位值。所述操作还包含将目标声道非因果地移位非因果移位值以产生与参考声道在时间上对准的经调整目标声道。所述非因果移位值是基于所述暂定移位值。所述操作还包含基于所述参考声道及所述经调整目标声道产生中带声道或旁带声道中的至少一者。根据本文中所揭示的技术的另一实施方案，一种用于非因果地移位声道的设备包含用于估计比较值的装置。每一比较值指示先前所捕获参考声道与对应先前所捕获目标声道之间的时间失配量本文档来自技高网...

【技术保护点】
1.一种用于多声道音频信号在电子装置的编码器处的译码的方法，所述方法包括：/n在所述编码器处估计比较值，每一比较值指示参考声道的第一参考帧与目标声道的对应第一目标帧之间的时间失配量；/n在所述编码器处使所述比较值平滑以产生短期平滑比较值；/n在所述编码器处基于平滑参数使所述比较值平滑以产生第一长期平滑比较值；/n在所述编码器处计算所述比较值与所述短期平滑比较值之间的交叉相关值；/n在所述编码器处比较所述交叉相关值与阈值；/n响应于确定所述交叉相关值超过所述阈值而在所述编码器处调整所述第一长期平滑比较值以产生第二长期平滑比较值；/n在所述编码器处基于所述第二长期平滑比较值估计暂定移位值；/n在所述编码器处基于所述暂定移位值确定非因果移位值；/n在所述编码器处将特定目标声道非因果地移位所述非因果移位值以产生与特定参考声道在时间上对准的经调整特定目标声道；及/n在所述编码器处基于所述特定参考声道及所述经调整特定目标声道产生中带声道或旁带声道中的至少一者。/n

【技术特征摘要】
【国外来华专利技术】20170911 US 62/556,653;20180828 US 16/115,1291.一种用于多声道音频信号在电子装置的编码器处的译码的方法，所述方法包括：
在所述编码器处估计比较值，每一比较值指示参考声道的第一参考帧与目标声道的对应第一目标帧之间的时间失配量；
在所述编码器处使所述比较值平滑以产生短期平滑比较值；
在所述编码器处基于平滑参数使所述比较值平滑以产生第一长期平滑比较值；
在所述编码器处计算所述比较值与所述短期平滑比较值之间的交叉相关值；
在所述编码器处比较所述交叉相关值与阈值；
响应于确定所述交叉相关值超过所述阈值而在所述编码器处调整所述第一长期平滑比较值以产生第二长期平滑比较值；
在所述编码器处基于所述第二长期平滑比较值估计暂定移位值；
在所述编码器处基于所述暂定移位值确定非因果移位值；
在所述编码器处将特定目标声道非因果地移位所述非因果移位值以产生与特定参考声道在时间上对准的经调整特定目标声道；及
在所述编码器处基于所述特定参考声道及所述经调整特定目标声道产生中带声道或旁带声道中的至少一者。


2.根据权利要求1所述的方法，其中调整所述第一长期平滑比较值包括增大所述第一长期平滑比较值的子集的值。


3.根据权利要求2所述的方法，其中增大所述第一长期平滑比较值的所述子集的所述值包括至少增大第一索引的值，其中所述第一索引对应于第二目标帧的非因果移位值，所述第二目标帧紧接在所述第一目标帧之前。


4.根据权利要求3所述的方法，其中所述第一长期平滑比较值的所述子集包含第二索引及第三索引，其中所述第二索引比所述第一索引小一，且所述第三索引比所述第一索引大一。


5.根据权利要求1所述的方法，其中所述短期平滑比较值是进一步基于至少一个先前帧的短期平滑比较值。


6.根据权利要求5所述的方法，其中使所述比较值平滑以产生所述短期平滑比较值包括对所述比较值进行有限脉冲响应FIR滤波。


7.根据权利要求1所述的方法，其中所述第一长期平滑比较值是进一步基于所述比较值及至少一个先前帧的第二长期平滑比较值的加权混合。


8.根据权利要求7所述的方法，其中使所述比较值平滑以产生所述第一长期平滑比较值包括对所述比较值进行无限脉冲响应IIR滤波。


9.根据权利要求1所述的方法，其中计算所述交叉相关值包括用所述比较值中的每一值乘以所述短期平滑比较值中的每一值。


10.根据权利要求1所述的方法，其中所述比较值对应于经减少取样参考声道与对应经减少取样目标声道的交叉相关值。


11.根据权利要求1所述的方法，其进一步包括在所述编码器处基于所述短期平滑比较值相对于所述第二长期平滑比较值的变化而适配所述平滑参数。


12.根据权利要求1所述的方法，其中所述平滑参数的值是基于输入声道的短期能量指示符及所述输入声道的长期能量指示符而调整。


13.根据权利要求1所述的方法，其中所述电子装置包括移动装置。


14.根据权利要求1所述的方法，其中所述电子装置包括基站。


15.一种用于多声道音频信号的译码的设备，其包括：
第一麦克风，其经配置以捕获参考声道的第一参考帧；
第二麦克风，其经配置以捕获目标声道的对应第一目标帧；及
编码器，其经配置以：
估计比较值，每一比较值指示所述参考声道的所述第一参考帧与所述目标声道的所述第一目标帧之间的时间失配量；
使所述比较值平滑以产生短期平滑比较值；
基于平滑参数使所述比较值平滑以产生第一长期平滑比较值；
计算所述比较值与所述短期平滑比较值之间的交叉相关值；
比较所述交叉相关值与阈值；
响应于确定所述交叉相关值超过所述阈值而调整所述第一长期平滑比较值以产生第二长期平滑比较值；
基于所述第二长期平滑比较值估计暂定移位值；
基于所述暂定移位值确定非因果移位值；
将特定目标声道非因果地移位所述非因果移位值以产生与特定参考声道在时间上对准的经调整特定目标声道；及
基于所述特定参考声道及所述经调整特定目标声道产生中带声道或旁带声道中的至少一者。


16.根据权利要求15所述的设备，其中所述编码器经配置以通过增大所述第一长期平滑比较值的子集的值来调整所述第一长期平滑比较值。


17.根据权利要求16所述的设备，其中所述编码器经配置以通过至少增大第一索引的值来调整所述第一长期平滑比较值，其中所述第一索引对应于第二目标帧的非因果移位值，所述第二目标帧紧接在所述第一目标帧之前。


18.根据权利要求17所述的设备，其中所述第一长期平滑比较值的所述子集包含第二索引及第三索引，其中所述第二索引比所述第一索引小一，且所述第三索引比所述第一索引大一。


19.根据权利要求15所述的设备，其中所述编码器经配置以通过对所述比较值进行有限脉冲响应FIR滤波来使所述比较值平滑以产生短期平滑比较值。


20.根据权利要求15所述的设备，其中所述第一长期平滑比较值是进一步基于所述比较值及至少一个先前帧的第二长期平滑比较值的加权混合。


21.根据权利要求20所述的设备，其中所述编码器经配置以通过对所述比较值进行无限脉冲响应IIR滤波来使所述比较值平滑以产生长期平滑比较值。


22.根据权利要求15所述的设备，其中所述比较值为经减少取样参考声道与对应经减少取样目标声道的交叉相关值。


23.根据权利要求15所述的设备，其中所述编码器集成至移动装置中。


24.根据权利要求15所述的设备，其中所述编码器集成至基站中。


25.一种非暂时性计算机可读媒体，其包括在由编码器执行时促使所述编码器执行包括以下各者的操作的指令：
估计比较值，每一比较值指示参考声道的第一参考帧与目标声道的对应第一目标帧之间的时间失配量；
使所述比较值平滑以产生短期平滑比较值；
基于平滑参数使所述比较值平滑以产生第一长期平滑比较值；
计算所述比较值与所述短期平滑比较值之间的交叉相关值；
比较所述交叉相关值与阈值；
响应于确定所述交叉相关值超过所述阈值而调整所述第一长期平滑比较值以产生第二长期平滑比较值；
基于所述第二长期平滑比较值估计暂定移位值；
基于所述暂定移位值确定非因果移位值；
将特定目标声道非因果地移位所述非因果移位值以产生与特定参考声道在时间上对准的经调整特定目标声道；及
基于所述特定参考声道及所述经调整特定目标声道产生中带声道或旁带声道中的至少一者。


26.根据权利要求25所述的非暂时性计算机可读媒体，其中所述操作进一步包括调整所述第一长期平滑比较值，包括增大所述第一长期平滑比较值的子集的值。


27.根据权利要求25所述的非暂时性计算机可读媒体，其中增大所述第一长期平滑比较值的所述子集的所述值包括至少增大第一索引的值，其中所述第一索引对应于第二目标帧的非因果移位值，所述第二目标帧紧接在所述第一目标帧之前。


28.根据权利要求25所述的非暂时性计算机可读媒体，其中计算所述交叉相关值包括用所述比较值中的每一值乘以所述短期平滑比较值中的每一值。


29.一种用于多声道音频信号的译码的设备，其包括：
用于估计比较值的装置，每一比较值指示参考声道的第一参考帧与目标声道的对应第一目标帧之间的时间失配量；
用于使所述比较值平滑以产生短期平滑比较值的装置；
用于基于平滑参数使所述比较值平滑以产生第一长期平滑比较值的装置；
用于计算所述比较值与所述短期平滑比较值之间的交叉相关值的装置；
用于比较所述交叉相关值与阈值的装置；
用于响应于确定所述交叉相关值超过所述阈值而调整所述第一长期平滑比较值以产生第二长期平滑比较值的装置；
用于基于所述第二长期平滑比较值估计暂定移位值的装置；
用于基于所述暂定移位值确定非因果移位值的装置；
用于将特定目标声道非因果地移位所述非因果移位值以产生与特定参考声道在时间上对准的经调整特定目标声道的装置；及
用于基于所述特定参考声道及所述经调整特定目标声道产生中带声道或旁带声道中的至少一者的装置。


30.根据权利要求29所述的设备，其中所述用于调整所述第一长期平滑比较值的装置包括用于增大所述第一长期平滑比较值的子集的值的装置。


31.根据权利要求29所述的设备，其中所述用于增大所述第一长期平滑比较值的所...

【专利技术属性】
技术研发人员：V·S·C·S·奇比亚姆，V·阿提，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US