操纵具有瞬变事件的音频信号的方法和设备技术

一种信号操纵器，用于操纵具有瞬变事件的音频信号，可以包括：瞬变去除器(100)、信号处理器(110)以及信号插入器(120)，所述信号插入器(120)用于在信号位置将时间部分插入处理后的音频信号中，使得受操纵音频信号包括不受所述处理影响的瞬变事件，其中所述信号位置是在所述瞬变去除器进行处理之前去除瞬变事件的信号位置，从而瞬变事件的垂直相干性保持不变，而在信号处理器(110)中执行的任何处理都不会破坏瞬变的垂直相干性。

【技术实现步骤摘要】

本专利技术涉及音频信号处理，具体涉及在向包含瞬变事件的信号应用音频效果的情况下的音频信号操纵。
技术介绍
已知操纵音频信号使得改变再现速度，同时保持音高(pitch)不变。针对这样的过程的已知方法是利用相位声码器(vocoder)或方法来实现的，如(音高同步的)叠加·(overIap-add)、(P) SOLA,如在 J. L. Flanagan 和 R. M. Golden, The Bell System TechnicalJournal, November 1966, pp. 1349 to 1590 ;美国专利 6549884 Laroche, J. &Dolson,M. Phase-vocoder pitch-shifting ；Jean Laroche 和 Mark Dolson, New Phase-VocoderTechniques for Pitch-Shifting, Harmonizing And Other Exotic Effects，，，Proc. 1999IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, NewPaltz,New York,Oct. 17-20,1999 ;以及Z0lze.r,U DAFX Digital Audio Effects ；ffiley &Sons !Edition I (February 26,2002) ；pp. 201-298 中所描述的。此外，可以使用这样的方法(即，相位声码器或⑵SOLA)对音频信号进行转换(transposition)，其中这种转换的具体问题是转换后的音频信号与转换之前的原始音频信号具有相同的再现/重放长度，而音高发生改变。这是通过加速再现拉伸信号(stretched signal)而得到的,其中执行加速再现的加速因子依赖于在时间上拉伸原始音频信号的拉伸因子。在采用时间离散的信号表示时，该过程对应于利用等于拉伸因子的因子对拉伸信号的下采样(down-sampling)或对拉伸信号的抽取(decimation),其中采样频率保持不变。在这样的音频信号操纵方面的具体挑战是瞬变事件。瞬变事件是在整个频带中或特定频率范围内信号的能量快速改变(即，快速增大或快速减小)的信号中的事件。具体瞬变(瞬变事件)的特有特征(characteristic feature)是信号能量在频谱中的分布。典型地，在瞬变事件期间音频信号的能量分布在整个频率上，而在非瞬变信号部分中，能量通常集中在音频信号的低频部分或特定频带中。这意味着，还称作稳定或音调(tonal)信号部分的非瞬变信号部分具有非平坦的(non-flat)频谱。换言之，信号的能量包含在很少数目的谱线/谱带中，这些谱线/谱带明显高于音频信号的噪声基底(noise floor)。然而在瞬变部分，音频信号的能量将分布在许多不同频带上，具体地，将分布在高频部分，使得音频信号的瞬变部分的频谱会比较平坦，并且在任何事件下都会比音频信号的音调部分的频谱更为平坦。典型地，瞬变事件是时间上的强烈变化，这意味着当执行傅里叶分解时信号将包括高次谐波(higher harmonic)。这些高次谐波的重要特征是,这些高次谐波的相位有非常特殊的相互关系，使得所有这些正弦波的叠加(superposition)将导致信号能量的快速改变。换言之，在频谱上存在强相关(strong correlation)。所有谐波之间的具体相位情况还可以称作“垂直相干性(vertical coherence)”。该“垂直相干性”与信号的时间/频率谱图表示有关，在所述信号的时间/频率谱图表示中，水平方向对应于信号在时间上的演进，垂直尺度在频率上描述了一个短时谱中谱分量的频率(转换频率点(transform frequency bins))的相互依赖。为了时间拉伸或缩短音频信号而执行的典型处理步骤使得这种垂直相干性被破坏，这意味着当例如由相位声码器或任何其他方法对瞬变执行时间拉伸或缩短操作时，瞬变随时间而“模糊(smear) ”，所述相位声码器或任何其他方法执行基于频率的处理，向音频信号引入随不同频率系数而不同的相移。当音频信号处理方法破坏了瞬变的垂直相干性时，受操纵(manipulated)信号将会在稳定或非瞬变部分非常类似于原始信号，而在受操纵信号中瞬变部分将会质·量降低。对瞬变的垂直相干性进行不受控制的操纵导致了瞬变的时间分散(temporaldispersion)，这是因为许多谐波分量对瞬变事件做贡献，并且以不受控制的方式来改变所有这些分量的相位，不可避免地导致了这样的伪像(artifact)。然而，瞬变部分对于音频信号的动态而言(如音乐信号或语言信号，其中在特定时刻能量的突然改变表示对受控信号的质量的大量主观用户印象)是尤为重要的。换言之，典型地，音频信号中的瞬变事件是语音信号的非常明显的“重要事件”，其对主观质量印象有超比例(over-proportional)的影响。受操纵的瞬变将使收听者听到失真的、回响的并且不自然的声音，在所述受操作瞬变中，垂直相关性被信号处理操作所破坏或相对于原始信号的瞬变部分而变差。一些当前方法将瞬变周围的时间拉伸到更高的程度，以便随后在瞬变的持续时间期间不执行或仅执行小(minor)的时间拉伸。这样的现有技术参考和专利描述了时间和/或音高操纵的方法。现有技术参考是Laroche L. , Dolson Μ. Improved phase vocodertimescale modification of audio”，IEEE trans. Speech and Audio Processing,vol.7, no. 3, pp. 323-332 ；Emmanuel Ravelli, Mark Sandler 和 Juan P. Bello Fastimplementation for non-linear time-scaling of stereo audio ；Proc.of the 8th Int.Conference on Digital Audio Effects(DAFxj 05), Madrid, Spain, September 20-22,2005 ；Duxbury, C. M. Davies 和 M. Sandler(2001, December) Separation of transientinformation in musical audio using multiresolution analysis techniques.Inproceedings of the COST G_6 Conference on Digital Audio Effects (DAFX-01),Limerick, Ireland ;以及 R0bel, A. =ANEffAPPROACH TO TRANSIENT PROCESSING IN THEPHASE VOCODER ;Proc. of the6th Int.Conference on Digital Au本文档来自技高网...

【技术保护点】
一种用于操纵具有瞬变事件(801)的音频信号的设备，包括：信号处理器(110)，用于处理瞬变减小的音频信号，或用于处理包括瞬变事件(803)的音频信号，以得到处理后的音频信号，在所述瞬变减小的音频信号中，包括瞬变事件(801)的第一时间部分(804)被去除了；信号插入器(120)，用于在信号位置处将第二时间部分(809)插入处理后的音频信号中，所述信号位置是第一部分被去除的信号位置或瞬变事件在处理后的音频信号中所处的信号位置，其中第二时间部分(809)包括不受信号处理器(110)执行的处理的影响的瞬变事件(801)，以得到受操纵的音频信号，其中，所述信号插入器(120)被配置为：确定(122)要从具有瞬变事件的音频信号复制的第二时间部分(809)的时间长度，通过找到最大互相关计算来确定(123)第二时间部分的起始时刻或第二时间部分的停止时刻，使得第二时间部分的边界尽可能地与处理后的音频信号的相应边界相匹配，其中，受操纵音频信号中瞬变事件的时间位置(803’)与音频信号中瞬变事件的时间位置(803)一致，或与音频信号中瞬变事件的时间位置(803)偏离小于心理声学可承受程度的时间差，所述心理声学可承受程度由瞬变事件的前掩蔽或后掩蔽来确定。...

【技术特征摘要】
...

【专利技术属性】
技术研发人员：萨沙·迪施，弗雷德里克·纳格尔，尼古拉斯·里特尔博谢，马库斯·马特拉斯，纪尧姆·福克斯，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：