录制的音频信号的时间对准制造技术

本发明专利技术公开了用于时间对准第一媒体信号和第二媒体信号的系统和方法。所述第一媒体信号和所述第二媒体信号可以是经过录制用于组合为一个音频性能或音视频录制的音频部分的音频信号。所述系统检索所述音频信号作为使用共同采样率所生成的数字样本。所述系统包括用于减小所述第一信号与所述第二信号之间的初始未对准的至少一个粗对准函数。所述粗对准函数可以被配置来生成粗移位的第二信号。精对准函数通过执行所述第一信号与所述粗移位的第二信号之间的互相关而确定所述粗移位的第二信号与所述第一信号之间的对准时移。

【技术实现步骤摘要】

本专利技术涉及用于处理媒体文件的系统和方法，且更特定来说涉及用于对准来自相同声源的不同录制的信号的系统和方法。
技术介绍
舞台上的场景或表演的音频和视频录制例如通常涉及在与舞台相隔一段距离之处录制视频以确保可见到整个场景。这使摄影机上的麦克风难以获得质量良好的音频。摄影机上的麦克风可以拾取人群噪声、风噪声、HVAC/建筑噪声、交通噪声，且可能对过多的高频回响和吸收更敏感。此外，摄影机上的麦克风可能质量不够好。使用位于声源附近的麦克风理想地录制音频以减小拾取环境中的所提及噪声的机会。特定声源上的个别麦克风(举例来说，例如一支乐队中的每个乐器)可以进一步减小对噪声的敏感性。在音乐会的背景下，为了加强由摄影机上的麦克风所拾取的音频的目的，舞台通常在舞台地板上局部配备有音频拾音器，或音频拾音器从舞台上方的天花板上悬挂下来。在生成最终音频中，从近场麦克风所录制的音频信号可以优于来自摄影机麦克风的音频，或与摄影机麦克风音频混合，可以通过带通滤波、衰减和合计到近场麦克风音频以提供最终音频混合的临场感而受处理。混合相同场景的音频信号录制与视频信号录制的一个问题是信号本质上是不同步的。混合信号需要信号对准。例如，在涉及对白的场景中，音频应当与视讯对准使得音频不会落后于人物说话的视频描绘，或反之亦然。高端录制系统使用SMPTE时间代码时间戳记和使不同的音频信号同步。这时间戳记对消费层面的设备不是一直有效。可以在录制期间使用近场麦克风与摄影机之间的电缆线路或无线链路使音频同步。然而，在录制期间同步需要在录制通常未完成前就进行规划和设定。可以使用麦克风作为一个音频和视频源且近场麦克风作为另一源的摄影机进行录制。接着可以使用编辑工具将音频的第二源集成到视频录制中。这些编辑工具包括例如Roxio Creator 和Sony Vegas 。使用编辑工具将来自第二源的音频与视频录制集成在一起通常是一项需要编辑者以正确对准方式将音频手动定位在视频中的费劲任务。即便曾正确对准，但是音频可能由于两个录制之间的漂移而导致甚至仅在播放一分钟后就慢慢变得未对准。录制之间的漂移可能是由于来自不同录制器的时钟彼此频率稍有不同。漂移也有可能是由于音频编解码器具有可能不会以相同准确度保留绝对时间的可变比特率。漂移的另一原因可能是由于在录制表演期间摄影机有所移动。近场麦克风信号与摄影机音频信号将要混合时的漂移效应大于单个音频信号(即，如果近场麦克风信号替换远场麦克风信号)保存在最终文件中的情况下的漂移效应。由于混合信号随着时间而远离彼此漂移得更远，所以和数可以被声音梳过滤，接着回响，接着过度回响，且接着具有不连续的回波。对于单个信号来说，回响和回波可能不算问题，然而视频与音频之间的唇音同步会在播放期间变得较差。已在来自放置在与场景相隔一段距离之处的摄影机的录制和来自放置在场景附近的麦克风的音频录制的背景下描述对准来自一个声源的音频录制与来自另一声源的相同场景的视频或音频录制的难度。例如当将声音录制在影片场景上并在演播室中重录对白以使之包括在最终影片中时出现类似问题。称作自动对白替换(ADR)的这个过程用来使对白更易理解(具噪音更少和回响较少)，以将对白转译成外语或者删除或替换原始对白中的亵渎语言。替换音频录制可能不是与场景的视频录制同期的录制。然而，当混合音频与最初录制的视频时出现对准问题，出于本描述的目的可以视为被混合的录制的相同场景。在可能不涉及视频录制的其它应用或方案中，可能出现对准音频信号的问题。在流式传输媒体信号的背景下，也可能出现对准问题。媒体信号的流式传输已变得无处不在，且可能在各种应用中出现对准问题。例如，高清(“HD”)无线电台广播包含相同内容的模拟传输和数字传输两者。广播装置尝试(且有时无法)手动对准这些传输。而接收器(即，收听者的无线电接收单元)没有条件对准所述两个传输。天气和地形(例如小山和其它不规则表面)可能导致损失数字信号，此时接收器恢复为接收模拟信号。数字信号可以渐强渐弱使得接收器在模拟信号与数字信号之间来回切换。如果模拟信号和数字信号未对准，那么来回接收产生恼人的收听体验。需要更容易和可靠地对准使用不同源拍摄相同场景的音频录制的方法。
技术实现思路
本专利技术公开用于时间对准第一媒体信号和第二媒体信号的系统和方法。所述第一媒体信号和所述第二媒体信号可以是经过录制用于组合为一个音频性能或音视频录制的音频部分的音频信号。所述音频信号可以是从不同源对相同表演的录制。所述系统检索所述音频信号作为使用共同采样率所生成的数字样本。所述系统包括用于减小所述第一信号与所述第二信号之间的初始未对准的至少一个粗对准函数。所述粗对准函数可以被配置来生成粗移位的第二信号。精对准函数通过执行所述第一信号与所述粗移位的第二信号之间的未对准估计而确定所述粗移位的第二信号与所述第一信号之间的对准时移。不同的粗对准函数可以用来减小所述信号之间的初始未对准，且用来减小实质未对准所要的处理和存储器资源的负载。在检查下文图和详述时，本专利技术的其它器件、装置、系统、方法、特征和优点对所属领域技术人员来说将是显而易见的。希望所有这些额外系统、方法、特征和优点包括在本描述内，包括在本专利技术的范畴内，且受随附权利要求书保护。附图说明可以通过参考下文图而更佳地了解下文描述。图中的组件不必按比例绘制，而是重点阐释本专利技术的原理。在图中，相同参考数字指定在不同图各处的对应部件。图1A是示出用于对准媒体文件的示例性系统的操作的示意图；图1B是用于对准媒体文件的系统的实施例的方框图；图2A是可以在图1B中所示的系统中使用的粗对准函数的实施例的方框图；图2B至图2C是示出两个信号之间的相关性的结果的直方图的实施例；图3A和图3B是可以在图1B中所示的系统中使用的粗对准函数的另一实施例的方框图；图4是可以在图1B中所示的系统中使用的粗对准函数的另一实施例的方框图；图5是可以在图1B中所示的系统中使用的精对准函数的实施例的方框图；图6是示出用于对准媒体文件的方法的实施例的流程图。具体实施例方式图1A是示出用于对准媒体文件的示例性系统100的操作的示意图。图1A中的系统100包括多媒体录制器102、舞台104和用于对准来自摄影机的媒体文件与来自舞台104的媒体文件的时间对准系统106。多媒体录制器102包括信号录制器110、摄影机112和摄影机麦克风114。可以由从对多媒体录制器102提供所要视野的位置录制舞台104上的场景或表演的视频的用户操作系统100中的多媒体录制器102。所述选定位置可能与舞台104相隔一段距离，其足以由于舞台104的环境(在124处)中的结构影响在多媒体录制器102处所录制的音频的质量而导致背景噪声或回响效应。信号录制器110录制舞台104上的表演并将所述表演的视频和音频录制存储为具有音频的视频文件。一个或多个近场麦克风116a至116c可以位于舞台104上或非常接近舞台104。可以定位近场麦克风116a至116c以拾取舞台104上的表演的所要音频部分。所要音频可以传输到混合器118，混合器118可以被配置来将混合版本的所要音频传输到音频录制器120。混合器118可以用来以受控制方式组合从每个近场麦克风116a至116c所接收的音频信号。音频录制器120使用混合版本文档来自技高网...

【技术保护点】
一种用于时间对准第一媒体信号和第二媒体信号的方法，所述方法包括：接收所述第一媒体信号和所述第二媒体信号作为使用采样率所生成的数字样本的流；确定所述第一媒体信号与所述第二媒体信号之间的近似未对准；根据所述近似未对准而确定粗时移；使所述第二媒体信号移位达所述粗时移以生成粗移位的第二信号；确定所述第一媒体信号与所述粗移位的第二信号之间的对准时移；和使所述粗移位的第二信号移位达所述对准时移以生成对准所述第一媒体信号的移位的第二信号。

【技术特征摘要】
2011.09.23 US 13/243,4171.一种用于时间对准第一媒体信号和第二媒体信号的方法，所述方法包括: 接收所述第一媒体信号和所述第二媒体信号作为使用采样率所生成的数字样本的流； 确定所述第一媒体信号与所述第二媒体信号之间的近似未对准； 根据所述近似未对准而确定粗时移； 使所述第二媒体信号移位达所述粗时移以生成粗移位的第二信号； 确定所述第一媒体信号与所述粗移位的第二信号之间的对准时移；和 使所述粗移位的第二信号移位达所述对准时移以生成对准所述第一媒体信号的移位的第二信号。2.根据权利要求1所述的方法，其中确定所述对准时移的步骤包括使用以下方法中的任何方法: 执行所述第一媒体信号和所述粗移位的第二信号的互相关，并识别时间延迟的选定范围中的互相关结果集合中的峰； 执行时间延迟谱测定法； 执行相关性并区分峰检测的结果； 执行相关性并将希耳伯特变换用于峰检测； 执行相关性并将质心计算用于峰检测； 执行相位展开；和 根据所述第一媒体信号和所述第二媒体信号的交互信息而执行分析。3.根据权利要求1所述的方法，其中: 使用粗对准函数的步骤包括从多个粗对准函数中选择所述粗对准函数。4.根据权利要求3所述的方法，其中: 确定粗时移的步骤包括当无法使用所述第一选定粗对准函数确定所述粗时移时使用所述多个粗对准函数中的一个不同函数。5.根据权利要求3所述的方法，其还包括: 在使所述第二媒体信号移位的步骤后，执行以下步骤:使用所述粗对准函数，确定所述粗时移，和使所述第二媒体信号移位以生成第二个粗移位的第二信号，其中所述待对准的信号是所述第一媒体信号和所述粗移位的第二信号，且使用所述粗对准函数的步骤包括选择所述多个粗对准函数之一的步骤。6.根据权利要求5所述的方法，其还包括: 重复以下步骤:使用所述粗对准函数，确定所述粗时移，和使所述第二媒体信号移位以生成另一粗移位的第二信号，其中所述待对准的信号是所述第一媒体信号和所述先前粗移位的第二信号，且其中使用所述粗对准函数的步骤包括选择所述多个粗对准函数之一的步骤。7.根据权利要求1所述的方法，其中使用所述粗对准函数的步骤包括: 通过子采样因子而子采样每个所述第一信号和所述第二信号；和 检测所述第一子采样的信号与第二子采样的信号之间的延迟； 其中确定所述粗时移的步骤包括使用所述检测到的延迟。8.根据权利要求7所述的方法，其中检测所述延迟的步骤包括使用以下方法中的任何方法: 执行所述第一子采样的信号和所述第二子采样的信号的互相关，其中确定所述粗时移的步骤包括识别时间延迟的选定范围中的互相关结果集合中的峰； 执行时间延迟谱测定法； 执行相关性并区分峰检测的结果； 执行相关性并将希耳伯特变换用于峰检测； 执行相关性并将质心计算用于峰检测； 执行相位展开；和 根据所述第一媒体信号和所述第二媒体信号的交互信息而执行分析。9.根据权利要求1所述的方法，其中使用所述粗对准函数的步骤包括: 解调每个所述第一信号和所述第二信号以检测第一信号包络和第二信号包络； 通过下采样因子而下采样所述第一信号包络和所述第二信号包络以生成第一下采样的包络和第二下采样的包络；和 检测所述第一下采样的包络与所述第二下采样的包络之间的延迟； 其中确定所述粗时移的步骤包括使用所述检测到的延迟。10.根据权利要求 9所述的方法，其中检测所述延迟的步骤包括使用以下方法中的任何方法: 执行所述第一下采样的包络和所述第二下采样的包络的互相关，其中确定所述粗时移的步骤包括识别时间延迟的选定范围中的互相关结果集合中的峰； 执行时间延迟谱测定法； 执行相关性并区分峰检测的结果； 执行相关性并将希耳伯特变换用于峰检测； 执行相关性并将质心计算用于峰检测； 执行相位展开；和 根据所述第一媒体信号和所述第二媒体信号的交互信息而执行分析。11.根据权利要求1所述的方法，其中使用所述粗对准函数的步骤包括: 从所述第二信号提取信号特征； 从所述第一信号提取信号部分； 比较所述信号特征与所述信号部分； 如果所述信号部分匹配所述信号特征，那么识别到所述第一信号中的所述信号部分的开始时间的时间延迟；和 重复从第一信号提取所述信号部分和比较所述信号特征与所述信号部分的步骤直到所述信号部分匹...

【专利技术属性】
技术研发人员：J基尔希，
申请(专利权)人：哈曼国际工业有限公司，
类型：发明
国别省市：